ディープラーニングブログ

Mine is deeper than yours!

2017-12-21から1日間の記事一覧

論文解説 Attention Is All You Need (Transformer)

本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している.わずかな訓練で圧倒的な State-of-the-Art を達成し,華麗にタイトル回収した.また注意を非常にシンプルな数式に一般化したうえで,加法注意・内積注意…