ディープラーニングブログ

Mine is deeper than yours!

2021-01-05から1日間の記事一覧

OpenAIが発見したScaling Lawの秘密

OpenAIはGPT-3の次の研究を始めています. 世間がGPT-3のデモに湧き上がる中,OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました. Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というも…