ディープラーニングブログ

Mine is deeper than yours!

Natural Language Processing

OpenAIが発見したScaling Lawの秘密

OpenAIはGPT-3の次の研究を始めています. 世間がGPT-3のデモに湧き上がる中,OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました. Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というも…

GPT-3の衝撃

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした. シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので,勢いで書くことにしました. GPT-3はOpenAIが開発した言語生成モデルです.名前の由来であるGenerative Pretraine…

メンヘラちゃんと学ぶディープラーニング最新論文

メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです.Twitterに投稿したスライドをまとめました.

対話モデルの訓練/評価フレームワーク ParlAI がすごい

対話モデルの訓練/評価フレームワーク ParlAI がすごい こんにちは,Ryobot です. 本稿では ParlAI の基本的な使用法やユーザーが独自に定義できるエージェントの実装方法を解説しました. 以下,PyTorch, Chainer, TensorFlow によるエージェントの実装例…

深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論

本稿ではニューラルネットワーク,誤差逆伝播法,言語モデル,RNN,LSTM,ニューラル機械翻訳の一連の手法について数理的に解説する. 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネット…