【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】
GPT-3 全部解説します！
①概要編 ← 今日はここ！(の前半) モデルについて！
②限界 & 研究テーマ編
③社会的影響編
次回：Zero-Shot, One-Shot, Few-Shot の原理、背景と性能です！
▼参考文献
Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).
https://arxiv.org/abs/2005.14165
原論文！ 濃厚！ 超長いです。
読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、（笑）
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14...
いろいろこれを参考にして動画を作っています
▼目次
00:00 OP
01:27 1.GPT-3とは
05:34 2.モデルとデータ
11:59 Sparse Transformer とは何か？
16:25 GPT-3のモデル全体像
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。
AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-o...
動画生成：AIcia Solid (Twitter: / aicia_solid )
動画編集：AIris Solid (妹) (Twitter: / airis_solid )
=======
Logo: TEICAさん ( / t_e_i_c_a )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( / w01fa )