【DeepLearning研修】Transformerの基礎と応用 -- 第1回 Transformerの基本

Опубликовано: 16 Август 2026
на канале: nnabla ディープラーニングチャンネル

11,746

353

本動画は「    • 【DeepLearning研修】Transformerの基礎と応用   」の第1回の動画です。Deep Learning についての基本的な知識がある方を対象に、 LLM (大規模言語モデル)、画像認識・生成、ビデオ生成、オーディオ・音楽の理解・生成など様々なアプリケーションで使われている Transformer の基本構成について説明しています。
資料はslideshareで公開しています（https://www.slideshare.net/slideshow/...

【参考文献】
・On the Opportunities and Risks of Foundation Models
https://arxiv.org/abs/2108.07258
・Attention Is All You Need
https://arxiv.org/abs/2108.07258
・An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
https://arxiv.org/abs/2010.11929
・FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
https://arxiv.org/abs/2205.14135
・Gaussian Error Linear Units (GELUs)
https://arxiv.org/abs/1606.08415
・Language Modeling with Gated Convolutional Networks
https://arxiv.org/abs/1612.08083
・GLU Variants Improve Transformer
https://arxiv.org/abs/2002.05202
・Deep Residual Learning for Image Recognition
https://arxiv.org/abs/1512.03385
・Layer Normalization
https://arxiv.org/abs/1607.06450
・Learning Deep Transformer Models for Machine Translation
https://arxiv.org/abs/1906.01787
・Understanding the Difficulty of Training Transformers
https://arxiv.org/abs/2004.08249
・The Annotated Transformer
https://nlp.seas.harvard.edu/2018/04/...
・Self-Attention with Relative Position Representations
https://arxiv.org/abs/1803.02155
・RoFormer: Enhanced Transformer with Rotary Position Embedding
https://arxiv.org/abs/2104.09864

ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（    / nnabla   ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！

同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（    / @neuralnetworkconsole   ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。