【DeepLearning研修】Transfomerの基礎と応用 --第4回 マルチモーダルへの展開
本動画は「 • 【DeepLearning研修】Transformerの基礎と応用 」の第4回の動画です。画像や言語など複数のモーダル情報を同時に扱うことのできる “マルチモーダルモデル” における Transformer の応用について、説明いたします。また、マルチモーダルモデルの応用例として、ロボティクス分野や強化学習における Transformer の応用例についても説明いたします。
資料はslideshareで公開しています（https://www.slideshare.net/slideshow/...
【参考文献】
・Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action
https://arxiv.org/pdf/2312.17172
・A Generalist Agent
https://arxiv.org/pdf/2205.06175
・Flamingo: a Visual Language Model for Few-Shot Learning
https://arxiv.org/pdf/2204.14198
・NExT-GPT: Any-to-Any Multimodal LLM
https://arxiv.org/pdf/2309.05519
・MUTEX: Learning Unified Policies from Multimodal Task Specifications
https://arxiv.org/pdf/2309.14320
・On the Opportunities and Risks of Foundation Models
https://arxiv.org/pdf/2108.07258
・RT-1: ROBOTICS TRANSFORMER FOR REAL-WORLD CONTROL AT SCALE
https://arxiv.org/pdf/2205.06175
・ViNT: A Foundation Model for Visual Navigation
https://arxiv.org/pdf/2306.14846
・Do As I Can and Not As I Say: Grounding Language in Robotic Affordances
https://arxiv.org/pdf/2204.01691
・RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
https://arxiv.org/pdf/2307.15818
・Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
https://arxiv.org/pdf/2304.13705
・Open X-Embodiment: Robotic Learning Datasets and RT-X Models
https://arxiv.org/pdf/2310.08864
・【AI技術研修】nnabla-rlによる深層強化学習入門 第1回「深層強化学習とは？」
• 【AI技術研修】nnabla-rlによる深層強化学習入門 第1回「深層強化学習とは？」
・Mastering the game of Go with deep neural networks and tree search
https://doi.org/10.1038/nature16961
・Outracing champion Gran Turismo drivers with deep reinforcement learning
https://doi.org/10.1038/s41586-021-04...
・A Survey on Transformers in Reinforcement Learning
https://arxiv.org/pdf/2301.03044
・Decision Transformer: Reinforcement Learning via Sequence Modeling
https://arxiv.org/pdf/2106.01345
・TRANSFORMER-BASED WORLD MODELS ARE HAPPY WITH 100K INTERACTIONS
https://arxiv.org/pdf/2303.07109
ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libraries（ https://nnabla.org/, https://github.com/sony/nnabla/ ）に関連する情報を紹介する動画チャンネルを開設しました（ / nnabla ）。Neural Network Librariesのチュートリアル・Tipsに加え、最先端のディープラーニングの技術情報（講義、最先端論文紹介）などを発信していきます。チャンネル登録と応援よろしくおねがいします！
同じくソニーが提供する直感的なGUIベースの深層学習開発環境のNeural Network Console（ https://dl.sony.com/ ）が発信する大人気のYouTubeチャンネル（ / @neuralnetworkconsole ）でもディープラーニングの技術講座やツールのチュートリアルを多数公開しています。こちらもチャンネル登録と応援よろしくおねがいします。