«Нейронные сети и их применение в научных исследованиях». Лекция 6: Трансформеры
Архив лекций межфакультетского курса «Нейронные сети и их применение в научных исследованиях» для студентов МГУ.
Актуальные материалы смотрите на сайте https://msu.ai/mfk
Шестое занятие на МФК-курсе «Нейронные сети и их применение в научных исследованиях» для студентов МГУ.
Преподаватель: Артемий Новоселов
0:00 В предыдущих сериях
1:08 Часть 1
3:09 Seq2Seq Модель
5:22 Модуль внимания
8:17 Энкодер и Декодер
10:38 Transformer
13:02 Ответы на вопросы
17:28 Часть 2
21:22 Степень похожести
22:54 Как разместить весь интернет?
24:04 Self-supervised learning
26:51 BERT
29:32 Предварительное обучение (Pre-training)
33:45 Трансформеры работают с картинками
35:07 Visual Transformer (ViT)
38:53 Self-Supervised для картинок
39:11 DINO
40:56 Трансформеры работают с речью
42:49 wav2vec 2.0
47:10 Ответы на вопросы
53:51 Часть 3
53:56 Научные примеры
1:03:17 Ответы на вопросы
Презентация: https://docs.google.com/presentation/...
Сайт: https://msu.ai
VK: https://vk.com/msu_ai
Telegram: https://t.me/msu_ai_channel