Создание QA-ассистента для чата с помощью Yandex DataSphere

Опубликовано: 07 Октябрь 2024
на канале: Yandex Cloud
922
29

Разработали QA-ассистента — генератор ответов на типовые вопросы, который может упростить общение с клиентами любого бизнеса. Рассмотрели, как создать подобную модель с помощью DataSphere, и обсудили другие современные подходы к генерации текста.

Как устроена работа над моделью:
собрали сообщения из Telegram-чата и отфильтровали по вопросам и ответам — так сформировали обучающую и валидационную выборки;
провели fine-tuning языковой модели на этих данных на основе архитектуры трансформеров.

Ссылка для проекта в DataSphere: https://github.com/aovolkov/workshop_...