Введение в LLM и мультимодальные модели — Иван Насонов

▪️ Полезно про AI в нашем Telegram-канале: http://t.me/aitalenthubnews ▪️ Магистратура AI Talent Hub: https://ai.itmo.ru/?utm_source=youtube&utm_medium=megaschool Что такое LLM/VLM и как они работают под капотом. Как написать идеальный промпт, основы prompt engineering. Спикер: Иван Насонов разработчик LLM-агентных систем и RAG в Яндекс Плюс. Тайм-коды: 00:03 Введение 00:55 Введение в NLP 01:23 Векторизация текста 02:21 Пример контекстной эмбединги 03:39 Обучение нейронных сетей 04:33 Применение эмбедингов 06:42 Вопрос о рандомных векторах 08:00 Влияние контекста на векторы 10:02 Обсуждение моделей 11:30 Переход к энкодер-декодер моделям 12:01 Архитектура энкодер-декодер 13:00 Методы улучшения перевода 14:09 Введение внимания 15:09 Селфшн и трансформеры 18:00 Ядро трансформера 19:56 Применение трансформеров к изображениям 23:36 Вопросы и ответы 25:47 Основы работы трансформеров 26:25 Пример работы словаря 28:01 Архитектура моделей QN2, QN2.5 и QN3 30:42 Динамическое разрешение и роторные бейдинги 33:45 Улучшения в QN2.5 35:28 Особенности QN3 39:20 Применение в продуктовой среде