Как обучают нейросети: от MNIST до GPT-3 (ПОСЛЕДНИЕ ОТКРЫТЫЕ ДАННЫЕ) и Llama

Что происходит внутри нейросети во время обучения? Разбираем путь от рукописных цифр MNIST до больших языковых моделей: данные, токенизацию, функцию ошибки, обновление весов, масштабирование и посттренировочную настройку. Это архивный образовательный выпуск Comrad404: схемы и числа объясняются motion-графикой, а первичные документы показаны в отдельных сценах. ## Главы 00:00 Одна механика, разный масштаб 01:34 Что именно оптимизирует модель 03:08 Рукописные цифры: маленький опыт 04:34 Данные и токенизация 05:54 Прогноз, ошибка и update 07:14 GPT-3, Chinchilla и Llama 08:50 Посттренировочная настройка 10:04 Где обучение обманывает 11:23 Понимает ли модель 12:18 Итог: слои, а не магия ## Хэштеги #ИИ #нейросети #машинноеобучение #GPT #Comrad404