7 Визуализация внимания, сердце трансформера

Что такое нейроны, зачем нужны слои и какая математика лежит в их основе? Текстовый/интерактивный формат этой серии: https://clck.ru/3PAQvR Исправление опечатки: На 14:45 вектор смещения заканчивается индексом n, в то время как на самом деле он должен заканчиваться индексом k. Спасибо тем, кто заметил эту неточность! Для тех, кто хочет узнать больше, настоятельно рекомендую книгу Майкла Нильсена, посвящённую введению в нейронные сети и глубокое обучение: https://clck.ru/3PAQyW В этой книге есть две интересные особенности. Во-первых, она доступна бесплатно, поэтому если вы найдёте её полезной, подумайте о том, чтобы сделать автору пожертвование. А во-вторых, она построена вокруг разбора кода и данных, которые вы сами можете скачать; они покрывают тот же пример, который я рассмотрел в этом видео. Ура активному обучению! https://clck.ru/3PAQzg Также настоятельно рекомендую блог Криса Олаха: https://clck.ru/3PAQz7 Если вы хотите посмотреть другие видео, у Welch Labs есть отличные серии по машинному обучению: • https://www.youtube.com/watch?v=i8D90DkCLhI • https://www.youtube.com/watch?v=bxe2T-V8XRs Для тех, кто хочет углубиться ещё дальше, обратите внимание на учебник Deep Learning под авторством Гудфеллоу, Бенжио и Курвиля. Кроме того, есть замечательный ресурс Distill: https://clck.ru/3PAQu6 Исправление на 14:45: Финальный индекс в векторе смещения должен быть «k». ------------------ Анимации в основном сделаны с помощью manim — «сырой» open source библиотеки на Python: https://clck.ru/3PAR3B Если вы захотите её попробовать, сразу предупрежу: у неё не самое лучшее документирование и есть прочие особенности, которые обычно встречаются в библиотеках, написанных автором для собственных нужд. 3Blue1Brown — это канал об анимированной математике, во всех смыслах слова «анимировать». И, как обычно на YouTube, если хотите узнавать о новых видео, подписывайтесь и нажмите на колокольчик, чтобы получать уведомления (если вам это интересно).