Оценка и тестирование LLM-агентов — Алексей Степин

▪️ Полезно про AI в нашем Telegram-канале: http://t.me/aitalenthubnews ▪️ Магистратура AI Talent Hub: https://ai.itmo.ru/?utm_source=youtube&utm_medium=megaschool Воркшоп о методах оценки и тестирования агентов. Спикер: Алексей Степин — AI researcher, ex Lead ML Engineer, магистрант AI Talent Hub. Тайм-коды: 00:03 Введение 01:46 Мотивация 02:45 Альтерактивная разработка 04:43 Комплексные оценки 05:37 Уровни тестирования 08:23 Юнит-тесты 11:08 Преимущества юнит-тестов 12:02 Оценка качества модели 13:53 Сбор данных 15:50 Использование синтетики 16:46 Паблик бенчмарки 18:16 Оценка с помощью LLM 19:44 Ловушки оценки с помощью LLM 21:02 Проблемы с оценками от LLM 21:59 Рекомендации по использованию оценок 22:56 Оценка качества с помощью классификации 23:56 Объяснение оценок моделям 24:51 Сравнение ответов моделей 26:43 Метрики для оценки бинарных ответов 27:41 Оценка качества ответов 28:35 Сравнение версий системы 29:18 Проверка адекватности ИИ 30:18 Оценка согласованности метрик 31:14 Гибкость критериев согласованности 32:11 Настройка критериев оценки 33:59 Снижение стоимости ИИ 37:38 Анализ метрик и принятие решений 39:23 Метрики взаимодействия с пользователями 40:20 Различие между LLM и агентами 41:14 Проблемы с эффективностью агентов 42:55 Оценка выбора инструментов агентом 43:39 Использование моков для тестирования 44:36 Метрики для оценки агентов 46:29 Проблемы с реализацией тулов 47:27 Метрика рековери рейда 49:20 Удобство работы с логами 50:52 Трейсинг и логирование запросов 51:52 Анализ логов и взаимодействие с пользователями 53:42 Сбор данных и негатив сэмплинг 55:35 Организация и анализ негативных примеров 57:01 Инструменты для логирования и тестирования 59:56 Этапы оценки качества системы 01:00:31 Рекомендации по ресурсам 01:01:28 Заключение 01:04:02 Оценка работы агентной системы 01:04:54 Роль юнит-тестов 01:05:40 Выбор моделей для оценки 01:07:51 Генерация данных для обучения 01:09:17 Применение активленнинга