Никита Романов — CLIP + LLM в проде: мультимодальный «Поиск по фото» для маркетплейса

Подробнее о конференции IML: https://jrg.su/1drGPM — — Скачать презентацию с сайта IML — https://jrg.su/T68BKZ Поделюсь опытом проектирования и разработки онлайн-сервиса «Поиск по фото». Расскажу о ключевых компонентах сервиса и базовом пайплайне: от загрузки фото пользователем до конечного результата. Рассмотрим обучение и адаптацию моделей в домене маркетплейса, подходы в обучении и архитектуры моделей, которые показывают лучший результат. Поделюсь опытом использования CLIP пространства для разных компонент сервиса и интеграции с LLM.