SLAMA: LightAutoML на Spark

S(park)LAMA – это распределенная версия библиотеки LightAutoML (LAMA) под Spark 3+ для обработки больших датасетов. Горизонтально масштабируется за счет разделения датасета между несколькими машинами Работает в кластерных средах Kubernetes / YARN / Spark Cluster Поддерживает алгоритмы: LinearLGBFS и boosting (lightgbm) GitHub: https://github.com/sb-ai-lab/SLAMA В этом видео рассмотрены особенности и преимущества фреймворка SLAMA. 0:00 | Почему LightAutoML не достаточно 1:28 | SLAMA - расширение LAMA под Spark 2:03 | Мотивация разработки масштабируемого AutoML 2:30 | Структура AutoML пайплайна 4:00 | Масштабируемость SLAMA на больших датасетах 4:14 | Обработка категориальных фичей 6:25| Ускорение SLAMA относительно LAMA 6:46 | Дальнейшее развитие SLAMA