Airflow в коммунальном ML: от боли к эффективному использованию. Владимир Пузаков, Точка

Airflow в коммунальном ML: от боли к эффективному использованию Владимир Пузаков MLOps, Точка Как сделать так, чтобы было можно использовать инстанс Аirflow, развёрнутый в Kubernetes, в качестве оркестратора ML-пайплайнов, причём сразу несколькими командами, которые не мешают и даже помогают друг другу? В докладе я поделюсь теми болями, с которыми нам пришлось столкнуться, и как удалось их решить. Кроме того, я покажу несколько лайфхаков, заметно упрощающих жизнь пользователям Аirflow. Доклад будет полезен не только MLOps'ам, отвечающим за ML-инфраструктуру, но и тем, кто использует Аirflow для написания пайплайнов.