Алексей Завальский и Дмитрий Крылов — Dagster: оркестратор пайплайнов для небольшой команды

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта SmartData — https://jrg.su/DPDH3M Особенность пайплайнов в Bestplace в том, что их пишут и дата-инженеры на Python, и аналитики в Jupyter-ноутбуках. Как сделать удобный оркестратор для тех и для других, при этом силами небольшой команды? В 2020 году в команде спикеров обратили внимание на Dagster, стали его ранними пользователями, взаимодействовали с его командой разработки и в итоге успешно используют его уже несколько лет. Алексей и Дмитрий рассказали про опыт внедрения и эксплуатации Dagster, его преимущества для решения различных дата-инженерных задач, а также про сборку Dagster-пайплайнов из YAML и Jupyter-ноутбуков.