Промышленная data science, или Собираем вместе большие датасеты, батчи, пайплайны и модели

Почти все уже устали от того, что препроцессинг данных превращается в простыни малопонятного кода. Большой датасет мало того что не вмещается в память, так ещё и обрабатывается три дня, потому что код не распараллелен. А для перехода к промышленной эксплуатации вообще приходится переписывать все «с нуля». Мы расскажем, как сразу писать удобный и понятный код, который параллелится и позволяет строить гибкие пайплайны для препроцессинга данных и обучения моделей. Роман Худорожков, Департамент информационных технологий Москвы