Дмитрий Вертлиб — Apache Spark SQL. Расширяй и управляй

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта — https://jrg.su/zGn8M2 Как настроить Apache Spark под свои задачи без переписывания фреймворка. Apache Spark — признанный лидер в мире обработки больших данных. Но что делать, когда для ваших уникальных бизнес-задач стандартных возможностей недостаточно? Расскажу о подходах к расширению функциональности Spark SQL без вмешательства в исходный код платформы. Вы узнаете о создании собственных источников данных, разработке пользовательских функций для специализированной обработки и внедрении правил оптимизации, адаптирующихся под различные запросы. Обсудим преимущества и ограничения таких подходов, а также их влияние на производительность и сопровождение системы. Для кого: специалисты по работе с данными, архитекторы информационных систем и руководители, определяющие стратегию развития продуктов для обработки данных. Для восприятия материала будет достаточно базового понимания принципов работы Apache Spark.