Apache Iceberg: как это работает на самом деле?

🗂️ Вы когда-нибудь задумывались, как Netflix обрабатывает петабайтные таблицы, не сканируя каждый раз миллионы файлов? В этом подробном обзоре мы разберем Apache Iceberg — открытый формат таблиц, разработанный в Netflix, который делает запросы к огромным массивам данных невероятно быстрыми и безопасными для дальнейшего использования. 🔍 В этом видео мы рассмотрим: 🌲 Иерархическое дерево метаданных — манифесты и как оно работает как «DNS-сервер», направляя запросы непосредственно к нужным файлам ⚡ Как Iceberg мгновенно пропускает нерелевантные файлы, используя отслеживаемые диапазоны данных 🆔 Отслеживание идентификаторов столбцов — переименование столбцов без перезаписи петабайтов данных 🗺️ Скрытое секционирование — запрос необработанных значений, без ручного управления папками 📸 Архитектура моментальных снимков — каждая запись создает неизменяемую контрольную точку ⏳ Путешествие во времени — откат удаленной таблицы, как будто ее никогда и не было 🤝 Параллельные запросы — Spark, Trino, Flink и Snowflake, все безопасно одновременно 🚫 Почему Iceberg не предназначен для потоковой передачи данных со скоростью менее секунды (и для чего он предназначен) 🔓 Общая картина: как открытые форматы отделяют данные от вычислений и что это означает для привязки к облачной платформе 💡 Идеально подходит для инженеров данных, архитекторов и всех желающих Строительство современного дома на берегу озера. ⏱️ Временные метки: 0:00 – 🗄️ Кошмар сканирования файлов в масштабе эксабайтов 0:14 – 🎬 История создания Apache Iceberg в Netflix 0:34 – 🗂️ Объяснение иерархического дерева метаданных 0:52 – 📡 Работает как «DNS-сервер» для ваших данных 1:10 – 🚫 Как Iceberg мгновенно пропускает ненужные файлы 1:33 – ✏️ Отслеживание идентификаторов столбцов: переименование без перезаписи 2:04 – ⚖️ Скрытое секционирование против стандартного секционирования 2:44 – 🧊 Объяснение архитектуры моментальных снимков 3:00 – ⏮️ Путешествие во времени: отмена удаленной таблицы 3:13 – 🔄 Параллельные запросы к нескольким движкам 3:23 – 🌊 Почему Iceberg не подходит для потоковой передачи Конвейеры 3:52 – 🎯 Правильный инструмент для правильной задачи 4:02 – 🔗 Разделение данных и инструментов обработки 4:15 – 🌩️ Что это значит для облачных монополий 👍 Если это помогло прояснить архитектуру Lakehouse, поставьте лайк, подпишитесь и напишите в комментариях, какой движок вы предпочитаете! 📺 Похожие видео: 🎵 Современные основы работы с данными - https://www.youtube.com/playlist?list=PLnWY6pw34kMpP5N3rhze-t3vOdXbRg2WF 🎵 Плейлист «Инженерное обеспечение качества данных» - https://www.youtube.com/playlist?list=PLnWY6pw34kMqrC1yyKqON_iSDgNVenDH1 🎵 Плейлист «Инженерное обеспечение качества данных» - https://www.youtube.com/watch?v=abszpYqX5lY 🎵 Серия подкастов Databricks - https://www.youtube.com/playlist?list=PLnWY6pw34kMoK0l-YjDklU_ipUjP9wnJY 🎵 Подкаст Databricks «Вопросы и ответы» - https://www.youtube.com/playlist?list=PLnWY6pw34kMpqVz1blIs4z9XpfnnpEbfX 🎵 Плейлист «Основы хранилищ данных» - https://www.youtube.com/watch?v=tuoJeG47k3U&list=PLnWY6pw34kMpuBJO3-wmHKJi3_KZCL2bd&index=1 🎵 Плейлист «Концепции снежинок» - https://www.youtube.com/playlist?list=PLnWY6pw34kMoUUyzBX9OGf86NxR1QsdkE 🎵 Плейлист «Серия интервью о данных» - https://www.youtube.com/playlist?list=PLnWY6pw34kMq_O2qwZowv0uMu79j_dcdT 🎵 Плейлист «Основы инженерии данных» — https://www.youtube.com/watch?v=DEAnRaRl6Y4&list=PLnWY6pw34kMphFiAnJ1Muev7zC-cOoA5m&index=1 🤝 Оставайтесь на связи: Поделитесь своими мыслями, вопросами и опытом в комментариях ниже. Давайте создадим сообщество энтузиастов данных!