PostgreSQL as an open data format_ 100x TPC-H queries through direct storage reads (PConf.dev 2026)
PostgreSQL как открытый формат данных: 100-кратное ускорение запросов TPC-H за счет прямого чтениz=я с диска Доклад Христо Стоянова и Джонатана Каца на PGConf.dev 2026 (https://2026.pgconf.dev) PostgreSQL обычно не рассматривается как аналитическая система. Исторически сложилось так, что разработчики создавали форки и переупаковывали PostgreSQL, добавляя аналитические возможности, включая собственные столбцовые форматы, распределенную массивно-параллельную обработку и векторизованные исполнители запросов. Однако эти системы значительно отличались от ядра PostgreSQL и стали несовместимы со стандартными инструментами PostgreSQL. В последнее время несколько проектов использовали систему расширений PostgreSQL для ускорения запросов в стиле OLAP посредством федерации и интеграции с DuckDB, но они все еще отстают по масштабируемости от специализированных аналитических систем. Одной из проблем современных подходов к ускорению запросов OLAP являются ограничения, накладываемые архитектурой PostgreSQL, которая лучше оптимизирована для запросов в стиле OLTP. Хотя несколько расширений PostgreSQL добавили поддержку столбцового формата, исполнитель PostgreSQL по-прежнему не обладает возможностями, необходимыми для крупномасштабной аналитики, включая массовую параллельную обработку и векторизованное выполнение. Что если мы перевернем модель с ног на голову: вместо того, чтобы проходить через слой выполнения PostgreSQL, мы будем считывать данные непосредственно из хранилища? Современная аналитика движется в сторону архитектур типа «озеро-база», которые используют открытые форматы, такие как Parquet для файлов и Iceberg для таблиц, организованных и управляемых службой каталогов. Мы можем позаимствовать эти концепции для построения «озера-базы», где мы разделяем хранилище и вычислительные ресурсы для операционных баз данных, чтобы обеспечить бессерверное чтение открытого формата из разных движков. Чтобы сделать это менее абстрактным, представьте файловую систему PostgreSQL как открытый формат данных (каким она и является!), который можно использовать в качестве основы для построения современного OLAP-движка, полностью совместимого с семантикой транзакций PostgreSQL и не требующего вычислительных ресурсов PostgreSQL. Это позволяет создать механизм для выполнения OLAP-запросов, которые напрямую обращаются к файлам данных PostgreSQL, не влияя на производительность операционных рабочих нагрузок и не требуя дополнительных реплик, предназначенных только для аналитики. Мы начнем этот доклад с обзора текущего состояния аналитики PostgreSQL: насколько хорошо она работает сегодня, что сделали разработчики для ускорения аналитических запросов с помощью расширений, и некоторые из текущих проблем. Затем мы рассмотрим, как работает Lakehouse, охватив ключевые концепты, такие как открытые форматы файлов и таблиц, почему важны каталоги и как такие механизмы, как Spark, могут использовать их для ускорения производительности, сохраняя при этом транзакционный контроль и контроль доступа. Затем мы представим новый проект с открытым исходным кодом, который может считывать файлы PostgreSQL напрямую из хранилища вне процесса PostgreSQL, объясним архитектуру и преимущества, которые он дает для выполнения быстрых OLAP-запросов непосредственно к файлам PostgreSQL, рассмотрев внутреннее устройство проекта. Наконец, мы продемонстрируем этот проект, используя интеграцию через механизм OLAP-запросов, которая показывает до 100 раз более высокую производительность TPC-H на данных PostgreSQL без влияния на работающие экземпляры PostgreSQL! https://2026.pgconf.dev/session/573 🎬 Смотрите больше видео с PGConf.dev 2026 на • PGConf.dev 2026 Присоединяйтесь к нам в Монреале на PConf.dev 2027 https://2027.pgconf.dev Свяжитесь с нами: Mastodon: https://mastodon.social/@pgconfdev Веб: https://2026.pgconf.dev #postgresql #PGConfDev
PostgreSQL как открытый формат данных: 100-кратное ускорение запросов TPC-H за счет прямого чтениz=я с диска Доклад Христо Стоянова и Джонатана Каца на PGConf.dev 2026 (https://2026.pgconf.dev) PostgreSQL обычно не рассматривается как аналитическая система. Исторически сложилось так, что разработчики создавали форки и переупаковывали PostgreSQL, добавляя аналитические возможности, включая собственные столбцовые форматы, распределенную массивно-параллельную обработку и векторизованные исполнители запросов. Однако эти системы значительно отличались от ядра PostgreSQL и стали несовместимы со стандартными инструментами PostgreSQL. В последнее время несколько проектов использовали систему расширений PostgreSQL для ускорения запросов в стиле OLAP посредством федерации и интеграции с DuckDB, но они все еще отстают по масштабируемости от специализированных аналитических систем. Одной из проблем современных подходов к ускорению запросов OLAP являются ограничения, накладываемые архитектурой PostgreSQL, которая лучше оптимизирована для запросов в стиле OLTP. Хотя несколько расширений PostgreSQL добавили поддержку столбцового формата, исполнитель PostgreSQL по-прежнему не обладает возможностями, необходимыми для крупномасштабной аналитики, включая массовую параллельную обработку и векторизованное выполнение. Что если мы перевернем модель с ног на голову: вместо того, чтобы проходить через слой выполнения PostgreSQL, мы будем считывать данные непосредственно из хранилища? Современная аналитика движется в сторону архитектур типа «озеро-база», которые используют открытые форматы, такие как Parquet для файлов и Iceberg для таблиц, организованных и управляемых службой каталогов. Мы можем позаимствовать эти концепции для построения «озера-базы», где мы разделяем хранилище и вычислительные ресурсы для операционных баз данных, чтобы обеспечить бессерверное чтение открытого формата из разных движков. Чтобы сделать это менее абстрактным, представьте файловую систему PostgreSQL как открытый формат данных (каким она и является!), который можно использовать в качестве основы для построения современного OLAP-движка, полностью совместимого с семантикой транзакций PostgreSQL и не требующего вычислительных ресурсов PostgreSQL. Это позволяет создать механизм для выполнения OLAP-запросов, которые напрямую обращаются к файлам данных PostgreSQL, не влияя на производительность операционных рабочих нагрузок и не требуя дополнительных реплик, предназначенных только для аналитики. Мы начнем этот доклад с обзора текущего состояния аналитики PostgreSQL: насколько хорошо она работает сегодня, что сделали разработчики для ускорения аналитических запросов с помощью расширений, и некоторые из текущих проблем. Затем мы рассмотрим, как работает Lakehouse, охватив ключевые концепты, такие как открытые форматы файлов и таблиц, почему важны каталоги и как такие механизмы, как Spark, могут использовать их для ускорения производительности, сохраняя при этом транзакционный контроль и контроль доступа. Затем мы представим новый проект с открытым исходным кодом, который может считывать файлы PostgreSQL напрямую из хранилища вне процесса PostgreSQL, объясним архитектуру и преимущества, которые он дает для выполнения быстрых OLAP-запросов непосредственно к файлам PostgreSQL, рассмотрев внутреннее устройство проекта. Наконец, мы продемонстрируем этот проект, используя интеграцию через механизм OLAP-запросов, которая показывает до 100 раз более высокую производительность TPC-H на данных PostgreSQL без влияния на работающие экземпляры PostgreSQL! https://2026.pgconf.dev/session/573 🎬 Смотрите больше видео с PGConf.dev 2026 на • PGConf.dev 2026 Присоединяйтесь к нам в Монреале на PConf.dev 2027 https://2027.pgconf.dev Свяжитесь с нами: Mastodon: https://mastodon.social/@pgconfdev Веб: https://2026.pgconf.dev #postgresql #PGConfDev