SubQuery - ClickHouse, dbt, Iceberg
🏞️ Google показал, как должен работать современный лейкхаус
В июле Google представил Borderless Lakehouse — архитектуру на Apache Iceberg, которая объединяет каталоги AWS, Snowflake и Databricks, позволяет разным движкам работать с одними таблицами и автоматически оптимизирует хранение. Следом появился фреймворк из 6 слоёв оптимизации Iceberg.
Производительность складывается сразу из нескольких уровней:
— файлов и их раскладки;
— метаданных;
— обработки изменений данных;
— сортировки и кластеризации;
— модели исполнения;
— того, насколько хорошо движок вообще понимает Iceberg.
А сверху появляется ещё один важный слой — управление всей этой системой: обслуживание таблиц, наблюдаемость, маршрутизация запросов и работа ИИ-агентов.
В статье — не просто архитектура Google, а набор принципов, которые можно применять в открытом лейкхаусе с разными движками и облаками.
👉 Читать про лейкхаус как у Google: шесть слоев оптимизации 👈
Очень рекомендуем сохранить. Кажется, это одна из тех статей, к которым мы ещё не раз будем возвращаться Если у вас установлено приложение,
вы можете сразу перейти в канал