SubQuery - ClickHouse, dbt, Iceberg
🗑 У вас хранилище данных или свалка?
Двести таблиц лежат рядом. Где сырые данные, где очищенные, а что уже можно спокойно брать в отчёт — никто точно не помнит. Пора раскладывать данные по слоям.
В новой статье разбираемся:
— зачем вообще делить DWH на слои;
— чем Staging → Core → Витрины отличается от Bronze → Silver → Gold;
— где должны жить сырые данные, бизнес-логика и готовые метрики;
— почему тесты нужны на каждом слое;
— и на какие архитектурные грабли наступают чаще всего.
Спойлер: семь слоёв там, где нужны три, — тоже не лучшая архитектура.
👉 Прочитать подробнее можно по ссылке:
https://subquery.ru/blog/data-warehouse-layering
А сколько слоёв в вашем хранилище? Если у вас установлено приложение,
вы можете сразу перейти в канал