\nА гит тут: https:\/\/github.com\/dbt-labs\/metricflow<\/a><\/p>\n
Еще кстати есть https:\/\/github.com\/memiiso\/opendbt<\/a> ( Make dbt great again! :) Может они сольются с метриками, интересно.<\/p>\n Концепция семантического слоя, который служит промежуточным слоем для определения бизнес-логики (метрик, измерений, связей), не нова. Она уже много лет используется в BI-системах для обеспечения согласованности отчетов. Однако с появлением больших языковых моделей (LLM) и инструментов в стиле “Chat with your data” проблема вышла на новый уровень.<\/p>\n Когда AI-агент или LLM пытается ответить на вопрос, обращаясь напрямую к базе данных, он вынужден самостоятельно генерировать SQL-запрос. При этом модель “угадывает”, какие таблицы нужно соединить (`JOIN`), как правильно отфильтровать данные, какую использовать гранулярность по времени и какие оконные функции применить.<\/p>\n Проблемы такого подхода:<\/b><\/p>\n Метрики не должны быть вероятностными, зависящими от “догадок” LLM при каждом вызове. Они должны быть детерминированными.<\/b><\/p>\n<\/blockquote>\n `MetricFlow` решает именно эту задачу.<\/p>\n `MetricFlow` — это движок, который преобразует семантические определения бизнес-понятий в готовый к выполнению и оптимизированный SQL-код. Аналитик один раз определяет метрику “Валовая маржа” на языке `MetricFlow`, и после этого любая система (BI-инструмент, AI-агент, Python-скрипт) может запросить эту метрику по имени, будучи уверенной, что получит корректный и одинаковый результат.<\/p>\n `MetricFlow` предоставляет открытый стандарт для метаданных и расширяемый движок, который превращает намерение (“покажи валовую маржу”) в SQL-запрос для хранилища данных.<\/p>\n Пример работы:<\/b><\/p>\n Предположим, пользователь задает AI-агенту вопрос:<\/p>\n “Покажи валовую маржу (%) по месяцам за прошлый квартал для Северной Америки (за вычетом скидок и возвратов, по финансовому календарю).”<\/p>\n<\/blockquote>\n Без семантического слоя LLM пришлось бы конструировать сложный запрос с нуля. С `MetricFlow` процесс выглядит так:<\/p>\n При этом весь сгенерированный SQL доступен для проверки, что обеспечивает прозрачность и объяснимость<\/b> вычислений.<\/p>\n Важно понимать различие между двумя компонентами:<\/p>\n Таким образом, `MetricFlow` становится общедоступным строительным блоком, а `dbt Semantic Layer` — готовым решением для его безопасного и управляемого внедрения в компаниях.<\/p>\n В мире данных произошла тихая, но фундаментальная революция. На смену традиционному подходу ETL (Extract, Transform, Load)<\/b>, где данные преобразовывались до загрузки в хранилище, пришла новая парадигма — ELT (Extract, Load, Transform)<\/b>. Благодаря мощности современных облачных хранилищ (таких как Snowflake, BigQuery, Databricks, Starburst\\Trino) стало выгоднее сначала загружать сырые данные, а уже затем трансформировать их непосредственно в хранилище.<\/p>\n Этот сдвиг породил потребность в инструментах, которые специализируются на последнем шаге — трансформации (T). Именно в этой нише dbt (data build tool) стал безоговорочным лидером, но на его поле появляются и новые сильные игроки, такие как Bruin. Давайте разберемся, что это за инструменты, какой подход они олицетворяют и в чем их ключевые различия.<\/p>\n И dbt, и Bruin являются яркими представителями движения “Analytics as Code”<\/b> (аналитика как код). Это не просто инструменты, а целая философия, которая переносит лучшие практики разработки программного обеспечения в мир аналитики данных.<\/p>\n Основные принципы и идеи:<\/b><\/p>\n Решаемые проблемы:<\/b><\/p>\n ---<\/p>\n dbt<\/b> — это инструмент с открытым исходным кодом, который позволяет аналитикам и инженерам трансформировать данные в их хранилищах с помощью простых SQL-запросов. Важно понимать, что dbt не извлекает и не загружает данные<\/b>. Он специализируется исключительно на шаге “T”<\/b> в ELT vutr.substack.com<\/a>. dbt git<\/a>.<\/p>\n Он работает как компилятор и исполнитель: вы пишете модели данных в `.sql` файлах, используя шаблонизатор Jinja для добавления логики (циклы, условия, макросы). Затем dbt компилирует этот код в чистый SQL и выполняет его в вашем хранилище данных element61.be<\/a>.<\/p>\n ---<\/p>\n Bruin<\/b> — это более новый игрок на рынке, который позиционирует себя как инструмент для создания “end-to-end” пайплайнов данных. В отличие от dbt, он не ограничивается только трансформацией, а стремится охватить больше этапов работы с данными, включая их загрузку (ingestion) https:\/\/github.com\/bruin-data\/bruin<\/a>.<\/p>\n Bruin разделяет ту же философию “Analytics as Code”, но предлагает более интегрированный опыт, где SQL и Python являются равноправными гражданами.<\/p>\n Выбор между dbt и Bruin — это выбор между двумя стратегиями построения современного стека данных.<\/p>\n Выбирайте dbt, если:<\/b><\/p>\n Выбирайте Bruin, если:<\/b><\/p>\n И dbt, и Bruin — мощные инструменты, воплощающие современные подходы к инженерии данных. dbt предлагает проверенный, сфокусированный и невероятно мощный движок для трансформаций, ставший стандартом. Bruin же предлагает более универсальный и интегрированный подход, который может быть привлекателен для команд, стремящихся к простоте и нативной поддержке Python.<\/p>\n Аналитика как код<\/b> — это подход к управлению аналитическими процессами, при котором все компоненты аналитики — от моделей данных и метрик до отчетов и правил доступа — определяются в виде кода в человекочитаемых файлах. Эти файлы затем управляются так же, как исходный код любого другого программного обеспечения: с помощью систем контроля версий, автоматизированного тестирования и развертывания medium.com<\/a>.<\/p>\n Самая близкая и известная аналогия — это Infrastructure as Code (IaC)<\/b>. Как IaC (например, с помощью Terraform) позволил инженерам описывать серверы, сети и базы данных в коде вместо ручной настройки через веб-интерфейсы, так и AaC позволяет описывать в коде всё, что связано с данными medium.com<\/a>.<\/p>\nПроблема: почему семантический слой стал критически важен<\/h3>\n
\n
\n
Что такое MetricFlow и как он работает<\/h3>\n
Ключевые изменения и их значение<\/h3>\n
\n
Как MetricFlow обеспечивает надежность AI<\/h3>\n
\n
\n
\n
Основные возможности движка:<\/h3>\n
\n
`MetricFlow` vs. `dbt Semantic Layer`<\/h3>\n
\n
\n
Итог<\/h3>\n
\n
![\"\"](\"https:\/\/gavrilov.info\/pictures\/demo.gif\")
\n<\/div>\nПодход «Аналитика как код»<\/h4>\n
\n
\n
dbt (data build tool): Золотой стандарт трансформации<\/h4>\n
Плюсы dbt<\/h5>\n
\n
Минусы dbt<\/h5>\n
\n
Bruin Data: Универсальный боец<\/h4>\n
Плюсы Bruin<\/h5>\n
\n
Минусы Bruin<\/h5>\n
\n
Сводное сравнение<\/h4>\n
\n
\n Характеристика<\/td>\n dbt (data build tool)<\/td>\n Bruin Data<\/td>\n<\/tr>\n \n Основная задача<\/b><\/td>\n Трансформация (T в ELT)<\/td>\n Весь пайплайн (E, L, T)<\/td>\n<\/tr>\n \n Ключевые языки<\/b><\/td>\n SQL с шаблонизатором Jinja<\/td>\n SQL и Python как равноправные<\/td>\n<\/tr>\n \n Экосистема<\/b><\/td>\n Огромная, стандарт индустрии<\/td>\n Маленькая, развивающаяся<\/td>\n<\/tr>\n \n Зрелость<\/b><\/td>\n Высокая, проверен временем<\/td>\n Низкая\/Средняя<\/td>\n<\/tr>\n \n Стек инструментов<\/b><\/td>\n Требует отдельных E\/L инструментов<\/td>\n Стремится быть самодостаточным<\/td>\n<\/tr>\n<\/table>\n Итого<\/h4>\n
\n
\n
А что такое “Аналитика как код” (Analytics as Code, AaC)?<\/h4>\n
\n