\n
![\"\"](\"https:\/\/gavrilov.info\/pictures\/image-218.png\")
\n<\/div>\nНа неделе разработчиков в апреле 2025 года мы анонсировали публичную бета-версию R2 Data Catalog<\/a>, полностью управляемого каталога Apache Iceberg<\/a> поверх объектного хранилища Cloudflare R2<\/a>. Сегодня мы развиваем эту область тремя новыми запусками:<\/p>\n Вместе эти продукты составляют Платформу данных Cloudflare (Cloudflare Data Platform)<\/b> — комплексное решение для приема, хранения и запроса аналитических данных.<\/p>\n Как и все продукты Платформы для разработчиков Cloudflare <\/a>, все они работают на нашей глобальной вычислительной инфраструктуре. Они построены на открытых стандартах и совместимы. Это означает, что вы можете использовать свой собственный движок запросов для Iceberg — будь то PyIceberg, DuckDB или Spark, — подключаться к другим платформам, таким как Databricks и Snowflake, и не платить за исходящий трафик (egress fees) при доступе к вашим данным.<\/p>\n Аналитические данные критически важны для современных компаний. Но традиционная инфраструктура данных дорога и сложна в эксплуатации. Мы создали Платформу данных Cloudflare, чтобы она была простой в использовании для любого пользователя и имела доступную цену, основанную на фактическом потреблении.<\/p>\n Если вы готовы начать прямо сейчас, следуйте нашему руководству по Платформе данных<\/a> для пошагового создания конвейера, который обрабатывает события и доставляет их в таблицу R2 Data Catalog, к которой затем можно будет делать запросы с помощью R2 SQL.<\/p>\n Мы запустили объектное хранилище `R2 Object Storage` в 2021 году с радикальной ценовой стратегией: никакой платы за исходящий трафик<\/b> (egress fees) — это плата за пропускную способность, которую традиционные облачные провайдеры взимают за выгрузку данных, фактически держа ваши данные в заложниках.<\/p>\n Со временем мы увидели, что все больше компаний используют открытые форматы данных и таблиц для хранения своих аналитических хранилищ в R2.<\/p>\n Apache Iceberg<\/b>. Iceberg — это формат таблиц, который предоставляет возможности, подобные базам данных (включая обновления, ACID-транзакции и эволюцию схемы), поверх файлов данных в объектном хранилище. Другими словами, это слой метаданных, который сообщает клиентам, какие файлы данных составляют определенную логическую таблицу, каковы их схемы и как эффективно их запрашивать.<\/p>\n Благодаря `R2` с нулевой платой за исходящий трафик, пользователи перестали быть привязанными к своим облакам. Они могут хранить свои данные в нейтральном месте и позволять командам использовать любой движок запросов, который подходит для их данных и шаблонов запросов.<\/p>\n Однако пользователям все еще приходилось управлять всей инфраструктурой метаданных самостоятельно. Мы поняли, что можем решить эту проблему, и так появился `R2 Data Catalog` — наш управляемый каталог Iceberg. Но оставалось несколько пробелов:<\/p>\n Далее мы рассмотрим, как три продукта, составляющие Платформу данных, решают эти задачи.<\/p>\n Аналитические таблицы состоят из событий, произошедших в определенный момент времени. Прежде чем вы сможете запрашивать их с помощью Iceberg, их нужно принять, структурировать по схеме и записать в объектное хранилище. Эту роль выполняют Cloudflare Pipelines<\/b>.<\/p>\n Созданные на базе `Arroyo` (движка потоковой обработки, который мы приобрели в этом году), `Pipelines` получают события, преобразуют их с помощью SQL-запросов и направляют (sinks) в R2 и R2 Data Catalog.<\/p>\n `Pipelines` организованы вокруг трех ключевых объектов:<\/p>\n Например, вот конвейер, который принимает события из источника данных о кликах (clickstream) и записывает их в Iceberg, отфильтровывая ботов и события, не являющиеся просмотрами страниц:<\/p>\n SQL-преобразования позволяют вам:<\/p>\n `Cloudflare Pipelines` доступны сегодня в открытой бета-версии. Во время беты мы не взимаем плату за `Pipelines`, однако хранение и операции в `R2` оплачиваются по стандартным тарифам blog.cloudflare.com<\/a>.<\/p>\n Мы запустили открытую бету `R2 Data Catalog` в апреле и были поражены откликом blog.cloudflare.com<\/a>. Начать работу с Iceberg стало просто — не нужно настраивать кластер баз данных или управлять инфраструктурой.<\/p>\n Однако со временем, по мере поступления данных, количество базовых файлов данных, составляющих таблицу, будет расти, что приведет к замедлению запросов. Особенно это заметно при низколатентной загрузке, когда данные пишутся часто и маленькими файлами.<\/p>\n Решением является уплотнение (compaction)<\/b> — периодическая операция обслуживания, выполняемая каталогом автоматически. Уплотнение перезаписывает мелкие файлы в более крупные, что снижает накладные расходы на метаданные и повышает производительность запросов.<\/p>\n Сегодня мы запускаем поддержку уплотнения в `R2 Data Catalog`. Включить его для вашего каталога очень просто:<\/p>\n Во время открытой беты мы не взимаем плату за `R2 Data Catalog`. Ниже наши предполагаемые будущие цены:<\/p>\n\n
Как мы пришли к созданию Платформы данных?<\/b><\/h4>\n
\n
Cloudflare Pipelines<\/b><\/h4>\n
\n
![\"\"](\"https:\/\/gavrilov.info\/pictures\/image-219.png\")
\n<\/div>\nINSERT into events_table\nSELECT\n user_id,\n lower(event) AS event_type,\n to_timestamp_micros(ts_us) AS event_time,\n regexp_match(url, '^https?:\/\/([^\/]+)')[1] AS domain,\n url,\n referrer,\n user_agent\nFROM events_json\nWHERE event 'page_view'\n AND NOT regexp_like(user_agent, '(?i)bot|spider');<\/code><\/pre>\n
R2 Data Catalog<\/b><\/h4>\n
$ npx wrangler r2 bucket catalog compaction enable mycatalog<\/code><\/pre>
![\"\"](\"https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-09-03-v-21.04.26.png\")
\n<\/div>\n![\"\"](\"https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-09-03-v-21.08.16.png\")
\n![\"\"](\"https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-09-03-v-21.08.34.png\")
\n![\"\"](\"https:\/\/gavrilov.info\/pictures\/image-212.png.jpg\")
\n<\/div>\n