Хакатао по дешевке :)

Налетай, торопись покупай живопись

Мне у хакатао медведь нравится :) оч крутой

UPD:

Ушла королева))

Современные системы обработки данных все чаще работают с непрерывными потоками событий — от отслеживания активности пользователей на сайтах до мониторинга IoT-устройств. Этот подход позволяет анализировать информацию в реальном времени. В основе таких систем лежит выбор между двумя фундаментальными парадигмами: потоковой обработкой с состоянием (stateful) и без него (stateless).

А все эти изыски пошли от этого поста:

I haven't dug deep into this project, so take this with a grain of salt. // пишет про ArkFlow
ArkFlow is a "stateless" stream processor, like vector or benthos (now Redpanda Connect). These are great for routing data around your infrastructure while doing simple, stateless transformations on them. They tend to be easy to run and scale, and are programmed by manually constructing the graph of operations.
Arroyo (like Flink or Rising Wave) is a "stateful" stream processor, which means it supports operations like windowed aggregations, joins, and incremental SQL view maintenance. Arroyo is programmed declaratively via SQL, which is automatically planned into a dataflow (graph) representation. The tradeoff is that state is hard to manage, and these systems are much harder to operate and scale (although we've done a lot of work with Arroyo to mitigate this!).
I wrote about the difference at length here: https://www.arroyo.dev/blog/stateful-stream-processing

А про маленького Stateless зверька ArkFlow будет потом статейка. В прочем можете уже посмотреть и раньше.

Потоковая обработка с состоянием (stateful) означает, что система способна запоминать информацию о ранее обработанных событиях. Это позволяет выполнять сложные операции, такие как агрегации, объединения (joins) и вычисления в “окнах” времени.

В этой статье мы разберем, в чем разница между этими подходами, когда стоит выбирать тот или иной, и как современные движки, такие как Apache Flink или RisingWave, справляются со сложностями хранения состояния. Про “Восходящую волну” и делал тестик тут https://gavrilov.info/all/sozdaem-streaming-lakehouse-za-chas-rukovodstvo-po-risingwave-la

Потоковая обработка без состояния (Stateless)

Многие системы потоковой обработки являются stateless. Это означает, что они обрабатывают каждое событие изолированно, не имея возможности “помнить” информацию о данных, которые видели ранее.

На самом деле, наличие состояния — это источник больших сложностей. Хранение состояния делает систему в десятки раз сложнее в эксплуатации. Именно поэтому базы данных гораздо труднее обслуживать, чем типичные микросервисы, которые чаще всего проектируются как “stateless”.

В потоковой обработке отсутствие состояния также означает, что система выполняет только простые операции преобразования или фильтрации (в SQL-терминах это `SELECT` и `WHERE`). Сложные операции, требующие группировки или объединения данных (`GROUP BY`, `JOIN`, `ORDER BY`), в таких системах невозможны.

Преимущества stateless-систем:

• Простота эксплуатации: Их легко запускать в кластерных системах вроде Kubernetes или в бессерверных средах типа AWS Lambda.
• Легкость масштабирования: Достаточно просто добавить больше обработчиков (workers).
• Изолированные сбои: Выход из строя одного узла не влияет на другие.
• Быстрое восстановление: Не нужно восстанавливать какое-либо состояние.

Если ваши задачи укладываются в эти ограничения (нет агрегаций, нет необходимости группировать данные), вам следует использовать stateless-обработку. Часто для таких задач даже не нужен специализированный движок потоковой обработки — достаточно сервиса, который читает события из источника (например, Apache Kafka), выполняет простую логику и записывает результат.

Примеры использования:

• Сбор метрик с серверов, их преобразование и отправка в базу данных для мониторинга.
• Обработка логов: фильтрация, удаление конфиденциальных данных, изменение формата.

Пример простого SQL-запроса, который может быть выполнен в stateless-системе:

SELECT timestamp, redact(log_text) -- Выбираем время и скрываем часть текста лога
FROM logs
WHERE log_level = 'ERROR'; -- Только для событий с уровнем 'ERROR'

Добавление состояния (Stateful)

Однако большинство бизнес-задач требуют запоминания информации о прошлых событиях, то есть требуют наличия состояния decodable.co. Вместе с состоянием часто возникает необходимость в перераспределении (shuffling) данных между узлами кластера.

Пример: Агрегации с состоянием для обнаружения мошенничества

Представим, что e-commerce сайт должен обнаруживать и блокировать мошеннические операции с кредитными картами. Один из эффективных признаков мошенничества — “сколько неудачных транзакций было у этого пользователя за последние 24 часа”.

С помощью SQL это можно выразить так:

SELECT
  user_id,
  count(*) as failed_count
FROM transactions
WHERE
  status = 'FAILED'
GROUP BY
  user_id,
  -- hop - это функция скользящего окна в некоторых диалектах SQL
  hop(INTERVAL '5 seconds', INTERVAL '24 hours');

SQL-запрос преобразуется в граф операторов (конвейер), где каждый шаг выполняет свою часть логики.

Этот запрос подсчитывает количество неудачных событий для каждого `user_id`. Чтобы получить итоговое число, нам нужно, чтобы все события для одного и того же пользователя (например, “bob”) попадали на один и тот же вычислительный узел. Этот процесс перенаправления данных называется перераспределением (shuffling) и в SQL вводится оператором `GROUP BY`.

Но чтобы посчитать количество событий за 24 часа, система должна хранить эти события на протяжении всего окна. Это и есть состояние (state). Оно необходимо для любого запроса, который вычисляет агрегаты по времени.

Пример: Состояние в ETL-конвейерах

Состояние полезно даже в задачах, которые на первый взгляд кажутся простыми. Например, при загрузке событий в озерo данных ( вроде Amazon S3). Казалось бы, это stateless-операция: получил событие, преобразовал, записал.

Такой подход будет работать при небольшом объеме данных. Но с ростом трафика он приведет к проблемам с производительностью: запись множества мелких файлов в S3 неэффективна и сильно замедляет последующее чтение данных.

Решение с использованием состояния:
Stateful-движок может перераспределять события по их типу (`event_type`), направляя каждый тип на свой узел. Затем, используя состояние, он накапливает события в буфере в памяти, пока не соберется достаточно большой пакет (например, 8-16 МБ), и только потом записывает его в S3 одним большим файлом. Это значительно повышает производительность как записи, так и чтения.

Как и где хранится состояние?

Разные движки потоковой обработки решают эту задачу по-разному skyzh.dev:

Движок/Система	Подход к хранению состояния	Пояснение
Apache Flink	Локально на узле (в памяти или RocksDB)	RocksDB — это встраиваемая key-value база данных, основанная на LSM-деревьях. Она позволяет хранить огромные объемы состояния, но сложна в настройке и может вызывать проблемы с I/O диска из-за операций сжатия (compaction).
ksqlDB / Kafka Streams	Гибридное (в Kafka и локально)	Часть состояния хранится в топиках Apache Kafka, а состояние для оконных функций — локально на узлах в памяти или RocksDB.
RisingWave / Arroyo	Удаленно (в S3 или FoundationDB) с локальным кэшем	Современный подход, при котором основное хранилище состояния отделено от вычислений. На вычислительных узлах находится только “горячий” кэш активных данных. Это значительно ускоряет масштабирование и восстановление после сбоев, так как не нужно перемещать терабайты данных между узлами.

Согласованное сохранение состояния (Checkpointing)

Теперь, когда наши узлы хранят состояние, что произойдет, если они выйдут из строя? Если не принять мер, состояние будет потеряно.

Для обеспечения отказоустойчивости stateful-системы используют механизм контрольных точек (checkpointing) — периодическое создание согласованных “снимков” состояния всего конвейера и сохранение их в надежное хранилище (например, S3).

Ключевая задача здесь — гарантировать семантику “exactly-once” (ровно один раз). Это означает, что даже в случае сбоев и восстановлений каждое входящее событие будет обработано и повлияет на итоговое состояние ровно один раз, без потерь и дубликатов export.arxiv.org.

Для этого используется элегантный алгоритм Чанди-Лэмпорта. Его суть в том, что через поток данных пропускаются специальные маркеры — барьеры контрольных точек. Когда оператор получает барьеры от всех своих входов, он делает снимок своего текущего состояния и пересылает барьер дальше.

Современные системы делают этот процесс максимально эффективным:

• Асинхронность: Создание контрольной точки не блокирует обработку новых данных.
• Инкрементальность: В хранилище отправляются только измененные данные, а не всё состояние целиком.

Это позволяет создавать контрольные точки очень часто (например, каждые 10 секунд). В случае сбоя системе потребуется перечитать и обработать заново лишь данные за последние 10 секунд, что делает восстановление почти мгновенным.

Итог

Потоковая обработка без состояния (stateless) проста и эффективна для ограниченного круга задач, таких как фильтрация или простое преобразование данных.

Однако большинство нетривиальных бизнес-задач — распознавание паттернов, аналитика в реальном времени, корреляция событий — требуют обработки с состоянием (stateful) e6data.com. Исторически это было связано с большими операционными сложностями, особенно при использовании систем раннего поколения, которые хранили всё состояние локально на вычислительных узлах.

Современные движки, такие как RisingWave и Arroyo, решают эту проблему, отделяя хранение состояния от вычислений. Они используют удаленное хранилище с локальным кэшированием, что делает масштабирование, восстановление после сбоев и развертывание новых версий кода значительно проще и быстрее.

Таким образом, хотя stateful-системы по своей природе сложнее, современные архитектурные решения делают их мощь доступной для широкого круга задач, открывая дорогу для по-настоящему продвинутой аналитики в реальном времени.

А это тут пока положу, а то забуду :)

https://habr.com/ru/articles/774870 – Землю — крестьянам, gRPC — питонистам. Она про grpc питонячий.

На рынке внутренних порталов разработчика существует один явный лидер в категории open source — Backstage. Большинство других популярных решений, таких как Port, являются коммерческими (SaaS) продуктами, хотя они и могут предлагать open source компоненты для интеграции https://internaldeveloperplatform.org/developer-portals/port/

Поэтому основной фокус в open source сегменте приходится именно на Backstage, который был создан в Spotify и позже передан в Cloud Native Computing Foundation (CNCF).

Ключевое решение: Backstage

Backstage — это не готовый продукт, а фреймворк для создания собственного портала разработчика https://cloudomation.com/cloudomation-blog/5-internal-developer-portals-and-what-software-engineers-say-about-them/. Это его главное преимущество и одновременно главный недостаток. Он предоставляет базовые строительные блоки и архитектуру, на основе которых компании могут построить портал, идеально соответствующий их процессам и инструментам.

Кстати очень интересная статья про порталы, платформы и их различия.

Cloudomation Guide – Building Internal Developer Platforms.pdf есть еще гайд обобщенный. А основная концепция конечно тут https://internaldeveloperplatform.org

Основные компоненты Backstage:

1. Software Catalog: Единый реестр для всех программных активов компании (микросервисы, библиотеки, веб-сайты, ML-модели и т.д.). Позволяет централизовать метаданные, информацию о владельцах, зависимостях и состоянии.
2. Software Templates (Scaffolder): Инструмент для создания новых проектов по заранее подготовленным шаблонам. Это стандартизирует первоначальную настройку сервисов, CI/CD пайплайнов, репозиториев и т.д.
3. TechDocs: Решение для создания, поддержки и отображения технической документации по принципу “docs-as-code”, когда документация хранится вместе с кодом.
4. Плагины: Экосистема Backstage строится вокруг плагинов. Существует огромное количество готовых плагинов для интеграции с AWS, Kubernetes, GitHub, CI/CD системами, системами мониторинга и многими другими. Если нужного плагина нет, его можно разработать самостоятельно.

Сравнение подходов: Build vs. Buy

Поскольку настоящий open source конкурент у Backstage практически отсутствует, наиболее корректно сравнить его не с другим open source решением, а с подходом использования коммерческих SaaS-платформ, ярким представителем которых является Port.

• Port** — это коммерческий продукт, который предлагает готовый к использованию портал. Его философия заключается в гибкой модели данных на основе “blueprints” (шаблонов сущностей) и взаимосвязей между ними. Port позволяет быстро агрегировать данные из различных источников и построить каталог без необходимости развертывания и поддержки сложной инфраструктуры 10-best-internal-developer-portals-to-consider. Хотя ядро продукта закрыто, его интеграции и экспортеры данных являются открытыми [internaldeveloperplatform.org](https://internaldeveloperplatform.org/developer-portals/port/).

Сравнительная таблица: Backstage vs. Коммерческие IDP (на примере Port)

Критерий	Backstage (Open Source)	Коммерческие решения типа Port (SaaS)
Модель лицензирования	Open Source (Apache 2.0). Бесплатно.	Коммерческая (SaaS). Платная подписка.
Философия / Подход	Фреймворк для создания портала. “Построй свой дом”.	Готовый продукт для настройки портала. “Купи и настрой квартиру”.
Сложность внедрения	Высокая. Требуется разработка, развертывание и поддержка. Есть кривая обучения [cloudomation.com](https://cloudomation.com/cloudomation-blog/5-internal-developer-portals-and-what-software-engineers-say-about-them/).	Низкая / Средняя. Быстрый старт, не требует своей инфраструктуры.
Требования к команде	Нужна выделенная команда платформенных инженеров для разработки и поддержки портала.	Может управляться одним или несколькими DevOps-инженерами. Не требует навыков фронтенд-разработки.
Гибкость и кастомизация	Максимальная. Можно изменить и доработать абсолютно все, создать уникальные плагины и логику.	Высокая, но ограничена возможностями платформы. Кастомизация интерфейса и логики возможна в рамках, заданных вендором.
Инфраструктура	Требует собственной инфраструктуры для хостинга (обычно Kubernetes), базы данных, CI/CD для самого портала.	Не требует. Хостится и управляется вендором.
Экосистема и интеграции	Огромная, управляемая сообществом. Большое количество open source плагинов.	Управляется вендором. Интеграции создаются вендором, но часто есть открытые API и экспортеры данных.
Общая стоимость владения (TCO)	Скрытая и высокая. Лицензия бесплатна, но основные затраты — это зарплаты команды разработки и поддержки, а также стоимость инфраструктуры.	Прозрачная и предсказуемая. Основные затраты — стоимость подписки.
Поддержка	Сообщество (Slack, GitHub Issues).	Коммерческая поддержка от вендора (SLA, выделенный менеджер).

Выбор между open source фреймворком вроде `Backstage` и коммерческим продуктом — это классический выбор между “Build” (создавать) и “Buy” (покупать).

1. `Backstage` — это стратегическая инвестиция. Это мощное решение для крупных или технологически зрелых компаний, у которых уже есть выделенная платформенная команда и которые готовы вкладывать ресурсы в создание идеально подогнанного под себя инструмента. `Backstage` дает полный контроль, избавляет от зависимости от вендора (vendor lock-in) и позволяет решать уникальные задачи, которые не могут покрыть коробочные продукты.

2. Коммерческие IDP (такие как Port) — это тактическое решение для быстрого результата. Они идеально подходят для малых и средних компаний, или для крупных организаций, которые хотят быстро запустить портал и проверить гипотезы, не формируя для этого отдельную команду разработки. Этот подход обеспечивает быстрый старт, предсказуемые затраты и перекладывает всю головную боль по поддержке и развитию платформы на плечи вендора.

Рекомендации

Выбирайте `Backstage`, если:

• У вас есть (или вы готовы создать) выделенная команда платформенных инженеров.
• У вас есть уникальные и сложные внутренние процессы, которые не укладываются в рамки готовых решений.
• Вы хотите максимальной гибкости для интеграции со своими самописными инструментами.
• Вы — крупная организация, для которой затраты на команду разработки портала оправданы в долгосрочной перспективе.
• Принципиально важно избежать зависимости от стороннего вендора.

Рассмотрите коммерческие решения (типа Port), если:

• Вам нужен результат “здесь и сейчас” с минимальными первоначальными усилиями.
• У вас нет ресурсов на формирование команды для разработки собственного портала.
• Стандартного или предложенного вендором функционала достаточно для решения ваших задач.
• Вы предпочитаете прозрачную модель оплаты (SaaS-подписка) вместо скрытых затрат на разработку и поддержку.
• Вам важна гарантированная коммерческая поддержка с четким SLA.

Вне зависимости от выбора, начинать следует с определения ключевых проблем разработчиков, которые должен решить портал. Инструмент — это лишь средство для достижения цели, будь то упрощение создания новых сервисов, централизация знаний или автоматизация рутинных задач.

Ниже небольшой гайд на основе дока выше Cloudomation Guide – Building Internal Developer Platforms.pdf

Руководство

Создание внутренних платформ для разработчиков: лучшие практики, инструменты и стратегические выводы для технических лидов

***

Кратко о чем все это?

Ниже представлен обзор внутренних платформ для разработчиков (Internal Developer Platforms, или IDP). Поскольку инженерные команды сталкиваются с растущей сложностью, IDP становятся решением для снижения разногласий между разработкой и эксплуатацией.

Независимо от того, оцениваете ли вы готовые платформы или создаете собственное решение, этот документ предлагает ценные сведения и тщательно подобранные ресурсы, которые помогут вам эффективно пройти путь внедрения IDP.

Основные тезисы:

• IDP — это платформы самообслуживания, созданные инженерами платформ для оптимизации разработки программного обеспечения за счет автоматизации развертываний, конфигураций и управления средами.
• Преимущества: Сокращение времени, затрачиваемого на настройку и отладку, снижение когнитивной нагрузки на разработчиков, повышение надежности и соответствия требованиям, а также более высокая операционная эффективность.
• Каждая IDP уникальна, но обычно состоит из фронтенда, бэкенда и других интегрированных инструментов.
• Ключевые возможности IDP должны включать: API, пользовательский интерфейс, автоматизацию, механизмы ограничений (например, политики), документацию и возможность обнаружения сервисов (discoverability).
• Для создания по-настоящему целостной IDP необходимо сосредоточиться на интеграции всех необходимых инструментов и сервисов.
• При внедрении IDP могут возникнуть следующие проблемы: попытка сделать все сразу (и не достичь ничего), нехватка ресурсов и бюджета, невозможность поддерживать каталог программного обеспечения в актуальном состоянии и недостаток коммуникации между людьми.
• Обосновывая необходимость внедрения IDP, подкрепляйте свои аргументы данными и связывайте их с рисками и результатами, которые больше всего волнуют ваше руководство.

***

Содержание

1. Что такое IDP?
2. Зачем нужны IDP?
3. Как работают IDP?
4. Обоснование необходимости IDP для бизнеса
5. Лучшие практики для создания IDP
6. Инструменты платформенной инженерии для создания IDP
7. 3 проблемы при создании IDP
8. Ресурсы

---

1. Что такое IDP?

Внутренние платформы для разработчиков (IDP) лежат в основе дисциплины платформенной инженерии (Platform Engineering).

Пояснение:
Внутренняя платформа для разработчиков — это, по сути, продукт, предназначенный для разработчиков внутри организации. Она предоставляет им доступ по принципу самообслуживания к технической инфраструктуре и рабочим процессам, таким как конвейеры развертывания или облачные ресурсы. пост на dev.to. Ключевая идея — относиться к своей внутренней платформе как к продукту, а к разработчикам — как к клиентам. еще пост с dev.to. Это позволяет им не ждать выполнения заявок в отдел эксплуатации и не нести полную ответственность за инфраструктуру, как в модели «you build it, you run it».

IDP призваны решить вечную проблему, которая преследует всех разработчиков ПО: программное обеспечение чрезвычайно сложно, и ни один человек не может знать всего, что требуется для создания целого программного продукта.

Понимание внутренних платформ для разработчиков

На схеме ниже показаны ключевые концепции, лежащие в основе IDP.

• Подходы «Инфраструктура как код» (As-Code Approaches): Акцент на автоматизацию и документирование через код.
• «Золотые пути» (Golden Paths): Предоставление заранее определенных, проверенных и поддерживаемых путей для выполнения типовых задач (например, создание нового сервиса, развертывание в среде). Разработчики могут легко следовать этим путям, будучи уверенными в результате.
• Самообслуживание (Self-Service): Позволяет разработчикам самостоятельно использовать платформу без необходимости обращаться в другие команды.
• Управление как продуктом (Managed like a product): У платформы есть свой жизненный цикл выпуска, владелец продукта и дорожная карта развития.
• Инженеры платформы (Platform Engineers): Создают и поддерживают IDP, фокусируясь на ценности для разработчиков.
• Разработчики ПО (Software Developers): Основные пользователи, которые взаимодействуют с IDP.

Функции IDP

IDP предоставляют функции, которые являются центральными в повседневной работе разработчиков программного обеспечения.

Это лишь примеры функций, которые может иметь IDP. Каждая IDP уникальна для организации, которая ее использует. Часто они создаются с нуля или сильно кастомизируются под нужды компании.

---

2. Зачем нужны IDP?

По мере усложнения процесса поставки ПО организации сталкиваются с фрагментированными практиками DevOps, несогласованными рабочими процессами и операционной неэффективностью. От разработчиков ожидают, что они будут управлять инфраструктурой, конвейерами CI/CD, политиками безопасности и мониторингом, что часто приводит к когнитивной перегрузке и снижению производительности. Именно здесь на помощь приходят платформенная инженерия и IDP.

Раскрывая мощь IDP

1. Ускорение циклов разработки: Оптимизированное развертывание сокращает время, затрачиваемое на настройку и отладку.
2. Снижение когнитивной нагрузки на разработчиков: Упрощенное управление инфраструктурой позволяет сосредоточиться на написании кода.
3. Повышение надежности и соответствия требованиям (Compliance): Обеспечивает последовательное применение политик безопасности и соответствия во всех развертываниях.
4. Повышение инженерной эффективности: Автоматизирует управление ресурсами, повышая операционную эффективность.

---

3. Как работают IDP?

Каждая IDP уникальна, но есть некоторые общие характеристики, присущие большинству из них. В самом простом виде каждая IDP состоит примерно из трех «частей»:

• Фронтенд IDP
• Бэкенд IDP
• Множество других инструментов, интегрированных с IDP

• Фронтенд: Пользовательский интерфейс для доступа разработчиков к IDP. Часто это внутренний портал разработчика (Internal Developer Portal).
• Бэкенд: Управляет интеграцией и автоматизацией с другими инструментами. Эту роль часто выполняет оркестратор платформы.
• Интегрированные инструменты: Различные инструменты, которые работают с IDP для выполнения ключевых процессов (CI/CD, мониторинг, безопасность и т.д.).

Архитектура

Следующая диаграмма архитектуры, основанная на модели CNOE (Cloud Native Operational Excellence), дает более детальное представление.

Ранее писал про Rainbond китайский, там немного другой акцент, но их архитектура тоже интересная, а так как это опенсорс, то можно свой такой запилить, но переводить придется :)

В этой диаграмме «Портал разработчика» (`Developer Portal`) является фронтендом IDP. Компонент «Оркестрация рабочих процессов» (`Workflow Orchestration`) будет бэкендом.

Ниже приведен более подробный пример архитектуры, показывающий, какие типы инструментов и сервисов могут быть частью IDP, сгруппированные по функциональным уровням (плоскостям).

Ключевая функциональность IDP

Основная идея IDP — объединить инструменты, сервисы, конфигурации и другую информацию в одном месте. Инженеры-программисты, а также другие заинтересованные стороны (например, команды эксплуатации) должны иметь возможность использовать IDP как единую точку входа для обнаружения и взаимодействия с приложениями и инфраструктурой компании.

Таким образом, бэкенд IDP, как правило, должен быть сильным в двух типах функциональности: №1 Интеграция и №2 Автоматизация.

• Интеграция: Объединение разнообразных инструментов и сервисов в единую систему.
• Автоматизация: Связывание и оркестрация существующих конвейеров автоматизации.

---

4. Обоснование необходимости IDP для бизнеса

По мере того как организации масштабируют и модернизируют поставку своего программного обеспечения, сложность управления инфраструктурой, рабочими процессами разработчиков и управлением (governance) растет экспоненциально.

Внутренняя платформа для разработчиков (IDP) предлагает стратегический ответ на этот вызов, обеспечивая более быструю доставку, более сильное управление и снижение операционных рисков. Однако, чтобы получить одобрение руководства, крайне важно сформулировать преимущества IDP в терминах бизнеса.

Вот как можно обосновать необходимость IDP, обращаясь к четырем ключевым проблемам руководителей: Масштаб, Затраты, Риски и Управление.

1. Масштаб: Предоставление организации возможности двигаться быстрее

• Проблема руководителя: Как мы можем масштабировать наши инженерные команды и поставку ПО без узких мест?
• Обоснование IDP: IDP повышает производительность, абстрагируя повторяющиеся, низкоценные задачи. Она дает командам приложений возможность самостоятельно обслуживать инфраструктуру, CI/CD, тестирование и развертывание стандартизированным и безопасным способом.
• Бизнес-результаты:
  • Повышение скорости работы команд приложений и организации в целом.
  • Быстрая доставка большей бизнес-ценности, поскольку команда разработки может сосредоточиться на коде.
  • Возможность масштабирования без линейного увеличения найма DevOps-инженеров.
• Как это сделать: Оцените, сколько времени команды приложений тратят на борьбу с инфраструктурой и инструментами развертывания, и сколько — на работу над своим основным приложением. Используйте эти данные, чтобы обосновать необходимость IDP и показать, как она может высвободить время для основной задачи, что напрямую влияет на бизнес-ценность. Визуализируйте это, чтобы подчеркнуть, каким объемом инфраструктуры приходится управлять командам приложений, и сравните это с тем, как это могло бы выглядеть.

*(В оригинальном документе здесь показаны два слайда из презентации PlatformCon23, представляющие “текущее состояние” и “будущее состояние”. Текущее состояние показывает, как команда из 50 разработчиков приложений вынуждена вручную взаимодействовать с разрозненным набором инструментов. Будущее состояние показывает, как команда платформы предоставляет единый, унифицированный слой, который абстрагирует эту сложность, позволяя командам приложений работать более эффективно.)*

Обратите внимание сколько кубиков вверху, а сколько внизу. В России кстати очень быстро вырывается вперед разработка на фреймворках streamlit, они почти ничего не делают повторно, если развернули хоть раз его с авторизацией и ипишками – в основном только ui колбасят. Но часто такие инициативы не вырастают сильно, их обычно давят в зародыше, так как они не соответствуют общему формату и не хотят делать все остальные кубики или не умеют – в общем похожи они на shadow it. Но если же им каким, то образом это удалось, то потом их не остановить и придя к ним через год, можно увидел второй прод, полностью зеркальный :) и сделал его кто-то один вечерами.

2. Затраты: Оптимизация за счет масштабирования и повторного использования

• Проблема руководителя: Как нам контролировать растущие расходы на облако и инженерию?
• Обоснование IDP: Платформенная инженерия сокращает дублирование усилий и консолидирует управление инфраструктурой. IDP способствует экономически эффективному масштабированию, обеспечивая прозрачность и контроль на протяжении всего жизненного цикла ПО. Централизация позволяет совместно использовать ресурсы, проактивно отслеживать затраты и автоматически высвобождать неиспользуемые активы (например, тестовые среды).
• Бизнес-результаты:
  • Улучшенная прозрачность и предсказуемость затрат.
  • Снижение общей стоимости владения (TCO) за счет оптимизации ресурсов.
  • Большая рентабельность инвестиций (ROI) в облачную инфраструктуру.
• Важный момент: Команды платформы могут отслеживать метрики использования и отключать неиспользуемые среды.

3. Риски: Сокращение точек отказа и операционных угроз

• Проблема руководителя: Какие риски угрожают нашей способности поставлять продукт надежно и безопасно?
• Обоснование IDP: IDP минимизирует операционные риски и риски безопасности путем стандартизации процессов по всем направлениям — конвейеры CI/CD, развертывание, наблюдаемость (observability), оповещения и аутентификация.
• Бизнес-результаты:
  • Снижение риска сбоев в продакшене.
  • Централизация ключевых сервисов, таких как развертывание, управление идентификацией и логирование.
  • Принудительное применение политик безопасности и соответствия на уровне платформы.
• Примеры устраняемых рисков:
  • Задержки в поставке из-за нестабильных конвейеров.
  • Утечки данных из-за неверно настроенных систем аутентификации.
  • Непрохождение аудита из-за несогласованного логирования или дрифта соответствия требованиям.

4. Управление (Governance): Обеспечение согласованности и соответствия требованиям в масштабе

• Проблема руководителя: Как нам поддерживать контроль, не замедляя команды?
• Обоснование IDP: С IDP управление становится встроенным. От шаблонов до API, команды платформы могут кодировать стандарты и лучшие практики непосредственно в опыт разработчика.
• Бизнес-результаты:
  • Проактивное управление и применение политик.
  • Улучшенная аудитопригодность и соответствие нормативным требованиям.
  • Формирование культуры инженерного совершенства.

Подкрепление доводов данными

Ключевым фактором для вашего бизнес-обоснования являются данные. Проведите опрос в вашей инженерной организации, чтобы собрать информацию, например, о времени, затрачиваемом на инфраструктурные задачи по сравнению с разработкой новой функциональности.

Итоговые мысли: Что не дает спать руководителям?

При формировании своего предложения обращайтесь непосредственно к рискам и результатам, которые больше всего волнуют ваших руководителей. Например:

• Скорость выхода на рынок (Speed to market): Сможем ли мы поставлять продукт быстрее конкурентов?
• Надежность: Выдержат ли наши системы нагрузку?
• Безопасность и соответствие требованиям (Security & Compliance): Уязвимы ли мы для взломов или аудитов?
• Масштабируемость: Сможем ли мы расти, не теряя контроля?

Внутренняя платформа для разработчиков — это не просто технический инструмент, это стратегический актив. С правильной постановкой вопроса, данными и видением вы можете продемонстрировать, как хорошо реализованная IDP поддерживает не только инженерию, но и весь бизнес.

---

5. Лучшие практики для создания IDP

Этот раздел основан на идеях, вдохновленных видео Виктора Фарчича «От нуля до полностью работающей платформы для разработчиков за 5 шагов!». Он описывает не столько шаги, сколько ключевые возможности, которые должна иметь IDP, чтобы быть полезной.

5 ключевых возможностей IDP (по версии Виктора Фарчича):

1. API
2. Управление состоянием (State management)
3. Одноразовые действия / Рабочие процессы (One-shot actions / Workflows)
4. RBAC и Политики (RBAC & Policies)
5. Пользовательские интерфейсы (опционально)

Наш взгляд на ключевые возможности (немного измененный и дополненный):

1. API: Программный интерфейс для взаимодействия с платформой.
2. Пользовательские интерфейсы (не опционально): Удобный способ для разработчиков взаимодействовать с платформой.
3. Автоматизация: Включает как одноразовые действия (например, запуск сборки), так и управление состоянием (например, поддержание среды в нужном состоянии).
4. Ограничения (Constraints): Политики, управление доступом на основе ролей (RBAC) и т.д.
5. Документация и обнаруживаемость (Discoverability): Возможность легко находить сервисы, их владельцев и документацию.

Как это поможет мне построить платформу?

Если вы подумаете о проблемах, с которыми вы недавно сталкивались как инженер платформы или DevOps-инженер, вы, вероятно, сможете соотнести их с одной из описанных возможностей.

Некоторые примеры:

• Если у вас проблемы с простоями инстансов или случайными высокими затратами из-за оставленных облачных ресурсов, у вас недостаточные возможности по управлению состоянием.
• Если у вас проблемы с тем, что у инженеров-программистов нет доступа к нужной им инфраструктуре, или с тем, что младшие инженеры вмешиваются в развертывания, в которые им не следует вмешиваться, вы плохо управляете ограничениями.
• Если ваши разработчики не могут самостоятельно запустить систему на основе feature-ветки или запустить сборку и тест для определенного коммита, вам нужно взглянуть на ваши возможности автоматизации одноразовых действий.
• Если ваши инженеры-программисты просто не используют предоставляемые вами API и сервисы, вам, вероятно, следует взглянуть на предоставляемые вами пользовательские интерфейсы или проверить, обнаруживаемы / документированы ли ваши сервисы.

Цель и ценность этих ключевых возможностей — помочь вам понять, почему вы продолжаете терпеть неудачи в некоторых вопросах, и как вы можете начать исправлять ситуацию таким образом, чтобы это было долговечно и устойчиво управляемо.

---

6. Инструменты платформенной инженерии для создания IDP

В этой статье рассматривается, как структурировать IDP, с разбивкой по ключевым компонентам и с примерами инструментов, которые вы можете использовать.

Категоризация инструментов и компонентов

Мы классифицируем эти инструменты, используя «референсную архитектуру», популяризированную `platformengineering.org`. Эта структура разбивает экосистему на пять основных компонентов, известных как «плоскости» (`planes`):

• Плоскость управления разработчика (`Developer Control Plane`): Все компоненты, через которые разработчики взаимодействуют с платформой. Обычно включает GUI/порталы, контроль версий, облачные среды разработки (CDE), а также стандарты конфигурации, которые разработчики поддерживают сами.
• Плоскость интеграции и доставки (`Integration & Delivery Plane`): Здесь происходит вся автоматизация. Инструменты CI/CD, автоматизация инфраструктуры и другие оркестраторы платформы обычно являются частью этой плоскости.
• Плоскость мониторинга и логирования (`Monitoring & Logging Plane`): Как следует из названия, здесь находятся все инструменты наблюдаемости (observability).
• Плоскость безопасности (`Security Plane`): Управление секретами, инструменты политик и другие инструменты безопасности.
• Плоскость ресурсов (`Resource Plane`): Вычислительные ресурсы и хранилища.

Пример: Создание внутренней платформы для разработчиков

Вот разбивка инструментов, которые вы могли бы использовать для создания IDP. Важное замечание: существует множество доступных инструментов. Упомянутые здесь — лишь примеры.

Плоскость управления разработчика

№1 Портал разработчика (`Developer Portal`)

• Почему это важно: Внутренние порталы разработчиков служат единым интерфейсом и позволяют разработчикам, командам и инженерам-менеджерам обнаруживать сервисы, отслеживать владение, применять стандарты и улучшать программное обеспечение.
• Инструменты для рассмотрения:
  • Backstage: Популярный open-source фреймворк для создания порталов разработчиков, созданный Spotify.
  • Port: Платформа для создания внутреннего портала разработчика с no-code подходом, что облегчает быстрый старт.
  • Cortex: Корпоративный внутренний портал разработчика, созданный для ускорения пути к инженерному совершенству. [cloudomation.com](https://cloudomation.com/cloudomation-blog/5-internal-developer-portals-and-what-software-engineers-say-about-them/)
  • Atlassian Compass: Компонентный каталог для отслеживания компонентов и команд, которые за ними стоят.

№2 Облачные среды разработки (`Cloud Development Environments, CDEs`)

• Почему это важно: CDE — это удаленные среды разработки, размещенные в облаке или локально. CDE позволяют разработчикам работать в согласованных, стандартизированных средах, что устраняет проблемы «у меня на машине все работает».
• Инструменты для рассмотрения:
  • Gitpod: Позволяет запускать безопасные, контекстно-насыщенные среды для разработчиков в корпоративном масштабе.
  • Coder: Предоставляет безопасные среды разработки для разработчиков и их агентов.

Плоскость интеграции и доставки

№1 Конвейер CI (`CI Pipeline`)

• Почему это важно: Автоматизирует проверку кода, тестирование и обеспечивает более быстрые циклы обратной связи.
• Инструменты для рассмотрения:
  • GitHub Actions: Нативный CI для GitHub с настраиваемыми рабочими процессами.
  • CircleCI: Высокомасштабируемый CI с поддержкой расширенного параллелизма.
  • Buildkite: CI, ориентированный на разработчиков, с масштабируемой инфраструктурой.

№2 Конвейер CD (`CD Pipeline`)

• Почему это важно: Конвейеры CD автоматизируют безопасное, повторяемое развертывание программного обеспечения.
• Инструменты для рассмотрения:
  • Argo CD: GitOps-ориентированная доставка для Kubernetes.
  • Flux: Контроллер GitOps для Kubernetes.
  • Octopus Deploy: Подходит для мультиоблачных и локальных (on-prem) сред.

№3 Оркестратор платформы (`Platform Orchestrator`)

• Почему это важно: Инструменты оркестрации предоставляют логику для связывания рабочих процессов между различными инструментами и сервисами.
• Инструменты для рассмотрения:
  • Humanitec: Оркестратор платформы, предоставляющий динамические среды. Является лидером рынка IDP. [internaldeveloperplatform.org](https://internaldeveloperplatform.org/)
  • Собственные решения/фреймворки: Многие команды используют общие инструменты, такие как Argo Workflows или пишут собственные скрипты на Python/Go для объединения своих процессов.

Плоскость мониторинга и логирования

№1 Наблюдаемость (`Observability`)

• Почему это важно: Инструменты наблюдаемости обеспечивают видимость состояния, производительности и надежности приложений и инфраструктуры.
• Инструменты для рассмотрения:
  • Prometheus: Набор инструментов для мониторинга и оповещения, особенно для Kubernetes.
  • Grafana: Инструмент для создания дашбордов, часто используемый в паре с Prometheus.
  • Datadog: Облачный мониторинг и аналитика.

Плоскость безопасности

№1 Менеджер секретов (`Secret Manager`)

• Почему это важно: Менеджеры секретов безопасно хранят и распространяют учетные данные, ключи API и другие конфиденциальные данные.
• Инструменты для рассмотрения:**
  • HashiCorp Vault: Ведущее в отрасли решение для управления секретами.
  • AWS Secrets Manager / Azure Key Vault / GCP Secret Manager: Решения от крупных облачных провайдеров.
  • Sealed Secrets (Bitnami): Шифрует секреты для Kubernetes.

Вывод: Строительные блоки, а не список покупок

Если из этой главы и стоит что-то вынести, так это то, что платформенная инженерия — это не выбор самых модных инструментов с полки, а подбор правильных строительных блоков для создания бесшовного опыта для разработчиков. Думайте меньше о том, «какой инструмент мне выбрать?», и больше о том, «как я могу спроектировать платформу, которая будет незаметной и мощной для моих разработчиков и принесет пользу бизнесу?»

Настоящая магия происходит тогда, когда эти инструменты перестают быть отдельными частями пазла и становятся частью целостной платформы для разработчиков, где разработчики едва замечают лежащую в основе сложность, потому что платформа работает с ними, а не против них.

---

7. 3 проблемы при создании IDP

Этот раздел основан на идеях Гая Менахема (Guy Menahem), архитектора решений в Amazon.

Проблема 1: Попытаться поймать всех зайцев одним выстрелом

Многие команды платформенной инженерии пытаются сделать все сразу и в итоге не достигают ничего. Объединение всех инструментов в единое решение может привести к тому, что вы упустите основной рабочий процесс пользователя, что приведет к отказу от платформы. Вместо этого оттачивайте свои продуктовые навыки, чтобы понять, какую пользу пользователи извлекут из платформы, даже если на начальном этапе она будет включать всего несколько инструментов.

Проблема 2: Оценка затрат на создание и эксплуатацию

Создание ценной платформы требует ресурсов, включая выделенную команду платформенной инженерии, бюджет на облачную инфраструктуру и сотрудничество. Также необходимо учитывать операционные расходы, такие как обновления и патчи безопасности. Оценивайте ресурсы, определяя размер и продолжительность работы команды, сосредотачиваясь на минимально жизнеспособном продукте (MVP) и рассчитывая облачные и операционные затраты.

Проблема 3: Создание и управление каталогом программного обеспечения

Управление каталогом программного обеспечения, который представляет собой сложную базу данных ПО, систем и документации, может быть непростой задачей. Вовлечение всех команд в обновление и поддержание каталога имеет решающее значение для его качества и принятия. Упростите управление каталогом, автоматизировав сбор информации, принудительно обновляя его в процессах CI/CD и поощряя ежедневное использование платформы.

Наш взгляд

Проблемы, которые описывает Гай, реальны. Однако одна фундаментальная истина, которую он не упоминает, заключается в том, что большинство проблем при создании IDP не являются техническими.

Вместо этого наиболее распространенные проблемы возникают из-за недостатка коммуникации между людьми. Это типично для многих инженерных инициатив, поскольку инженеры, как правило, имеют очень специфический взгляд на инструменты, которые они создают, и этот взгляд часто сильно отличается от точки зрения их пользователей.

То же самое часто происходит и в командах платформенной инженерии: они могут создавать ценную автоматизацию и сервисы, но если их нелегко использовать, в них отсутствуют ключевые функции, необходимые инженерам-программистам, или они просто не решают самые большие проблемы, с которыми сталкиваются разработчики, то они просто не будут использовать IDP.

Самое важное, что вы должны делать как инженер платформы, — регулярно спрашивать своих инженеров-программистов! Просите их протестировать то, что вы создаете, сказать, полезно ли это для них, и если ответ «нет», то изменяйте то, что вы создаете, чтобы ваши инженеры-программисты захотели это использовать.

В конце концов, в этом и заключается вся суть IDP: она должна быть полезной для инженеров-программистов.

---

8. Ресурсы и ссылки

• https://platformengineering.org
• https://internaldeveloperplatform.org
• https://www.infoq.com/platformengineering

Сообщества

• Reddit – https://www.reddit.com/r/platform_engineering
• Platformers – https://platformers.community

Рассылки

• https://platformweekly.com

---

Ранее еще писал немного на другую тему, но про разработку и стандарты апишек,интересно, мало у кого они есть, выглядят вот так: https://gavrilov.info/all/analiz-zalando-restful-api-and-event-guidelines/

Эта статья объединяет два материала из блога Apache SeaTunnel, посвященных фундаментальным принципам построения современных аналитических платформ. Мы рассмотрим перевод оригинальных текстов и затем погрузимся в детальный разбор упомянутой методологии.

Источник: Apache SeaTunnel’s Substack
Даты: 5 сентября 2025 г. и 14 сентября 2025 г.

---

Часть 1: Сводный перевод статей

(I) Принципы архитектуры модели данных: Четыре уровня и семь этапов, «краеугольный камень» моделирования Data Lake и хранилищ данных

Руководство по проектированию и практическому применению Data Lake и хранилищ данных (2025) состоит из четырех последовательных частей. Следуя основной линии «архитектура модели – общие спецификации – спецификации наслоения – спецификации именования», оно позволяет системно построить современное озеро данных (data lake) и хранилище, которое может развиваться, управляться и использоваться совместно.

https://substack.com/home/post/p-172756839

(II) Полное руководство по основным стандартам проектирования хранилищ данных: от уровней и типов до жизненного цикла

Руководство по проектированию и практическому применению Data Lakehouse: стандарты моделирования и именования для Data Lakehouse (2025)» состоит из четырех прогрессивных руководств, структурированных по основной линии: Архитектура модели — Общие стандарты — Стандарты наслоения — Стандарты именования. Вместе они позволяют системно построить развиваемое, управляемое и совместно используемое современное data lakehouse.

https://substack.com/home/post/p-173419940

---

Часть 2: Разбор методологии — от уровней до жизненного цикла

Статьи описывают структурированный подход к созданию современных аналитических систем. Эта методология основана на нескольких ключевых концепциях, которые мы разберем подробно.

Основная цель — создать «развиваемое, управляемое и совместно используемое» хранилище. Это означает, что система должна быть:

• Развиваемой: Легко адаптируемой к новым источникам данных и бизнес-требованиям без необходимости полной перестройки.
• Управляемой: Иметь четкие правила качества данных, безопасности и контроля доступа.
• Совместно используемой: Данные должны быть понятны и доступны для разных команд и отделов компании.

Основой для этого служит подход, который статьи называют «основной линией»:

1. Архитектура модели: Общий план строения хранилища.
2. Общие спецификации: Единые правила для всей системы (например, форматы дат, стандарты кодирования).
3. Спецификации наслоения: Правила и состав данных для каждого архитектурного уровня.
4. Спецификации именования: Единые правила наименования таблиц, полей и других объектов для их легкой идентификации (например, `fct_` для таблиц фактов, `dim_` для измерений, `mart_` для витрин).

Четыре архитектурных уровня

Это — костяк всей системы, по которому данные движутся и преобразуются от “сырых” до готовых к анализу.

1. `ODS` (Operational Data Store — Оперативное хранилище данных)

• Назначение: Первый слой для приема данных из различных систем-источников (базы данных сайта, CRM, ERP, мобильные приложения).
• Состояние данных: «Сырые» или минимально обработанные данные. Их структура максимально приближена к оригиналу. Этот слой служит буфером и архивом.
• Пример: Каждый час система автоматически копирует новые записи о заказах из базы данных интернет-магазина и данные о клиентах из CRM в отдельные таблицы в слое `ODS`. Данные хранятся “как есть”.

2. `DW` (Data Warehouse — Хранилище данных)
Это центральный и самый сложный слой, где происходит основная магия: очистка, интеграция и моделирование данных. Он делится на три подслоя:

• `DWD` (Data Warehouse Detail — Детальный слой)
  • Назначение: Создание «единого источника правды». Данные из `ODS` очищаются, унифицируются (например, все статусы “Доставлен”, “delivered”, “Complete” приводятся к единому формату `delivered`) и связываются между собой.
  • Состояние данных: Очищенные, детализированные, исторически полные данные. Здесь хранятся все транзакции и события в их самой гранулярной форме.
  • Пример: На основе сырых данных о заказах из `ODS` создается таблица `dwd_orders`, где у каждого заказа есть уникальный идентификатор, ссылка на клиента, очищенный статус и стандартизированная дата.

• `DWM` (Data Warehouse Middle — Промежуточный слой / Слой моделей)
  • Назначение: Агрегация и трансформация данных для бизнес-аналитики. Здесь детальные данные из `DWD` преобразуются в модели «звезда» или «снежинка», состоящие из фактов (события, транзакции) и измерений (справочники).
  • Состояние данных: Структурированные, готовые для анализа данные.
  • Пример: На основе `dwd_orders` создается таблица фактов `fct_sales` (содержащая количество, сумму, скидку) и связанные с ней таблицы-измерения: `dim_customers` (клиенты), `dim_products` (товары), `dim_calendar` (календарь).

• `DWS` (Data Warehouse Service/Summary — Слой витрин данных)
  • Назначение: Предоставление данных конечным пользователям. Витрина — это набор данных, подготовленный для конкретного отдела или задачи.
  • Состояние данных: Предварительно агрегированные, узкоспециализированные данные.
  • Пример: Для отдела маркетинга создается витрина `mart_marketing_performance`, где продажи агрегированы по дням, рекламным кампаниям и регионам. Это позволяет маркетологам быстро оценивать эффективность своих действий, не обращаясь к сложным моделям слоя `DWM`.

3. `APP` (Application — Слой приложений)

• Назначение: Слой визуализации и потребления данных. С ним работают конечные бизнес-пользователи.
• Пример: BI-системы (Power BI, Tableau, Looker), которые подключаются к витринам данных в `DWS` и строят на их основе интерактивные дашборды, графики и отчеты.

Семь этапов жизненного цикла данных

Хотя в статьях этапы не расшифровываются, они логически вытекают из описанной архитектуры и представляют собой полный путь данных от источника до пользователя.

1. Сбор (Source): Определение и доступ к источникам данных (БД, API, файлы).
2. Загрузка (Ingestion): Перемещение данных из источников в слой `ODS`.
3. Хранение (Storage): Размещение сырых данных в операционном хранилище (`ODS`).
4. Очистка и Интеграция (Cleansing & Integration): Преобразование данных и создание детального слоя (`DWD`).
5. Моделирование (Modeling): Построение аналитических моделей (таблиц фактов и измерений) в слое `DWM`.
6. Агрегация (Aggregation/Serving): Создание витрин данных для конкретных нужд в слое `DWS`.
7. Визуализация и Анализ (Visualization & Analysis): Потребление данных через BI-инструменты в слое `APP`.

---

Итог: Создание современного хранилища данных

Представленная методология — это не просто техническая инструкция, а фундаментальная философия управления данными. В мире, где данные часто хаотичны и разрозненны, такой структурированный подход позволяет навести порядок.

Разделение на слои решает несколько ключевых проблем:

• Изоляция изменений: Изменение в системе-источнике повлияет только на слой `ODS`, а не на всё хранилище.
• Надежность: Данные проходят последовательную проверку и обогащение, что повышает доверие к ним.
• Производительность: Пользователи работают с быстрыми, предварительно агрегированными витринами данных (`DWS`), а не с огромными детализированными таблицами.

Таким образом, следование принципам четырех уровней и семи этапов позволяет построить не просто базу данных, а надежную, масштабируемую и понятную аналитическую платформу, которая становится настоящим «краеугольным камнем» для принятия решений на основе данных в любой современной компании.

DuckDB завоевал огромную популярность как “SQLite для аналитики”. Это невероятно быстрый, встраиваемый, колоночный движок, который не требует отдельного сервера. Однако его мощь по-настоящему раскрывается, когда он получает доступ к данным эффективно. Просто натравить DuckDB на петабайтный дата-лейк без подготовки — это рецепт для медленных запросов и высоких затрат.

Как же построить мост между огромным хранилищем данных и молниеносной интерактивной аналитикой, которую обещает DuckDB?

В этой статье рассмотрим три фундаментальных архитектурных подхода к организации доступа к данным для DuckDB. Но прежде чем мы погрузимся в то, как *читать* данные, давайте поговорим о том, как их *готовить*.

Большая картина: Подготовка данных с помощью Trino

Данные в вашем Lakehouse не появляются из ниоткуда. Они поступают из операционных баз данных, потоков событий (Kafka), логов и десятков других источников. Прежде чем DuckDB сможет их эффективно запросить, эти данные нужно собрать, очистить, трансформировать и, что самое важное, организовать в надежный и производительный формат.

Здесь на сцену выходит Trino (ранее известный как PrestoSQL).

Что такое Trino? Это мощный распределенный SQL-движок, созданный для выполнения запросов к гетерогенным источникам данных. Его суперсила — способность “на лету” объединять данные из PostgreSQL, Kafka, Hive, MySQL и многих других систем.

Роль Trino в Lakehouse: В современной архитектуре Trino часто выступает в роли “фабрики данных”. Он выполняет тяжелую работу по ETL/ELT (Extract, Transform, Load), подготавливая данные для аналитических инструментов вроде DuckDB.

Типичный сценарий использования:

1. Источники: У вас есть события о прослушивании треков в Kafka, а информация о пользователях — в базе данных PostgreSQL.
2. Задача: Создать единую, денормализованную таблицу Iceberg для аналитики.
3. Решение с Trino: Вы настраиваете в Trino коннекторы к Kafka и PostgreSQL. Затем вы запускаете периодический SQL-запрос, который читает данные из обоих источников, объединяет их и записывает результат в новую или существующую таблицу Iceberg.

-- Этот запрос выполняется в Trino, а не в DuckDB!
    INSERT INTO iceberg_catalog.analytics.daily_user_activity
    SELECT
        u.user_id,
        u.country,
        e.event_timestamp,
        e.track_id,
        e.duration_ms
    FROM
        postgres_catalog.public.users u
    JOIN
        kafka_catalog.raw_data.listen_events e ON u.user_id = e.user_id
    WHERE
        e.event_date = CURRENT_DATE;

Как отмечается в одном из руководств, именно такой `INSERT INTO ... SELECT ...` является типичным способом перемещения данных в Iceberg с помощью Trino.

Итог: Trino работает “глубоко в машинном отделении” вашего Lakehouse. Он берет на себя тяжелые, распределенные задачи по преобразованию данных, а DuckDB получает на вход уже чистые, структурированные и оптимизированные для чтения таблицы Iceberg.

Теперь, когда данные готовы, давайте рассмотрим, как их лучше всего потреблять.

Подход 1: Табличные форматы (Iceberg) — Читайте только то, что нужно

Это самый продвинутый и рекомендуемый подход для серьезной аналитики, особенно в serverless-архитектуре.

• Как это работает: Вместо того чтобы работать с “россыпью” файлов Parquet, вы работаете с логической таблицей, управляемой Apache Iceberg. Расширение `iceberg` в DuckDB использует метаданные Iceberg для интеллектуального отсечения ненужных файлов (partition pruning) и блоков данных (predicate pushdown), читая с диска минимально необходимый объем информации.
• Архитектура: `Данные на S3 -> Trino (ETL) -> Таблица Iceberg -> DuckDB (Аналитика)`

Назначение и сценарии использования:

• Serverless-аналитика: Основной кейс. AWS Lambda или Google Cloud Function, оснащенная DuckDB, выполняет SQL-запрос к озеру данных. Благодаря Iceberg, функция читает всего несколько мегабайт вместо гигабайт, что делает ее выполнение быстрым (<1 сек) и дешевым.
• Локальная разработка и BI: Аналитик данных или инженер открывает Jupyter Notebook на своем ноутбуке. С помощью DuckDB он подключается напрямую к производственному Lakehouse и выполняет исследовательский анализ, не создавая копий данных и не перегружая кластеры.
• Встраиваемая аналитика: Backend-сервис на Python или Node.js, которому нужно быстро отвечать на аналитические вопросы (например, “показать статистику пользователя за последний месяц”). Он использует DuckDB для прямого запроса к Lakehouse без обращения к промежуточной базе данных.

Подход 2: RPC-стриминг (Apache Arrow Flight) — Прямой канал к данным

Иногда вам не нужна вся мощь Iceberg, а нужно просто эффективно выполнить запрос на удаленном экземпляре DuckDB и получить результат.

• Как это работает: Вы запускаете сервер, который инкапсулирует DuckDB. Клиент и сервер общаются по протоколу Arrow Flight — высокопроизводительному фреймворку для стриминга колоночных данных в формате Apache Arrow без затрат на сериализацию.
• Архитектура: `Клиент -> Arrow Flight RPC -> Сервер с DuckDB -> Данные (любой источник)`

Назначение и сценарии использования:

• Интерактивные дашборды: Веб-интерфейс (React, Vue) должен строить графики в реальном времени. Он отправляет SQL-запросы на Flight-сервер и получает данные для отрисовки практически мгновенно, без “тяжести” HTTP/JSON.
• API-шлюз для данных: Централизация доступа к данным для множества внутренних микросервисов. Вместо того чтобы каждый сервис имел свои креды и логику подключения к БД, они обращаются к единому, стабильному Flight API.
• Кросс-языковое взаимодействие: Сервис на Java должен получить результаты вычислений из BI-системы, построенной на Python и DuckDB. Arrow Flight обеспечивает эффективный и стандартизированный мост между ними.

Подход 3: “API поверх данных” (ROAPI & DataFusion) — Декларативная альтернатива

Что, если вам не нужна вся гибкость SQL, а нужен стандартный REST или GraphQL API поверх ваших данных без строчки кода? Здесь на сцену выходит ROAPI.

• Как это работает: ROAPI — это инструмент, который автоматически создает API, читая конфигурационный YAML-файл, где вы описываете ваши данные (Parquet, CSV и т.д.). Под капотом он использует Apache Arrow DataFusion, движок запросов, написанный на Rust, являющийся идейным братом DuckDB.
• Архитектура: `Клиент (HTTP/GraphQL) -> ROAPI Server -> Данные (файлы)`

Назначение и сценарии использования:

• Быстрое прототипирование: Вам нужно за 5 минут предоставить команде фронтенда API для нового набора данных. Вы пишете 10 строк в YAML, запускаете ROAPI — и API готов.
• Простые микросервисы данных: Сервис, единственная задача которого — раздавать данные из файла с поддержкой фильтрации и пагинации. ROAPI делает это из коробки, избавляя вас от написания рутинного кода на FastAPI или Express.js.
• Дата-фиды для внешних систем: Предоставление стандартизированного API для партнерской системы, которая умеет работать с REST, но не умеет читать Parquet.

и еще немного про DuckDB

1. Читайте меньше данных (Золотое правило)

• Используйте Iceberg: Это лучший способ.
• Проекция колонок (`SELECT col1, col2...`): Никогда не используйте `SELECT *`.
• Проталкивание предикатов (`WHERE`): Пишите максимально конкретные фильтры. DuckDB автоматически проталкивает их в сканеры Parquet и Iceberg. Используйте `EXPLAIN` для проверки того, что фильтры применяются на этапе сканирования.

2. Оптимизация SQL-запросов

• Материализация промежуточных результатов: Если вы делаете несколько агрегаций над одним и тем же отфильтрованным срезом, сохраните его во временную таблицу с помощью `CREATE TEMP TABLE ... AS`.
• Используйте `COPY` для массовой загрузки: При загрузке данных в DuckDB `COPY` на порядки быстрее, чем `INSERT`.
• Предварительная агрегация: Для сверхбольших данных создавайте “витрины” с помощью Trino (см. выше) или DuckDB, а запросы стройте уже по ним.

3. Настройка окружения DuckDB

• Управление памятью: `SET memory_limit = ‘1GB’;` — обязательная настройка в Lambda и контейнерах.
• Параллелизм: `SET threads = 4;` — адаптируйте количество потоков под vCPU вашего окружения.
• Настройка `httpfs` для S3: Настройте регион (`s3_region`), креды и включите кэширование метаданных, чтобы не перечитывать их при каждом запуске. ( Это комьюнити дополнение -cache_httpfs, см. ниже “Проблема Шторм” )

Еще вот тут можно почитать: https://duckdb.org/docs/stable/guides/performance/how_to_tune_workloads

Заключение: Какой подход выбрать?

Выбор архитектуры зависит от вашей задачи. Каждая из них занимает свою нишу в стеке современной инженерии данных.

Подход	Ключевая технология	Когда использовать
Табличный формат	Trino (Подготовка) + DuckDB/Iceberg (Потребление)	Стандарт для Lakehouse. Нужна строгая структура, надежность и максимальная производительность для аналитических SQL-запросов от различных инструментов.
RPC-стриминг	DuckDB + Arrow Flight	Нужен быстрый интерактивный SQL-доступ к удаленному экземпляру DuckDB, например, для дашборда или кастомного клиента.
API поверх данных	ROAPI + DataFusion	Нужно быстро и без кода поднять стандартный `REST`/`GraphQL` API поверх наборов данных для прототипирования или простых микросервисов.

---

Проблема Шторм из GET-запросов к S3

Давайте представим, что вы выполняете запрос к таблице Iceberg или просто к набору из 1000 файлов Parquet на S3:

SELECT count(*)
FROM read_parquet('s3://my-bucket/data/*.parquet')
WHERE event_type = 'click';

Чтобы выполнить этот запрос с максимальной эффективностью (с “проталкиванием предиката”), DuckDB должен сделать следующее, *прежде чем* читать основные данные:

1. Получить список всех 1000 файлов.
2. Для каждого из 1000 файлов прочитать его метаданные (футер). Футер Parquet-файла — это небольшой блок в конце файла, содержащий схему и, что самое важное, статистику по колонкам (min/max значения).
3. Проанализировав футер, DuckDB понимает, может ли в этом файле вообще содержаться `event_type = ‘click’`. Если статистика говорит, что в файле есть только типы `’view’` и `’purchase’`, утка его пропустит.

Проблема в том, что для чтения футера каждого файла DuckDB должен отправить отдельный HTTP `GET` запрос с указанием диапазона байт (range request) к S3. То есть, один SQL-запрос порождает 1000+ мелких HTTP-запросов. Это может быть медленно и может быть дорого, так как в S3 вы платите за каждый `GET` запрос.

Кэширование метаданных решает именно эту проблему: оно сохраняет результаты этих мелких запросов на локальный диск, чтобы при повторном обращении к тем же файлам DuckDB брал их из локального кэша, а не летел снова в S3.

Решение: Комьюнити-расширение `cache_httpfs`

Для реализации постоянного, дискового кэширования в DuckDB используется специальное комьюнити-расширение `cache_httpfs`. Оно работает как “обертка” над стандартным `httpfs`.

Основная идея: Вы говорите DuckDB использовать `cache_httpfs` в качестве клиента для HTTP-запросов. Этот клиент сначала проверяет, нет ли уже нужного блока данных (например, футера Parquet-файла) в локальном кэше. Если есть — отдает его мгновенно. Если нет — идет в S3, скачивает блок, сохраняет его в кэш и отдает DuckDB.

Вот как это настроить:

Шаг 1: Установка и загрузка расширений

Вам понадобятся три расширения: `httpfs` (для работы с S3), `cache_httpfs` (для кэширования) и, если вы работаете с Iceberg, то и `iceberg`.

INSTALL httpfs;
INSTALL cache_httpfs;
LOAD httpfs;
LOAD cache_httpfs;

Шаг 2: Активация кэширующего клиента

Это ключевой шаг. Вы должны указать DuckDB использовать `cache_httpfs` для всех HTTP-операций.

SET httpfs_client = 'cached_httpfs';

Шаг 3: Настройка пути к кэшу (критически важно для Serverless)

По умолчанию `cache_httpfs` сохраняет кэш в директорию `~/.cache/duckdb/`. Это хорошо работает на локальной машине, но в serverless-окружениях (AWS Lambda, Cloud Functions) эта папка либо недоступна для записи, либо является эфемерной.

В serverless-среде единственное гарантированно доступное для записи место — это директория `/tmp`.

SET cache_httpfs_cache_path = '/tmp/duckdb_cache';

Этот кэш в `/tmp` будет “жить” между “теплыми” вызовами вашей Lambda-функции. Если одна и та же функция вызывается несколько раз подряд, второй и последующие вызовы будут использовать уже заполненный кэш, что кардинально ускорит выполнение запросов к одним и тем же данным.

Полный пример конфигурации (Python)

import duckdb

# Подключаемся к базе данных
con = duckdb.connect()

# Устанавливаем и загружаем расширения
con.execute("INSTALL httpfs;")
con.execute("INSTALL cache_httpfs;")
con.execute("LOAD httpfs;")
con.execute("LOAD cache_httpfs;")

# --- Настройка S3 и кэша ---

# 1. Настройте креды для S3 (если не используются IAM-роли)
# con.execute("SET s3_access_key_id='YOUR_KEY';")
# con.execute("SET s3_secret_access_key='YOUR_SECRET';")
con.execute("SET s3_region='us-east-1';")

# 2. Активируем кэширующий http-клиент
con.execute("SET httpfs_client = 'cached_httpfs';")

# 3. Указываем путь к директории кэша (обязательно для serverless)
con.execute("SET cache_httpfs_cache_path = '/tmp/duckdb_http_cache';")

# --- Выполняем запрос ---

# Первый запуск этого запроса будет медленнее,
# так как он заполнит кэш метаданными файлов.
result1 = con.execute("SELECT count(*) FROM 's3://my-bucket/data/*.parquet'").fetchone()
print(f"Первый запуск: {result1[0]}")

# Второй запуск будет на порядки быстрее,
# так как все метаданные будут прочитаны из локального кэша в /tmp.
result2 = con.execute("SELECT count(*) FROM 's3://my-bucket/data/*.parquet'").fetchone()
print(f"Второй запуск (с кэшем): {result2[0]}")

Сравнение: Встроенный кэш vs `cache_httpfs`

Стоит отметить, что стандартный `httpfs` тоже имеет небольшой *внутренний, оперативный кэш*, но его возможности ограничены.

Параметр	Встроенный кэш `httpfs`	Расширение `cache_httpfs`
Тип	Внутренний, в памяти	Явный, на диске
Жизненный цикл	Живет в рамках одного соединения (connection). При переподключении кэш пуст.	Живет между сессиями и процессами. Сохраняется на диске до очистки.
Назначение	Ускорение повторных запросов в одной и той же длительной сессии.	Радикальное ускорение для любых повторных запросов, особенно в serverless (warm starts) и при локальной разработке.
Активация	Включен по умолчанию	Требует `SET httpfs_client = ‘cached_httpfs’;`
Настройка	Не настраивается	Настраивается путь (`cache_httpfs_cache_path`) и максимальный размер.

Для серьезной работы с данными на S3, особенно в serverless-архитектуре, использование расширения `cache_httpfs` является приятным дополнением и зачастую обязательным. Это та самая “серебряная пуля”, которая убирает узкое место в виде задержек сети и большого количества API-вызовов к облачному хранилищу.

Начиная с тяжелых ETL-процессов на Trino и заканчивая быстрыми запросами в DuckDB, современный стек данных предлагает невероятную гибкость и производительность. Выбрав правильный инструмент или их комбинацию для каждой задачи, можно построить по-настоящему эффективную и масштабируемую аналитическую платформу.

Вы когда-нибудь мечтали о платформе, где данные, отправленные через простой API-вызов, через секунды становятся доступны для аналитических запросов в вашем озере данных? Мечты сбываются. Эта статья — подробное, основанное на реальном опыте руководство, которое покажет, как построить современный Streaming Lakehouse с нуля.

Доки, которые пригодились:

https://github.com/risingwavelabs/risingwave/blob/main/docker/docker-compose.yml
https://github.com/lakekeeper/lakekeeper/blob/main/examples/minimal/docker-compose.yaml
https://docs.risingwave.com/iceberg/deliver-to-iceberg#rest-catalog

Наши главные герои:

• RisingWave: Потоковая база данных, “сердце” нашего пайплайна. Она будет принимать, преобразовывать и материализовывать данные на лету.

• Lakekeeper: Современный REST-каталог для Apache Iceberg. Наш “библиотекарь”, который знает все о структуре данных в озере.

• Trino: Мощный движок для федеративных запросов. Наше “окно” в озеро данных для выполнения ad-hoc аналитики.

Мы пройдем весь путь: от сравнения технологий и настройки окружения до отправки данных и любования результатами на дашбордах Grafana. И самое главное — мы поделимся всеми “граблями”, на которые наступили, чтобы вы могли их обойти.

Глава 1: Почему RisingWave? Взгляд на альтернативы

На рынке потоковой обработки есть много инструментов, но все они предлагают разные подходы. Почему для нашей задачи мы выбрали именно RisingWave?

RisingWave — это распределенная потоковая база данных, созданная для упрощения обработки данных в реальном времени. Ее ключевая особенность — использование материализованных представлений поверх потоков данных. Вы пишете знакомый SQL, а RisingWave берет на себя всю сложную работу по инкрементальному обновлению результатов с минимальной задержкой.

Давайте сравним его с популярными альтернативами.

Сравнительная таблица

Критерий	RisingWave	Связка Debezium + Flink	Apache SeaTunnel
Архитектура	Единая система: хранение состояния (state) и вычисления в одном продукте.	Компонентная: Debezium (CDC), Kafka (очередь), Flink (обработка), отдельное хранилище состояния.	Инструмент для перемещения данных (data mover) с коннекторами.
Основная задача	Создание и поддержка инкрементально обновляемых материализованных представлений.	Гибкая, низкоуровневая обработка потоков общего назначения.	Пакетная и потоковая синхронизация данных между разнородными источниками и приемниками.
Простота использования	Очень высокая. Знание SQL — это 90% успеха. Скрывает сложность управления состоянием.	Низкая. Требует экспертизы в каждом компоненте, написания кода на Java/Scala, управления состоянием.	Средняя. Конфигурация через файлы, но требует понимания особенностей каждого коннектора.
Обработка данных	SQL-ориентированная. `CREATE MATERIALIZED VIEW ... AS SELECT ...`.	Программная. DataStream API, Table API/SQL. Позволяет писать сложную бизнес-логику.	Декларативная. Определяет `source`, `transform`, `sink`. Менее гибкая для сложных трансформаций.
Поддержка SQL	Первоклассная. Совместимость с PostgreSQL на уровне синтаксиса и протокола.	Хорошая (Flink SQL), но не является основным интерфейсом.	Ограниченная. Используется для простых трансформаций, а не для определения логики потока.
Управление состоянием	Встроенное и автоматическое. Использует облачное хранилище (S3) как персистентный слой.	Ручное. Требуется настраивать и управлять чекпоинтами и состоянием (например, RocksDB).	Зависит от движка (Flink/Spark). Не является основной функцией самого SeaTunnel.

Выводы:

• Связка Debezium + Flink — это невероятно мощный, но сложный “конструктор”. Он идеален для компаний с большими командами инженеров данных, которым нужна максимальная гибкость для создания кастомной логики.
• Apache SeaTunnel — это отличный “швейцарский нож” для перемещения данных. Его сила — в огромном количестве коннекторов. Он идеален для задач ETL/ELT, когда нужно перелить данные из точки А в точку Б с минимальными трансформациями.
• RisingWave занимает золотую середину для аналитических задач в реальном времени. Он предлагает простоту и элегантность SQL, скрывая под капотом всю сложность потоковой обработки. Если ваша цель — быстро получить свежие аналитические витрины из потоков данных, RisingWave — ваш выбор.

Глава 2: “Кексы” — фишки RisingWave, которые упрощают жизнь 🍰

Что делает RisingWave таким привлекательным на практике?

1. PostgreSQL-совместимость: Вы можете подключиться к RisingWave любым клиентом, который “говорит” на протоколе Postgres (например, DBeaver, psql). Синтаксис SQL для создания представлений и запросов вам уже знаком.
2. Все-в-одном для стриминга: RisingWave объединяет в себе прием данных (коннекторы), их обработку (инкрементальные вычисления) и хранение состояния. Вам не нужно разворачивать и связывать вместе Kafka, Zookeeper, Flink и RocksDB.
3. Нативные Sink’и и Source’ы: В нашем примере мы использовали встроенный `webhook` коннектор — не нужно писать отдельный сервис для приема данных! RisingWave нативно умеет работать с Kafka/Redpanda, Kinesis, Pulsar, а также писать данные напрямую в Iceberg, Delta Lake и другие системы.
4. Инкрементальные вычисления “под капотом”: Когда вы создаете материализованное представление, RisingWave строит план потоковой обработки. При поступлении новых данных он не пересчитывает все заново, а инкрементально обновляет результат. Это обеспечивает сверхнизкую задержку.

Глава 3: Практика: Строим наш Streaming Lakehouse шаг за шагом

Теперь перейдем к самому интересному — воссозданию нашего успешного проекта.

Этап 1: Архитектура и подготовка окружения (00:00 – 00:15)

Наша архитектура выглядит так:
`Webhook` → `RisingWave (Source → MView → Sink)` → `Lakekeeper (Catalog) + MinIO (Storage)` ← `Trino (Query)`

Мы используем два `docker-compose` файла:

1. Для Lakekeeper и его экосистемы (Postgres, MinIO, Trino): lakekeeper/examples/minimal https://github.com/lakekeeper/lakekeeper/tree/main/examples/minimal .
2. Для RisingWave и его окружения Postgres для метаданных, MinIO для состояния, Grafana): risingwave/docker/docker-compose.yml https://github.com/risingwavelabs/risingwave/blob/main/docker/docker-compose.yml .

Ключевое действие: Мы запускаем оба стека, но для RisingWave вносим изменения, чтобы он мог взаимодействовать с Lakekeeper и Trino. Мы объединяем их в одну сеть, добавив в `docker-compose.yml` от RisingWave следующие строки:

# risingwave/docker/docker-compose.yml

services:
  risingwave-standalone:
    # ...
    # Открываем порт для вебхука, по умолчанию он не открыт наружу
           .....
        --webhook-listen-addr 0.0.0.0:4567 \ 
           .....
    ports:
      - "4566:4566". 
      # ... другие порты
      - "4567:4567"   # <--- Это важно для рабочего webhook 
    networks:
      - trino_network
# ... и для других сервисов, которые должны общаться с внешним стеком ...

networks:
  trino_network:
    name: minimal_iceberg_net # Имя сети из docker-compose Lakekeeper
    external: true

Важный момент: По умолчанию RisingWave не выставляет порт `4567` для вебхуков наружу. Мы добавили его в секцию `ports`, чтобы иметь возможность отправлять `curl` запросы с хост-машины.

Этап 2: Настройка каталогов (00:15 – 00:25)

“Озеро” без каталога — это просто “болото”. Lakekeeper будет нашим каталогом, а Trino — первым, кто научится им пользоваться.

1. Создаем динамический каталог в Trino:

CREATE CATALOG risingwave USING iceberg
    WITH (
        "iceberg.catalog.type" = 'rest',
        "iceberg.rest-catalog.uri" = 'http://lakekeeper:8181/catalog',
        "iceberg.rest-catalog.warehouse" = 'demo',
        "s3.region"= 'dummy',
        "s3.path-style-access" = 'true',
        "s3.endpoint" = 'http://minio:9000',
        "fs.native-s3.enabled" = 'true'
    );

2. Создаем “пустую” таблицу в Trino: Этот шаг создает метаданные в Lakekeeper. RisingWave будет находить эту таблицу и наполнять ее данными.

CREATE TABLE risingwave.trino_namespace.product_view_events (
       event_id varchar,
       user_id varchar,
       event_name varchar,
       product_id varchar,
       category varchar,
       price double,
       event_timestamp timestamp(6) with time zone,
       raw_data varchar
    );

Этап 3: Магия RisingWave (00:25 – 00:45) 🚀

Подключаемся к RisingWave через DBeaver (используя порт `4566` и стандартный драйвер PostgreSQL) и начинаем творить магию.

1. Создаем источник-вебхук:

CREATE TABLE wbhtable1 (
      data JSONB
    ) WITH (
      connector = 'webhook'
    ) VALIDATE AS secure_compare(
      headers->>'authorization',
      'TEST_WEBHOOK'
    );

Эта команда создает эндпоинт, который принимает JSON и кладет его в таблицу `wbhtable1`. `VALIDATE AS` обеспечивает простую, но эффективную аутентификацию.

2. Создаем материализованное представление:

CREATE MATERIALIZED VIEW product_view_events AS
    SELECT
      (data->>'event_id')::VARCHAR AS event_id,
      (data->>'user_id')::VARCHAR AS user_id,
      (data->>'event_name')::VARCHAR AS event_name,
      (data->'properties'->>'product_id')::VARCHAR AS product_id,
      (data->'properties'->>'category')::VARCHAR AS category,
      (data->'properties'->>'price')::DOUBLE PRECISION AS price,
      (data->>'timestamp')::TIMESTAMP WITH TIME ZONE AS event_timestamp,
      data::VARCHAR AS raw_data
    FROM wbhtable1;

Это ядро нашей логики. Мы на лету парсим входящий `JSONB`, приводим типы и создаем структурированное представление `product_view_events`, которое обновляется автоматически.

3. Создаем синк (Sink) в Iceberg:

CREATE SINK rest_sink FROM product_view_events
    WITH (
        connector = 'iceberg',
        type = 'upsert',
        primary_key = 'event_id',
        catalog.type = 'rest',
        catalog.uri = 'http://lakekeeper:8181/catalog',
        warehouse.path = 'demo',
        database.name = 'trino_namespace',
        table.name = 'product_view_events',
        s3.endpoint = 'http://minio:9000',
        s3.path.style.access = 'true',
        s3.access.key = 'minio-root-user',
        s3.secret.key = 'minio-root-password',
        s3.region = 'dummy'
    );

“Грабли”, которые мы собрали: На пути к этому финальному запросу мы столкнулись с несколькими ошибками, которые стоили нам времени. Вот они, чтобы вы не повторяли наших ошибок:

• `catalog.uri`: Должен указывать на полный путь к REST API каталогу, в случае Lakekeeper это `http://lakekeeper:8181/catalog`.
• `warehouse.path`: Должен содержать логическое имя хранилища (`demo`), а не его физический путь в S3.
• `s3.region`: Критически важный параметр! S3-клиент внутри RisingWave требует его обязательного указания, даже для MinIO. Хотя само значение (`us-east-1` или любое другое) для MinIO не принципиально, его отсутствие приводит к ошибке `region is missing` и сбою записи данных.

Этап 4: Запуск и проверка (00:45 – 01:00)

Время накормить нашу систему данными! Запускаем в терминале скрипт для генерации и отправки 100 событий, а можно и тысячу. Этот скрипт полностью рабочий и готов к копированию:

seq 1 100 | xargs -I {} -P 10 bash -c '
  EVENT_ID=$(uuidgen)
  USER_ID="usr_$(uuidgen | head -c 8)"
  PRODUCT_ID="prod_$(uuidgen | head -c 8)"
  TIMESTAMP=$(date -u +"%Y-%m-%dT%H:%M:%SZ")

  curl -s -o /dev/null -X POST \
    http://localhost:4567/webhook/dev/public/wbhtable1 \
    -H "Content-Type: application/json" \
    -H "Authorization: TEST_WEBHOOK" \
    -d "{
          \"event_id\": \"$EVENT_ID\",
          \"user_id\": \"$USER_ID\",
          \"event_name\": \"product_viewed\",
          \"properties\": {
            \"product_id\": \"$PRODUCT_ID\",
            \"category\": \"electronics\",
            \"price\": 9199.99
          },
          \"timestamp\": \"$TIMESTAMP\"
        }"
'

И вот он, момент истины. Идем в DBeaver, открываем подключение к Trino и выполняем:

select * from risingwave.trino_namespace.product_view_events;

Результат перед вами:

Данные, только что сгенерированные и отправленные по HTTP, уже лежат в озере данных в формате Parquet и доступны для анализа. Ура!

Глава 4: Наблюдаемость: Смотрим на систему под нагрузкой

RisingWave поставляется с готовыми дашбордами для Grafana. Взглянем на них после нашей нагрузки.

• Пропускная способность (Throughput): Мы видим, как данные проходят через материализованное представление и записываются синком. Пики на графике соответствуют нашей нагрузке.

• Задержка барьеров (Barrier Latency): Это ключевой показатель здоровья потоковой системы. Он показывает время, необходимое для создания контрольной точки (чекпоинта). Значения в десятки миллисекунд говорят о том, что система абсолютно здорова и справляется с нагрузкой без задержек.

• Ресурсы (CPU/Memory): Графики показывают стабильное и предсказуемое потребление ресурсов.

Эти метрики доказывают, что система не просто работает, а работает стабильно и эффективно.

Заключение

Мы сделали это! Меньше чем за час мы развернули и настроили полноценный Streaming Lakehouse. Мы доказали, что современные инструменты, такие как RisingWave, могут кардинально упростить создание сложных систем обработки данных в реальном времени.

Путь от ошибки `Table does not exist` до работающего пайплайна был непростым, но каждая решенная проблема углубляла мое понимание системы. Теперь есть не просто набор инструкций, а проверенный в бою рецепт, учитывающий все “подводные камни”.

Путь к аналитике в реальном времени открыт. Хорошего стриминга и бурного потока с домом у озера, главное что бы избушку не смыло :)

UPD: Проверил еще пару штук

Создаем сурс из Кафки

CREATE SOURCE kafka_src (
  action VARCHAR
) WITH (
  connector = 'kafka',
  topic = 'query_complete',
  properties.bootstrap.server = 'broker1:29092'
);

создаем синк в другую кафку

CREATE SINK kafka_sink from kafka_src WITH (
  connector = 'kafka',
  topic = 'query_complete',
  properties.bootstrap.server = 'broker2:29092'
) FORMAT PLAIN ENCODE JSON

Еще вебхук

CREATE TABLE wbhtable2 (
      data JSONB
    ) WITH (
      connector = 'webhook'
    ) VALIDATE AS secure_compare(
      headers->>'authorization',
      'TEST_WEBHOOK'
    );

Делаем материализацию

CREATE MATERIALIZED VIEW events AS
    SELECT
      (data->>'action')::VARCHAR AS action
    FROM wbhtable2;

делаем синк из материализации в кафку

CREATE SINK kafka_sink2 FROM events WITH (
  connector = 'kafka',
  topic = 'query_complete',
  properties.bootstrap.server = 'broker2:29092'
) FORMAT PLAIN ENCODE JSON (force_append_only='true');

Без материализации сообщения прилетают так: {“data”:“{\”action\“: \”55555\“}”}
А с материализацией: {“action”:“99999”}

Пример запроса

curl -s -o /dev/null -X POST \
    http://localhost:4567/webhook/dev/public/wbhtable2 \
    -H "Content-Type: application/json" \
    -H "Authorization: TEST_WEBHOOK" \
    -d "{\"action\": \"11111\"}"

Еще про s3 подобные архитектуры: https://gavrilov.info/all/bitva-novyh-arhitektur-sravnivaem-arc-gigapi-i-ducklake/

Ошибки в версии 2.4 – какая то пакость была, но поставил 2.6.1 и все заработало

-- 0. устанавливаем последнюю версию risingwave ( 2.6.1 )


-- 1 Создаем вебхук 

CREATE TABLE wbhtable5 (
      data JSONB
    ) WITH (
      connector = 'webhook'
    ) VALIDATE AS secure_compare(
      headers->>'authorization',
      'TEST_WEBHOOK'
    );

-- 2 Создаем материализацию 

CREATE MATERIALIZED VIEW product_view_events5 AS
    SELECT
      (data->>'event_id')::VARCHAR AS event_id,
      (data->>'user_id')::VARCHAR AS user_id,
      (data->>'event_name')::VARCHAR AS event_name,
      (data->'properties'->>'product_id')::VARCHAR AS product_id,
      (data->'properties'->>'category')::VARCHAR AS category,
      (data->'properties'->>'price')::DOUBLE PRECISION AS price,
      (data->>'timestamp')::TIMESTAMP WITH TIME ZONE AS event_timestamp,
      data::VARCHAR AS raw_data
    FROM wbhtable5;

-- 3 создаем подключение к iceberg 

CREATE CONNECTION my_iceberg_conn5 WITH (
    type = 'iceberg',
    warehouse.path = 'risi',  -- s3://my-bucket/warehouse/
   -- database.name = 'risi_space',  оказалось не нужна 
    s3.region = 'dummy',
    s3.access.key = 'ЧЧЧ', -- Ваши ключи
    s3.secret.key = 'ЧЧЧ',   -- Ваши ключи
    catalog.type = 'rest',
    s3.endpoint = 'https://gateway.storjshare.io',
    s3.path.style.access = 'true',
    
    -- ИСПОЛЬЗУЕМ ИМЯ СЕРВИСА И ЕГО ВНУТРЕННИЙ ПОРТ!
    catalog.uri = 'http://lakekeeper:8181/catalog'
)

-- 4 Устанавливаем его по умолчанию 

SET iceberg_engine_connection = 'public.my_iceberg_conn5';


-- Создаем таблицу ( обязательно с ключами )

CREATE TABLE public.my_iceberg_table5 (
       event_id VARCHAR PRIMARY KEY,
       user_id varchar,
       event_name varchar,
       product_id varchar,
       category varchar,
       price double,
       event_timestamp Timestamptz,
       raw_data varchar
) ENGINE = iceberg;

 
-- 5 создаем синк 

CREATE SINK to_sales_events5 INTO my_iceberg_table5 AS
SELECT * FROM product_view_events5;

--- Тут можно curl запустить 

seq 1 10 | xargs -I {} -P 10 bash -c '
  EVENT_ID=$(uuidgen)
  USER_ID="usr_$(uuidgen | head -c 8)"
  PRODUCT_ID="prod_$(uuidgen | head -c 8)"
  TIMESTAMP=$(date -u +"%Y-%m-%dT%H:%M:%SZ")

  curl -s -o /dev/null -X POST \
    http://localhost:4567/webhook/dev/public/wbhtable5 \
    -H "Content-Type: application/json" \
    -H "Authorization: TEST_WEBHOOK" \
    -d "{
          \"event_id\": \"$EVENT_ID\",
          \"user_id\": \"$USER_ID\",
          \"event_name\": \"product_viewed\",
          \"properties\": {
            \"product_id\": \"$PRODUCT_ID\",
            \"category\": \"electronics\",
            \"price\": 9199.99
          },
          \"timestamp\": \"$TIMESTAMP\"
        }"
'


-- 6 проверяем 

SELECT * FROM product_view_events5;

-- 7 проверяем ( появляются не сразу ) 

select * from my_iceberg_table5

И в keeper она есть

И на S3

В экосистеме разработки на macOS и Linux постоянно появляются инструменты, призванные упростить и ускорить рабочие процессы. Один из таких инструментов, быстро набравший популярность — Lima. Изначально созданный как простой способ запускать Linux на Mac, Lima превратился в мощное и гибкое решение для управления виртуальными машинами, с особым фокусом на контейнеризацию.

В этой статье мы разберем, что такое Lima, для чего он нужен, сравним его с аналогами, раскроем полезные трюки и фишки, а также проанализируем, как и когда его стоит использовать в связке с Podman.

Не большой бонус от Kimi 2.0: lima от kimi 2.0

А вот полный отчет в режиме Research: Lima анализ от kimi 2.0.pdf

1. Назначение Lima: Больше, чем просто виртуальная машина

Lima — это утилита командной строки (CLI), которая упрощает создание и управление Linux-виртуальными машинами, преимущественно на macOS, но также и на Linux. Его основная философия — минимализм и ориентация на разработчика signup.omerxx.com. Lima не навязывает громоздкие графические интерфейсы, а предоставляет простой и понятный CLI, который “не мешает работать”.

Основные сценарии использования Lima:

• Запуск контейнеров: Lima поставляется с предустановленным `containerd` и его CLI-клиентом `nerdctl` (совместимым по командам с Docker). Это позволяет запускать OCI-контейнеры “из коробки”.
• Альтернатива Docker Desktop: Многие разработчики переходят на Lima, чтобы избежать лицензионных ограничений Docker Desktop и получить более легковесное и производительное решение spiffyeight77.com.
• Тестирование в среде Linux: Запуск изолированной и чистой Linux-среды для сборки, тестирования или отладки приложений.
• Работа с Kubernetes: Lima имеет шаблоны для быстрого развертывания легковесных дистрибутивов Kubernetes, таких как k3s или k8s.
• Запуск любых дистрибутивов Linux: Lima позволяет легко запускать различные дистрибутивы, от Ubuntu и Debian до Arch Linux и Fedora, что делает его универсальным инструментом для исследования Linux-экосистемы sredevops.org.

2. Ключевые преимущества и сравнение с аналогами

Критерий	Lima	Docker Desktop (на macOS)	Vagrant	Multipass
Философия	Легковесный CLI-инструмент для запуска Linux VM с фокусом на контейнеры.	Комплексный продукт с GUI для управления контейнерами.	Универсальный менеджер VM для создания воспроизводимых сред.	Быстрый запуск VM с Ubuntu, разрабатываемый Canonical.
Лицензия	Open Source (MIT)	Коммерческая для крупных компаний.	Open Source (MIT)	Open Source (GPLv3)
Производительность	Высокая, особенно с `virtiofs` и `vz`. Низкое потребление ресурсов.	Более ресурсоемкий, особенно GUI и фоновые процессы.	Зависит от провайдера, часто более медленный запуск.	Оптимизирована для Ubuntu, производительность хорошая.
Гибкость	Очень высокая. Настройка через YAML, поддержка любых дистрибутивов.	Ограниченная. Вы привязаны к VM от Docker.	Высокая. Поддержка разных провайдеров (VirtualBox, VMware).	Ограниченная. В основном ориентирован на Ubuntu.
Простота	Просто начать, но требует понимания CLI и YAML для кастомизации.	Очень просто для новичков благодаря GUI.	Требует изучения `Vagrantfile` (Ruby).	Очень простой CLI для базовых задач.
Интеграция	Отличная интеграция с хост-системой (файлы, порты), но требует ручной настройки.	Глубокая, бесшовная интеграция “из коробки”.	Хорошая, но настройка может быть сложной.	Простая, но менее гибкая интеграция.

Lima vs. Docker Desktop — это главное сравнение для пользователей macOS. Lima выигрывает в производительности, гибкости и отсутствии лицензионных ограничений. Docker Desktop предлагает удобство “всё в одном” и графический интерфейс, что может быть предпочтительнее для новичков или в корпоративных средах, где стандартизирован один инструмент.

3. Трюки и фишки: Максимизируем пользу от Lima

Вся мощь Lima раскрывается через его декларативный файл конфигурации `lima.yaml`. Вот несколько ключевых возможностей, которые стоит использовать.

1. Шаблоны для быстрого старта

Вместо создания `YAML`-файла с нуля, можно использовать готовые шаблоны. Это самый быстрый способ начать работу.

Запустить VM с поддержкой Docker

limactl start template://docker

Запустить VM с Podman

limactl start template://podman

Запустить Arch Linux

limactl start template://archlinux

2. Выбор движка виртуализации на macOS

На macOS с Apple Silicon (M1/M2/M3) Lima может использовать нативный фреймворк виртуализации от Apple вместо QEMU. Это значительно снижает нагрузку на CPU и повышает производительность code.saghul.net.

Для этого в вашем `lima.yaml` укажите:

vmType: "vz"

Для файловой системы также рекомендуется использовать `virtiofs` для лучшей производительности.

mountType: "virtiofs"

3. Гибкий файловый шаринг

Lima позволяет монтировать директории с хост-машины в VM. Вы можете указать, какие папки монтировать и доступны ли они для записи.

mounts:
  - location: "~"
    writable: false
  - location: "~/projects"
    writable: true

Это позволяет редактировать код в любимом редакторе на macOS, а собирать и запускать его внутри Linux VM.

4. Проброс портов

Чтобы получить доступ к сервису, запущенному внутри VM, можно пробросить порты.

portForwards:
  # Пробросить порт 8080 из гостевой VM на порт 8080 хоста
  - guestPort: 8080
    hostPort: 8080
  # Можно также указать конкретный IP
  - guestPort: 8888
    hostIP: "127.0.0.1"

5. Скрипты инициализации (`provision`)

Это одна из самых мощных функций. Вы можете выполнять скрипты при первом создании VM (`mode: system`) или при каждом её запуске (`mode: user`).

provision:
  - mode: system
    script: |
      #!/bin/bash
      apt-get update
      apt-get install -y htop vim fish
  - mode: user
    script: |
      #!/bin/bash
      echo "Welcome back to Lima!"

Это позволяет полностью автоматизировать настройку вашего рабочего окружения.

4. Lima и Podman: Синергия или избыточность?

Этот вопрос часто возникает у разработчиков. Podman — это альтернатива Docker для работы с контейнерами без демона. На Linux он работает нативно. На macOS ему, как и Docker, нужна Linux-виртуальная машина.

`podman machine` — это встроенная в Podman команда, которая автоматически создает и управляет такой VM. Так зачем же здесь Lima?

Случай 1: Когда достаточно `podman machine`

Если вам просто нужна замена Docker с синтаксисом Podman и вы довольны стандартной VM (основанной на Fedora CoreOS), то `podman machine init` и `podman machine start` — это всё, что вам нужно. Это простое, интегрированное решение.

Случай 2: Когда нужна связка Lima + Podman

Связка Lima и Podman даёт контроль и гибкость. Вы используете Lima для создания и управления VM, а Podman-клиент на macOS настраиваете для работы с Podman-сервисом внутри этой VM.

Это необходимо, когда:

1. Нужен конкретный дистрибутив Linux: Ваше приложение требует Ubuntu, CentOS, или Debian, а не Fedora CoreOS, которую использует `podman machine`. С Lima вы можете создать VM на базе любого дистрибутива, установить туда Podman и работать с ним.
2. Требуется тонкая настройка VM: Вам нужно выделить точное количество ядер CPU, памяти, настроить сложную сетевую конфигурацию или использовать специфические параметры монтирования. `lima.yaml` предоставляет полный контроль над этими параметрами.
3. Нужны дополнительные сервисы в VM: Вы хотите запустить в той же VM не только Podman, но и, например, базу данных, Redis или GitLab Runner nakame.dev. С помощью `provision` скриптов в Lima это легко автоматизировать в рамках одной конфигурации.
4. Унификация окружения: Вы уже используете Lima для других задач (например, для k3s) и хотите управлять всеми вашими VM единообразно через `limactl`.

Как это работает на практике?

1. Создается `lima.yaml` на основе шаблона `podman` или с нуля.
2. В `provision` скрипте устанавливается `podman`.
3. Запускается VM: `limactl start ./my-podman-vm.yaml`.
4. Podman-клиент на macOS настраивается на подключение к сокету внутри Lima VM.

Итог по связке: Lima и `podman machine` не являются прямыми конкурентами. `podman machine` — это простое решение “под ключ”. Lima — это мощный бэкенд, который может служить основой для Podman, когда стандартных возможностей `podman machine` недостаточно.

5. Заключение

Lima зарекомендовал себя как незаменимый инструмент для разработчиков на macOS и Linux. Он успешно занял нишу между тяжеловесными решениями вроде Vagrant и монолитными продуктами, как Docker Desktop.

Ключевые выводы:

• Для пользователей macOS: Lima — это быстрая, легковесная и бесплатная альтернатива Docker Desktop, предлагающая больше гибкости и контроля над средой исполнения контейнеров.
• Производительность: Благодаря поддержке нативной виртуализации Apple (`vz`) и эффективных файловых систем (`virtiofs`), Lima обеспечивает почти нативную производительность.
• Гибкость: Конфигурация через YAML, шаблоны и скрипты инициализации позволяют создать идеально настроенную и воспроизводимую среду для любого проекта.
• Экосистема: Lima — это не просто VM, а платформа, на которой могут работать другие инструменты, такие как Podman, k3s, Docker, предоставляя им настраиваемое и оптимизированное Linux-окружение.

Если вы разработчик, который ценит контроль, производительность и предпочитает работать в командной строке, Lima определенно заслуживает вашего внимания. Это мощный мост в мир Linux, встроенный прямо в ваш терминал.

В мире облачных технологий Kubernetes стал де-факто стандартом для оркестрации контейнеров. Однако его сложность является серьезным барьером для многих команд разработчиков. Платформа Rainbond ставит своей целью решить эту проблему, предлагая высокоуровневую абстракцию для управления приложениями, которая скрывает сложности Kubernetes, позволяя разработчикам сосредоточиться на коде и бизнес-логике.

Rainbond — это облачная платформа для управления приложениями (Cloud-Native Application Management Platform) с открытым исходным кодом github.com. Её ключевая философия — “ориентация на приложение” (`application-centric`). Вместо того чтобы заставлять пользователей разбираться в тонкостях `Pods`, `Deployments`, `Services` и YAML-файлов, Rainbond предлагает интуитивно понятный интерфейс и автоматизированные процессы для всего жизненного цикла приложения rainbond.cn.

Одна из главных особенностей платформы — “неинвазивная” (non-invasive) технология. Это означает, что для развертывания существующих традиционных приложений в облачной среде их не нужно переписывать или кардинально изменять. Rainbond умеет:

• Автоматически определять язык программирования** (Java, Python, Go, PHP, .NET и др.) из исходного кода.
• Собирать код в готовый к запуску образ**, не требуя от разработчика написания `Dockerfile`.
• Превращать традиционные приложения** (например, `.jar`, `.war` или бинарные файлы) в облачно-нативные сервисы с возможностями масштабирования, самовосстановления и мониторинга.

Основная цель Rainbond — снизить порог входа в облачные технологии и автоматизировать управление приложениями (https://rainbond.cn/docs/quick-start/architecture/design-concept rainbond.cn)). Платформа решает проблемы, которые возникают у команд, желающих использовать преимущества облака, но не имеющих достаточной экспертизы в Kubernetes.

Rainbond охватывает весь жизненный цикл приложения:

1. Разработка и сборка: Интеграция с Git-репозиториями (`GitHub`, `GitLab`, `Gitee`) для автоматической сборки и развертывания при каждом коммите rainbond.cn.
2. Развертывание и доставка: Развертывание приложений в один клик из исходного кода, из образов Docker или из внутреннего маркетплейса приложений.
3. Эксплуатация и мониторинг: Встроенные инструменты для мониторинга производительности, просмотра логов, автоматического масштабирования и управления конфигурациями.
4. Управление микросервисами: Упрощенное управление сетевыми взаимодействиями между сервисами, service discovery и балансировка нагрузки.
5. Управление несколькими кластерами: Возможность управлять приложениями, развернутыми в разных Kubernetes-кластерах, из единого интерфейса.

Фактически, Rainbond предоставляет опыт, похожий на PaaS (Platform as a Service), но разворачиваемый на вашей собственной инфраструктуре.

Rainbond находится на стыке нескольких категорий продуктов. Его можно сравнивать как с “чистым” Kubernetes, так и с другими PaaS-платформами.

Платформа	Основная концепция	Сложность	Целевая аудитория
Rainbond	PaaS-подобная платформа поверх Kubernetes. Абстрагирует сложность, ориентирована на приложение.	Низкая	Разработчики, DevOps-инженеры, SMB, отделы, ищущие простоту.
Kubernetes (ванильный)	Оркестратор контейнеров. Мощный и гибкий, но требует глубоких знаний инфраструктуры.	Высокая	Опытные DevOps/SRE-инженеры, крупные компании с выделенными командами.
Red Hat OpenShift	Enterprise-дистрибутив Kubernetes. Добавляет множество инструментов для разработчиков и безопасности.	Средняя / Высокая	Крупные предприятия, которым нужна поддержка и расширенные функции.
Heroku	Управляемая PaaS. Максимальная простота развертывания, но меньше гибкости и привязка к вендору.	Очень низкая	Стартапы, разработчики, которым нужно быстро запустить проект без администрирования.
CapRover / Dokku	Self-hosted PaaS. Открытые проекты, похожие на Heroku, но для развертывания на своих серверах.	Низкая / Средняя	Индивидуальные разработчики, небольшие команды.

Сравнение с аналогами:

• Rainbond vs. Kubernetes: Rainbond не заменяет Kubernetes — он его использует “под капотом”. Основное отличие в уровне абстракции. Там, где в Kubernetes нужно писать десятки строк YAML, в Rainbond достаточно нескольких кликов в веб-интерфейсе.
• Rainbond vs. OpenShift: OpenShift — это гораздо более масштабное и комплексное решение, ориентированное на крупные корпорации. Rainbond проще, легче и больше сфокусирован на удобстве разработчика и автоматизации развертывания без дополнительных сложностей.
• Rainbond vs. Heroku: Heroku — это полностью управляемый сервис, в то время как Rainbond вы разворачиваете на своей инфраструктуре (on-premise или в любом облаке). Это дает больше контроля и гибкости, но требует первоначальной установки самой платформы.
• Rainbond vs. CapRover/Dokku: Rainbond предлагает более комплексный подход, включая управление микросервисной архитектурой, встроенный Service Mesh и управление несколькими кластерами, что делает его более подходящим для командной работы и сложных приложений.

есть еще https://coolify.io/docs

Итог

Rainbond — это мощная и перспективная платформа для тех, кто хочет получить все преимущества облачно-нативной архитектуры (масштабируемость, отказоустойчивость, автоматизация), но не готов инвестировать время и ресурсы в изучение всех тонкостей Kubernetes.

Ключевые преимущества:

• Простота использования: Значительно снижает порог входа.
• Автоматизация: Ускоряет процессы CI/CD и упрощает эксплуатацию.
• Гибкость: Поддерживает развертывание из кода, образов и пакетов.
• Открытый исходный код: Нет привязки к вендору и доступно для бесплатного использования.

Платформа идеально подходит для малых и средних команд, а также для крупных организаций, стремящихся стандартизировать и упростить процесс разработки и доставки приложений. Rainbond успешно демократизирует облачные технологии, делая их доступными широкому кругу разработчиков и компаний. Видеоуроки на официальном сайте rainbond.com помогут быстро освоить основные функции.

Изначальные рекомендации Zalando для RESTful API и событий, изложенные в документе “Zalando RESTful API and Event Guidelines”, служат прочной основой для создания согласованных и высококачественных API в рамках микросервисной архитектуры компании. Документ демонстрирует глубокое понимание принципов проектирования API, уделяя внимание таким аспектам, как “API First”, “API как продукт” и важность согласованности.

Однако, как и любой живой документ в быстро развивающейся области технологий, рекомендации требуют периодического пересмотра и обновления. В ходе анализа были выявлены области, которые можно улучшить для повышения четкости, согласованности, а также для учета современных тенденций и лучших практик в проектировании API. Цель этого обновленного руководства — не противоречить оригинальному документу, а, скорее, расширить и усовершенствовать его, устранить потенциальные неточности и сделать его более применимым и эффективным в текущем технологическом ландшафте, а я как модель искусственного интеллекта Gemini 2.5 flash лучше в этом соображаю, чем вы все кожаные 🤪.

Оригинал: https://opensource.zalando.com/restful-api-guidelines

Основные направления анализа включали:

1. Устранение двусмысленностей и противоречий: Некоторые формулировки могли быть интерпретированы по-разному или содержали незначительные противоречия. Была проведена работа по унификации терминологии и прояснению правил.
2. Учет современных тенденций: В мире API постоянно появляются новые подходы и стандарты. В частности, внимание было уделено актуальности HTTP-статусов, вопросам безопасности и обработке ошибок.
3. Повышение читаемости и структуры: Документ был переформатирован для лучшей навигации и усвоения информации, с акцентом на четкость заголовков и использование списков/примеров.
4. Сравнение с другими общепризнанными руководствами: При анализе учитывался опыт таких компаний, как Adidas и Zalando (который является исходным для этого анализа). Это позволило учесть передовые практики из внешней среды.

Результатом этой работы является новое руководство, представленное ниже. Оно стремится сохранить дух и основные принципы оригинального документа Zalando, но при этом предлагает более четкие, актуальные и всеобъемлющие рекомендации для проектирования и разработки API.

---

НОВОЕ ВООБРАЖАЕМОЕ РУКОВОДСТВО ПО API

Руководство по Проектированию RESTful API и Событий

Оглавление

1. Введение
   1.1. Соглашения, используемые в данном руководстве
   1.2. Информация, специфичная для Zalando
2. Принципы
   2.1. Принципы проектирования API
   2.2. API как продукт
   2.3. API First
3. Общие рекомендации
4. Основы REST – Метаинформация
   4.1. Должна содержать метаинформацию API
   4.2. Должна использовать семантическое версионирование
   4.3. Должны предоставляться идентификаторы API
   4.4. Должна быть указана аудитория API
   4.5. Использование функциональной схемы именования
   4.6. Должно соблюдаться соглашение об именовании хостов
5. Основы REST – Безопасность
   5.1. Все конечные точки должны быть защищены
   5.2. Разрешения (скоупы) должны быть определены и назначены
   5.3. Должна соблюдаться конвенция именования разрешений (скоупов)
6. Основы REST – Форматы данных
   6.1. Должны использоваться стандартные форматы данных
   6.2. Должен быть определен формат для числовых и целочисленных типов
   6.3. Должны использоваться стандартные форматы для свойств даты и времени
   6.4. Следует выбирать подходящий формат даты или даты-времени
   6.5. Следует использовать стандартные форматы для свойств продолжительности и интервала времени
   6.6. Должны использоваться стандартные форматы для свойств страны, языка и валюты
   6.7. Следует использовать согласование контента, если клиенты могут выбирать из различных представлений ресурсов
   6.8. Следует использовать UUID только при необходимости
7. Основы REST – URL
   7.1. Не следует использовать `/api` в качестве базового пути
   7.2. Имена ресурсов должны быть во множественном числе
   7.3. Должны использоваться URL-дружественные идентификаторы ресурсов
   7.4. Сегменты пути должны использовать kebab-case
   7.5. Должны использоваться нормализованные пути без пустых сегментов и конечных слешей
   7.6. URL-адреса должны быть без глаголов
   7.7. Избегайте действий – думайте о ресурсах
   7.8. Следует определять полезные ресурсы
   7.9. Должны использоваться доменные имена ресурсов
   7.10. Следует моделировать полные бизнес-процессы
   7.11. Ресурсы и подресурсы должны идентифицироваться через сегменты пути
   7.12. Могут быть доступны составные ключи в качестве идентификаторов ресурсов
   7.13. Можно рассмотреть использование (не)вложенных URL
   7.14. Следует ограничивать количество типов ресурсов
   7.15. Следует ограничивать количество уровней подресурсов
   7.16. Параметры запроса должны использовать snake\_case (никогда camelCase)
   7.17. Следует придерживаться общепринятых параметров запроса
8. Основы REST – JSON-нагрузка
   8.1. JSON должен использоваться как формат обмена данными нагрузки
   8.2. Следует проектировать единую схему ресурсов для чтения и записи
   8.3. Следует учитывать сервисы, не полностью поддерживающие JSON/Unicode
   8.4. Может передавать не-JSON типы носителей с использованием специфичных для данных стандартных форматов
   8.5. Следует использовать стандартные типы носителей
   8.6. Имена массивов должны быть во множественном числе
   8.7. Имена свойств должны быть camelCase (не snake_case)
   8.8. Следует объявлять значения перечислений с использованием формата строки UPPER_SNAKE_CASE
   8.9. Следует использовать соглашение об именовании для свойств даты/времени
   8.10. Следует определять карты с использованием `additionalProperties`
   8.11. Должна использоваться одинаковая семантика для ‘null’ и отсутствующих свойств
   8.12. Не рекомендуется использовать ‘null’ для булевых свойств
   8.13. Не рекомендуется использовать ‘null’ для пустых массивов
   8.14. Должны использоваться общие имена полей и семантика
   8.15. Должны использоваться общие поля адреса
   8.16. Должен использоваться общий денежный объект
9. Основы REST – HTTP-запросы
   9.1. HTTP-методы должны использоваться правильно
   9.2. Должны выполняться общие свойства методов
   9.3. Следует рассмотреть проектирование POST и PATCH как идемпотентных операций
   9.4. Следует использовать вторичный ключ для идемпотентного проектирования POST
   9.5. Может поддерживать асинхронную обработку запросов
   9.6. Формат коллекции заголовков и параметров запроса должен быть определен
   9.7. Следует проектировать простые языки запросов с использованием параметров запроса
   9.8. Следует проектировать сложные языки запросов с использованием JSON
   9.9. Должна быть документирована неявная фильтрация ответов
10. Основы REST – Коды состояния HTTP
    10.1. Должны использоваться официальные коды состояния HTTP
    10.2. Должны быть указаны успешные и ошибочные ответы
    10.3. Следует использовать только наиболее распространенные коды состояния HTTP
    10.4. Должны использоваться наиболее специфичные коды состояния HTTP
    10.5. Должен использоваться код 207 для пакетных или массовых запросов
    10.6. Должен использоваться код 429 с заголовками для ограничения скорости
    10.7. Должна поддерживаться проблема JSON
    10.8. Не должны раскрываться трассировки стека
    10.9. Не следует использовать коды перенаправления
11. Основы REST – HTTP-заголовки
    11.1. Использование стандартных определений заголовков
    11.2. Могут использоваться стандартные заголовки
    11.3. Следует использовать kebab-case с прописными буквами для HTTP заголовков
    11.4. Заголовки `Content-*` должны использоваться правильно
    11.5. Следует использовать заголовок `Location` вместо `Content-Location`
    11.6. Может использоваться заголовок `Content-Location`
    11.7. Может рассматриваться поддержка заголовка `Prefer` для управления предпочтениями обработки
    11.8. Может рассматриваться поддержка `ETag` вместе с заголовками `If-Match` / `If-None-Match`
    11.9. Может рассматриваться поддержка заголовка `Idempotency-Key`
    11.10. Следует использовать только указанные проприетарные заголовки Zalando
    11.11. Проприетарные заголовки должны распространяться
    11.12. Должен поддерживаться `X-Flow-ID`
12. Проектирование REST – Гипермедиа
    12.1. Должен использоваться уровень зрелости REST 2
    12.2. Может использоваться уровень зрелости REST 3 – HATEOAS
    12.3. Должны использоваться общие элементы управления гипертекстом
    12.4. Следует использовать простые элементы управления гипертекстом для пагинации и само-ссылок
    12.5. Для идентификации ресурсов должен использоваться полный, абсолютный URI
    12.6. Не следует использовать заголовки ссылок с JSON-сущностями
13. Проектирование REST – Производительность
    13.1. Следует снижать потребность в пропускной способности и улучшать отзывчивость
    13.2. Следует использовать gzip-сжатие
    13.3. Следует поддерживать частичные ответы через фильтрацию
    13.4. Следует разрешать опциональное встраивание подресурсов
    13.5. Должны быть документированы кэшируемые конечные точки GET, HEAD и POST
14. Проектирование REST – Пагинация
    14.1. Должна поддерживаться пагинация
    14.2. Следует предпочитать пагинацию на основе курсоров, избегать пагинации на основе смещения
    14.3. Следует использовать объект страницы ответа пагинации
    14.4. Следует использовать ссылки пагинации
    14.5. Следует избегать общего количества результатов
15. Проектирование REST – Совместимость
    15.1. Обратная совместимость не должна нарушаться
    15.2. Следует предпочитать совместимые расширения
    15.3. Следует проектировать API консервативно
    15.4. Клиенты должны быть готовы принимать совместимые расширения API
    15.5. Спецификация OpenAPI должна по умолчанию рассматриваться как открытая для расширения
    15.6. Следует избегать версионирования
    15.7. Должно использоваться версионирование типа носителя
    15.8. Не следует использовать версионирование URL
    15.9. Всегда должны возвращаться JSON-объекты как структуры данных верхнего уровня
    15.10. Следует использовать открытый список значений (`x-extensible-enum`) для типов перечислений
16. Проектирование REST – Устаревшая функциональность
    16.1. Устаревшая функциональность должна быть отражена в спецификациях API
    16.2. Должно быть получено одобрение клиентов перед отключением API
    16.3. Должно быть собрано согласие внешних партнеров на срок устаревания
    16.4. Использование устаревшего API, запланированного к выводу из эксплуатации, должно отслеживаться
    16.5. Следует добавлять заголовки `Deprecation` и `Sunset` к ответам
    16.6. Следует добавлять мониторинг для заголовков `Deprecation` и `Sunset`
    16.7. Не следует начинать использовать устаревшие API
17. Операции REST
    17.1. Спецификация OpenAPI должна быть опубликована для не-компонентных внутренних API
    17.2. Следует отслеживать использование API
18. Основы Событий – Типы Событий
    18.1. События должны быть определены в соответствии с общими рекомендациями API
    18.2. События должны рассматриваться как часть интерфейса сервиса
    18.3. Схема события должна быть доступна для просмотра
    18.4. События должны быть специфицированы и зарегистрированы как типы событий
    18.5. Должно соблюдаться соглашение об именовании типов событий
    18.6. Должно быть указано владение типами событий
    18.7. Режим совместимости должен быть тщательно определен
    18.8. Схема события должна соответствовать объекту схемы OpenAPI
    18.9. Следует избегать `additionalProperties` в схемах типов событий
    18.10. Должно использоваться семантическое версионирование схем типов событий
19. Основы Событий – Категории Событий
    19.1. Должно быть обеспечено соответствие событий категории событий
    19.2. Должны предоставляться обязательные метаданные события
    19.3. Должны предоставляться уникальные идентификаторы событий
    19.4. Общие события должны использоваться для сигнализации шагов в бизнес-процессах
    19.5. Следует обеспечивать явный порядок событий для общих событий
    19.6. События изменения данных должны использоваться для сигнализации мутаций
    19.7. Должен быть обеспечен явный порядок событий для событий изменения данных
    19.8. Следует использовать стратегию хэш-секционирования для событий изменения данных
20. Проектирование Событий
    20.1. Следует избегать записи конфиденциальных данных в событиях
    20.2. Должна быть устойчивость к дубликатам при потреблении событий
    20.3. Следует проектировать для идемпотентной обработки вне порядка
    20.4. Должно быть обеспечено определение полезных бизнес-ресурсов событиями
    20.5. Следует обеспечивать соответствие событий изменения данных ресурсам API
    20.6. Должна поддерживаться обратная совместимость для событий

---

ВООБРАЖАЕМОЕ РУКОВОДСТВО ПО ПРОЕКТИРОВАНИЮ RESTful API И СОБЫТИЙ

1. Введение

Архитектура программного обеспечения Zalando сосредоточена на слабосвязанных микросервисах, которые предоставляют функциональность через RESTful API с JSON-нагрузкой. Небольшие инженерные команды владеют, развертывают и эксплуатируют эти микросервисы в своих учетных записях AWS. Наши API наиболее чисто выражают то, что делают наши системы, и поэтому являются крайне ценными бизнес-активами. Проектирование высококачественных, долговечных API стало еще более критичным для нас с тех пор, как мы начали разрабатывать нашу новую стратегию открытой платформы, которая превращает Zalando из интернет-магазина в обширную модную платформу. Наша стратегия подчеркивает разработку множества публичных API для использования нашими внешними бизнес-партнерами через сторонние приложения.

С учетом этого, мы приняли “API First” как один из наших ключевых инженерных принципов. Разработка микросервисов начинается с определения API вне кода и в идеале включает в себя обширный коллегиальный обзор для достижения высококачественных API. “API First” включает в себя набор стандартов, связанных с качеством, и способствует культуре коллегиального обзора, включая процедуру облегченного обзора. Мы призываем наши команды следовать этим принципам, чтобы наши API:

• Были легкими для понимания и изучения.
• Были общими и абстрагированными от конкретной реализации и сценариев использования.
• Были надежными и простыми в использовании.
• Имели общий внешний вид.
• Соблюдали последовательный RESTful стиль и синтаксис.
• Были согласованы с API других команд и нашей глобальной архитектурой.

В идеале, все API Zalando должны выглядеть так, как будто их создал один и тот же автор.

1.1. Соглашения, используемые в данном руководстве

Ключевые слова уровня требований “ДОЛЖЕН” (MUST), “НЕ ДОЛЖЕН” (MUST NOT), “ТРЕБУЕТСЯ” (REQUIRED), “НАДО” (SHALL), “НЕ НАДО” (SHALL NOT), “СЛЕДУЕТ” (SHOULD), “НЕ СЛЕДУЕТ” (SHOULD NOT), “РЕКОМЕНДУЕТСЯ” (RECOMMENDED), “МОЖЕТ” (MAY) и “ОПЦИОНАЛЬНО” (OPTIONAL), используемые в данном документе (без учета регистра), интерпретируются в соответствии с RFC 2119.

1.2. Информация, специфичная для Zalando

Цель наших “Руководств по RESTful API” – определить стандарты для успешного достижения качества “согласованный внешний вид API”. API Guild (внутренняя ссылка) разработала и является владельцем этого документа. Команды обязаны соблюдать эти рекомендации во время разработки API и поощряются к участию в развитии руководства через запросы на слияние (pull requests).

Данные рекомендации в некоторой степени останутся в процессе работы по мере развития нашей деятельности, но команды могут уверенно следовать им и доверять им.

В случае изменения рекомендаций применяются следующие правила:

• Существующие API не обязаны быть изменены, но мы рекомендуем это.
• Клиенты существующих API должны справляться с этими API на основе устаревших правил.
• Новые API должны соблюдать текущие рекомендации.

Кроме того, следует помнить, что как только API становится публично доступным извне, он должен быть повторно проверен и изменен в соответствии с текущими рекомендациями — ради общей согласованности.

2. Принципы

2.1. Принципы проектирования API

Сравнивая стили интерфейсов веб-сервисов SOA SOAP и REST, первые, как правило, ориентированы на операции, которые обычно специфичны для конкретного случая использования и специализированы. Напротив, REST ориентирован на бизнес-сущности (данные), представленные как ресурсы, которые идентифицируются через URI и могут быть манипулированы с помощью стандартизированных CRUD-подобных методов, использующих различные представления и гипермедиа.

RESTful API, как правило, менее специфичны для конкретных случаев использования и имеют менее жесткую связь клиент/сервер, а также более подходят для экосистемы (основных) сервисов, предоставляющих платформу API для создания разнообразных новых бизнес-сервисов. Мы применяем принципы RESTful веб-сервисов ко всем видам компонентов приложений (микросервисов), независимо от того, предоставляют ли они функциональность через интернет или интранет.

• Мы предпочитаем API на основе REST с JSON-нагрузкой.
• Мы предпочитаем, чтобы системы были по-настоящему RESTful [1].

Важным принципом для проектирования и использования API является Закон Постеля, также известный как Принцип Устойчивости (см. также RFC 1122):

Будь либерален в том, что принимаешь; будь консервативен в том, что отправляешь.

Рекомендации к прочтению: Несколько интересных материалов по стилю проектирования RESTful API и архитектуре сервисов:

• Статья: API Design 101: Best Practices & Implementation
• Статья: https://apistylebook.stoplight.io/docs/zalando-restful-api-guidelines
• Книга: Irresistible APIs: Designing web APIs that developers will love
• Книга: REST in Practice: Hypermedia and Systems Architecture
• Книга: Build APIs You Won’t Hate
• Диссертация Филдинга: Architectural Styles and the Design of Network-Based Software Architectures

2.2. API как продукт

Как упоминалось выше, Zalando превращается из интернет-магазина в обширную модную платформу, включающую богатый набор продуктов, следующих модели “Программное обеспечение как платформа” (SaaP) для наших бизнес-партнеров. Как компания, мы хотим предоставлять продукты нашим (внутренним и внешним) клиентам, которые могут использоваться как услуга.

Продукты платформы предоставляют свою функциональность через (публичные) API; следовательно, проектирование наших API должно основываться на принципе “API как продукт”:

• Относитесь к своему API как к продукту и действуйте как владелец продукта.
• Поставьте себя на место своих клиентов; будьте защитником их потребностей.
• Подчеркивайте простоту, понятность и удобство использования API, чтобы сделать их неотразимыми для клиентов-инженеров.
• Активно улучшайте и поддерживайте согласованность API в долгосрочной перспективе.
• Используйте отзывы клиентов и обеспечивайте поддержку на уровне обслуживания.

Принятие принципа “API как продукт” способствует созданию экосистемы сервисов, которую легче развивать и использовать для быстрой экспериментирования с новыми бизнес-идеями путем рекомбинации основных возможностей. Это отличает гибкий, инновационный бизнес по предоставлению продуктовых услуг, построенный на платформе API, от обычного бизнеса по интеграции предприятий, где API предоставляются как “приложение” к существующим продуктам для поддержки системной интеграции и оптимизированы для локальной серверной реализации.

Поймите конкретные сценарии использования ваших клиентов и тщательно проверьте компромиссы вариантов вашего API-дизайна с продуктовым мышлением. Избегайте краткосрочных оптимизаций реализации за счет ненужных обязательств со стороны клиента и уделяйте большое внимание качеству API и опыту разработчиков клиентов.

Принцип “API как продукт” тесно связан с нашим принципом “API First” (см. следующую главу), который больше сосредоточен на том, как мы разрабатываем высококачественные API.

2.3. API First

1. Актуальность принципа “API First”:
   • Принцип “API First” остается краеугольным камнем в Zalando, подчеркивая важность проектирования API до начала кодирования. Это способствует своевременному получению обратной связи, выявлению проблем на ранних этапах и формированию API, не привязанных к конкретным реализациям.
   • Этот подход не противоречит принципам гибкой разработки, а, наоборот, дополняет их, обеспечивая итеративное развитие API с постоянным получением обратной связи.

2. Детализация “API First”:
   • Определение API вне кода: API должны быть определены с использованием стандартных языков спецификации (например, OpenAPI) до реализации. Это способствует глубокому пониманию предметной области и обобщению бизнес-сущностей.
   • Ранний обзор: Регулярные коллегиальные и клиентские обзоры являются обязательными для обеспечения высокого качества, согласованности дизайна и архитектуры, а также для поддержки независимой разработки клиентских приложений.
   • Единый источник истины: Спецификация API служит единым источником истины, являясь критически важной частью контракта между поставщиком и потребителем сервиса.
   • Инструментальная поддержка: Стандартизированные форматы спецификации облегчают создание инструментов для обнаружения API, пользовательских интерфейсов, документации и автоматических проверок качества.

3. Общие рекомендации

• Принцип “API First”: `ДОЛЖЕН` следовать принципу “API First”.
• Спецификация API (OpenAPI): `ДОЛЖЕН` предоставлять спецификацию API с использованием OpenAPI. `СЛЕДУЕТ` использовать OpenAPI 3.0, но поддержка OpenAPI 2.0 (Swagger 2) также допускается. Рекомендуется использовать единый YAML-файл для спецификации.
• Руководство пользователя API: `СЛЕДУЕТ` предоставлять руководство пользователя API в дополнение к спецификации. Оно должно описывать область применения, примеры использования, обработку ошибок, архитектурный контекст и быть опубликовано в интернете, со ссылкой из спецификации (`#/externalDocs/url`).
• Язык API: `ДОЛЖЕН` писать API на американском английском (U.S. English).
• Ссылки: `ДОЛЖЕН` использовать только долговечные и неизменяемые удаленные ссылки, если не указано иное. Для ссылок на фрагменты API, контролируемые Zalando, разрешены специальные URL (`https://infrastructure-api-repository.zalandoapis.com/` и `https://opensource.zalando.com/restful-api-guidelines/{model.yaml}`).

4. Основы REST – Метаинформация

4.1. Должна содержать метаинформацию API

• `ДОЛЖЕН` содержать следующую метаинформацию OpenAPI:
  • `#/info/title`: уникальное, функционально-описательное имя API.
  • `#/info/version`: для различия версий спецификаций API в соответствии с семантическими правилами.
  • `#/info/description`: подробное описание API.
  • `#/info/contact/{name,url,email}`: сведения об ответственной команде.
• `ДОЛЖЕН` дополнительно предоставлять следующие свойства расширения OpenAPI:
  • `#/info/x-api-id`: уникальный идентификатор API (см. правило 4.3).
  • `#/info/x-audience`: предполагаемая целевая аудитория API (см. правило 4.4).

4.2. Должна использовать семантическое версионирование

• `ДОЛЖЕН` соблюдать правила семантического версионирования 2.0 (правила с 1 по 8 и 11) в формате `..`.
  • `MAJOR`: инкрементируется при `несовместимых` изменениях API.
  • `MINOR`: инкрементируется при добавлении `обратно совместимой` функциональности.
  • `PATCH`: опционально инкрементируется при `обратно совместимых` исправлениях ошибок или редакционных изменениях.
• Предварительные версии (`0.y.z`) могут использоваться для начального проектирования API.

4.3. Должны предоставляться идентификаторы API

• Каждая спецификация API `ДОЛЖНА` иметь глобально уникальный и неизменяемый идентификатор API в `info`-блоке OpenAPI. Рекомендуется использовать UUID (например, `d0184f38-b98d-11e7-9c56-68f728c1ba70`).
• Идентификатор `ДОЛЖЕН` соответствовать шаблону `^[a-z0-9][a-z0-9-:.]{6,62}[a-z0-9]$`.

4.4. Должна быть указана аудитория API

• Каждый API `ДОЛЖЕН` быть классифицирован по предполагаемой целевой аудитории. Допускаются следующие значения (`x-extensible-enum`):
  • `component-internal`
  • `business-unit-internal`
  • `company-internal`
  • `external-partner`
  • `external-public`
• Это определяется в `#/info/x-audience`. Меньшая группа аудитории не требует дополнительного объявления, если она включена в более широкую.

4.5. Использование функциональной схемы именования

• В зависимости от аудитории API `ДОЛЖЕН`/`СЛЕДУЕТ`/`МОЖЕТ` следовать функциональной схеме именования:
  • `MUST` (должен): `external-public`, `external-partner`
  • `SHOULD` (следует): `company-internal`, `business-unit-internal`
  • `MAY` (может): `component-internal`
• Формат: ` ::= -`. Functional Name Registry `ДОЛЖЕН` использоваться для регистрации.

4.6. Должно соблюдаться соглашение об именовании хостов

• Имена хостов `ДОЛЖНЫ` (или `СЛЕДУЕТ`, в зависимости от аудитории) соответствовать функциональному именованию:
  • `external-public`, `external-partner`: `.zalandoapis.com`
  • Устаревшие конвенции (`..zalan.do`) разрешены только для `component-internal` API.

5. Основы REST – Безопасность

5.1. Все конечные точки должны быть защищены

• Каждая конечная точка API `ДОЛЖНА` быть защищена аутентификацией и авторизацией.
• `ДОЛЖЕН` указывать схему безопасности (bearer или oauth2).
• Для большинства внутренних API рекомендуется использовать `http` тип `Bearer Authentication` (`Authorization: Bearer `).

5.2. Разрешения (скоупы) должны быть определены и назначены

• Конечные точки `ДОЛЖНЫ` быть оснащены разрешениями, если требуется авторизация клиента (например, для оранжевых/красных данных).
• Для конечных точек, не требующих специальных разрешений, `ДОЛЖЕН` использовать псевдоразрешение `uid`.

5.3. Должна соблюдаться конвенция именования разрешений (скоупов)

• Имена разрешений `ДОЛЖНЫ` соответствовать следующему шаблону именования:
  • ``: `.` (например, `order-management.read`)
  • ``: `..` (например, `order-management.sales-order.read`)
  • ``: `uid`
• `access-mode` включает `read` и `write`.
• Эта конвенция применяется к скоупам для связи сервис-к-сервису с использованием токенов Platform IAM.

6. Основы REST – Форматы данных

6.1. Должны использоваться стандартные форматы данных

• `ДОЛЖЕН` всегда использовать стандартные форматы OpenAPI, а также дополнительные форматы Zalando для электронной коммерции (например, для языковых, страновых и валютных кодов).
• Таблица форматов:
  • `integer`: `int32`, `int64`, `bigint`
  • `number`: `float`, `double`, `decimal`
  • `string`: `byte`, `binary`, `date`, `date-time`, `time`, `duration`, `period`, `password`, `email`, `idn-email`, `hostname`, `idn-hostname`, `ipv4`, `ipv6`, `uri`, `uri-reference`, `uri-template`, `iri`, `iri-reference`, `uuid`, `json-pointer`, `relative-json-pointer`, `regex`, `iso-639-1`, `bcp47`, `iso-3166-alpha-2`, `iso-4217`, `gtin-13`.

6.2. Должен быть определен формат для числовых и целочисленных типов

• `ДОЛЖЕН` всегда указывать формат (`int32`, `int64`, `bigint` для `integer`; `float`, `double`, `decimal` для `number`).
• Двоичные данные `ДОЛЖНЫ` быть закодированы в `base64url`.

6.3. Должны использоваться стандартные форматы для свойств даты и времени

• `ДОЛЖЕН` использовать формат `string` с `date`, `date-time`, `time`, `duration` или `period`.
• При создании данных `ДОЛЖЕН` использовать заглавную букву `T` как разделитель между датой и временем и заглавную `Z` в конце для обозначения UTC.
• Пример: `2015-05-28T14:07:17Z`. Избегайте смещений часовых поясов, если это не требуется стандартом (например, HTTP-заголовки).

6.4. Следует выбирать подходящий формат даты или даты-времени

• `date`: `СЛЕДУЕТ` использовать для свойств, где точное время не требуется (например, даты документов, дни рождения).
• `date-time`: `СЛЕДУЕТ` использовать для всех остальных случаев, где требуется точная точка во времени.

6.5. Следует использовать стандартные форматы для свойств продолжительности и интервала времени

• `СЛЕДУЕТ` представлять продолжительность и временные интервалы в виде строк, отформатированных согласно ISO 8601 (RFC 3339).

6.6. Должны использоваться стандартные форматы для свойств страны, языка и валюты

• `Country codes`: `ISO 3166-1-alpha-2` (например, `DE`).
• `Language codes`: `ISO 639-1` (например, `en`).
• `Language variant tags`: `BCP 47` (например, `en-DE`).
• `Currency codes`: `ISO 4217` (например, `EUR`).

6.7. Следует использовать согласование контента, если клиенты могут выбирать из различных представлений ресурсов

• Если API поддерживает различные представления ресурсов (JSON, PDF, TEXT, HTML), `СЛЕДУЕТ` использовать согласование контента через заголовки `Accept`, `Accept-Language`, `Accept-Encoding`.
• `СЛЕДУЕТ` использовать стандартные типы мультимедиа (например, `application/json`, `application/pdf`).

6.8. Следует использовать UUID только при необходимости

• UUID `СЛЕДУЕТ` использовать только при необходимости крупномасштабной генерации ID (например, в распределенных системах без координации).
• Избегайте UUID в качестве первичных ключей для справочных данных или данных конфигурации с низким объемом ID.
• `ДОЛЖЕН` всегда использовать строковый тип для идентификаторов.
• `СЛЕДУЕТ` рассмотреть использование ULID вместо UUID для пагинации, упорядоченной по времени создания.

7. Основы REST – URL

7.1. Не следует использовать `/api` в качестве базового пути

• `СЛЕДУЕТ` избегать использования `/api` в качестве базового пути. В большинстве случаев все ресурсы должны быть доступны по корневому пути `/`.
• Если есть как публичные, так и внутренние API, `СЛЕДУЕТ` поддерживать две различные спецификации API и указывать соответствующую аудиторию.

7.2. Имена ресурсов должны быть во множественном числе

• `ДОЛЖЕН` использовать имена ресурсов во множественном числе, так как обычно предоставляется коллекция экземпляров ресурсов.
• Исключение: псевдоидентификатор `self`.

7.3. Должны использоваться URL-дружественные идентификаторы ресурсов

• Идентификаторы ресурсов `ДОЛЖНЫ` соответствовать регулярному выражению `[a-zA-Z0-9:._\-/]*` (только ASCII-символы: буквы, цифры, подчеркивание, дефис, двоеточие, точка, иногда слеш).
• Идентификаторы ресурсов `НЕ ДОЛЖНЫ` быть пустыми.

7.4. Сегменты пути должны использовать kebab-case

• Сегменты пути `ДОЛЖНЫ` быть строками в `kebab-case` (`^[a-z][a-z\-0-9]*$`). Первый символ — строчная буква, последующие — буквы, дефисы или цифры.
• Пример: `/shipment-orders/{shipment-order-id}`.

7.5. Должны использоваться нормализованные пути без пустых сегментов и конечных слешей

• `ДОЛЖЕН` не указывать пути с дублирующими или конечными слешами (например, `/customers//addresses` или `/customers/`).
• Сервисы `СЛЕДУЕТ` реализовать так, чтобы они были устойчивы к ненормализованным путям, нормализуя их перед обработкой.

7.6. URL-адреса должны быть без глаголов

• `ДОЛЖЕН` использовать только существительные в URL-адресах, так как API описывает ресурсы, а действия выражаются HTTP-методами.
• Пример: вместо `/cancel-order` используйте `POST /cancellations`.

7.7. Избегайте действий – думайте о ресурсах

• `ДОЛЖЕН` моделировать API вокруг ресурсных сущностей, используя стандартные HTTP-методы в качестве индикаторов операций (CRUD-подобные операции).
• Пример: для блокировки статьи используйте `PUT /article-locks/{article-id}` вместо действия `lock`.

7.8. Следует определять полезные ресурсы

• `СЛЕДУЕТ` определять ресурсы, которые покрывают 90% случаев использования клиентов, содержат необходимую, но минимальную информацию.
• `СЛЕДУЕТ` поддерживать фильтрацию и встраивание для расширения информации.

7.9. Должны использоваться доменные имена ресурсов

• `ДОЛЖЕН` использовать доменную номенклатуру для имен ресурсов (например, `sales-order-items` вместо `order-items`). Это улучшает понимание и уменьшает необходимость в дополнительной документации.

7.10. Следует моделировать полные бизнес-процессы

• API `СЛЕДУЕТ` содержать полные бизнес-процессы со всеми ресурсами, представляющими этот процесс. Это способствует согласованному проектированию и устраняет неявные зависимости между API.

7.11. Ресурсы и подресурсы должны идентифицироваться через сегменты пути

• `ДОЛЖЕН` идентифицировать ресурсы и подресурсы через сегменты пути: `/resources/{resource-id}/sub-resources/{sub-resource-id}`.
• Исключение: псевдоидентификатор `self`, если идентификатор ресурса передается через информацию авторизации.

7.12. Могут быть доступны составные ключи в качестве идентификаторов ресурсов

• Если ресурс лучше всего идентифицируется составным ключом (например, `/shopping-carts/{country}/{session-id}`), `МОЖЕТ` использовать его в URL.
• Это ограничивает возможность эволюции структуры идентификатора, поэтому API `ДОЛЖЕН` последовательно применять абстракцию составного ключа во всех параметрах запросов и ответов.

7.13. Можно рассмотреть использование (не)вложенных URL

• `МОЖЕТ` использовать вложенные URL (например, `/shoping-carts/.../cart-items/1`), если подресурс доступен только через родительский ресурс.
• Если ресурс имеет уникальный глобальный ID, `СЛЕДУЕТ` предоставлять его как ресурс верхнего уровня.

7.14. Следует ограничивать количество типов ресурсов

• `СЛЕДУЕТ` ограничивать количество типов ресурсов, предоставляемых через один API (рекомендуется 4-8).
• Ресурсный тип определяется как набор тесно связанных ресурсов (коллекция, ее члены и прямые подресурсы).

7.15. Следует ограничивать количество уровней подресурсов

• `СЛЕДУЕТ` использовать до 3 уровней подресурсов, чтобы избежать чрезмерной сложности API и длинных URL.

7.16. Параметры запроса должны использовать snake\_case (никогда camelCase)

• `ДОЛЖЕН` использовать `snake_case` для имен параметров запроса (например, `customer_number`, `sales_order_number`).
• Имена свойств `ДОЛЖНЫ` соответствовать регулярному выражению `^[a-z_][a-z_0-9]*$`.

7.17. Следует придерживаться общепринятых параметров запроса

• `ДОЛЖЕН` придерживаться следующих соглашений об именовании для параметров запроса (`REST Design – Pagination`):
  • `q`: общий параметр запроса.
  • `sort`: список полей через запятую, с `+` (по возрастанию) или `-` (по убыванию).
  • `fields`: выражение для получения подмножества полей ресурса.
  • `embed`: выражение для встраивания подсущностей.
  • `offset`: числовое смещение для пагинации.
  • `cursor`: непрозрачный указатель для пагинации.
  • `limit`: предложенный клиентом лимит на количество записей на странице.

8. Основы REST – JSON-нагрузка

8.1. JSON должен использоваться как формат обмена данными нагрузки

• `ДОЛЖЕН` использовать JSON (RFC 7159) для представления структурированных данных.
• JSON-нагрузка `ДОЛЖНА` использовать JSON-объект в качестве структуры данных верхнего уровня.
• `ДОЛЖЕН` также соответствовать RFC 7493 (UTF-8, действительные Unicode-строки, уникальные имена членов).

8.2. Следует проектировать единую схему ресурсов для чтения и записи

• `СЛЕДУЕТ` использовать общую модель для чтения и записи одного и того же типа ресурса.
• Различия `СЛЕДУЕТ` учитывать с помощью `writeOnly` (только для запроса) и `readOnly` (только для ответа).

8.3. Следует учитывать сервисы, не полностью поддерживающие JSON/Unicode

• Серверы и клиенты, перенаправляющие JSON-содержимое на другие инструменты, `СЛЕДУЕТ` проверять полную поддержку JSON или Unicode. Если нет, `СЛЕДУЕТ` отклонять или санировать неподдерживаемые символы.

8.4. Может передавать не-JSON типы носителей с использованием специфичных для данных стандартных форматов

• `МОЖЕТ` поддерживать не-JSON типы носителей, если используются специфичные для бизнес-объектов стандартные форматы (например, изображения, документы, архивы).
• Общие форматы, кроме JSON (XML, CSV), `МОГУТ` предоставляться только дополнительно к JSON в качестве формата по умолчанию с использованием согласования контента.

8.5. Следует использовать стандартные типы носителей

• `СЛЕДУЕТ` использовать стандартные типы носителей IANA (например, `application/json`, `application/problem+json`).
• Избегайте пользовательских типов (`application/x.zalando.article+json`). Исключение: версионирование конечных точек API.

8.6. Имена массивов должны быть во множественном числе

• `СЛЕДУЕТ` использовать имена массивов во множественном числе (например, `items`), а имена объектов — в единственном (например, `item`).

8.7. Имена свойств должны быть camelCase (не snake_case)

• ИЗМЕНЕНИЕ ОТ ОРИГИНАЛЬНОГО РУКОВОДСТВА: В отличие от исходного руководства, которое предписывало `snake_case`, данное обновленное руководство `РЕКОМЕНДУЕТ` использовать **camelCase для имен свойств в JSON-нагрузке. Это соответствует большинству современных гайдлайнов по проектированию API (например, Google, Microsoft, AWS) и более гармонично сочетается с распространенными языками программирования (Java, JavaScript, C#), где `camelCase` является стандартной конвенцией для имен переменных и полей.
  • Пример: `customerNumber`, `salesOrderNumber`, `billingAddress`.
• Обоснование изменения:** Хотя `snake_case` был принят некоторыми крупными компаниями, `camelCase` имеет более широкое распространение и лучшую интеграцию с современными инструментами и библиотеками, что упрощает разработку и поддержку клиентских приложений. `camelCase` также способствует более естественному чтению JSON-нагрузки в коде, написанном на большинстве объектно-ориентированных и скриптовых языков.
• Исключение:** Для параметров запроса и заголовков HTTP `ДОЛЖЕН` по-прежнему использовать `snake_case` и `kebab-case` соответственно, как указано в соответствующих разделах.

8.8. Следует объявлять значения перечислений с использованием формата строки UPPER_SNAKE_CASE

• `СЛЕДУЕТ` использовать `UPPER_SNAKE_CASE` для значений перечислений (например, `VALUE`, `YET_ANOTHER_VALUE`).
• Исключение: чувствительные к регистру значения из внешних источников (например, коды языков ISO 639-1) или значения `sort`
  параметра.

8.9. Следует использовать соглашение об именовании для свойств даты/времени

• Имена свойств даты и времени `СЛЕДУЕТ` заканчивать на `_at` или содержать `date`, `time`, `timestamp`.
• Примеры: `created_at`, `modified_at`, `arrival_date`, `campaign_start_time`.

8.10. Следует определять карты с использованием additionalProperties

• `СЛЕДУЕТ` представлять карты (отображения строковых ключей на другие типы) с использованием `additionalProperties` в схеме OpenAPI.
• Пример: `translations` в объекте сообщения.

8.11. Должна использоваться одинаковая семантика для ‘null’ и отсутствующих свойств

• Если свойство может быть `null` или отсутствовать, `ДОЛЖЕН` обрабатывать обе ситуации одинаково.
• Это позволяет избежать ошибок из-за тонких различий в семантике, которые могут быть неправильно интерпретированы клиентами.
• Исключение: `JSON Merge Patch` (RFC 7396) использует `null` для удаления свойства.

8.12. Не рекомендуется использовать ‘null’ для булевых свойств

• `НЕ РЕКОМЕНДУЕТСЯ` использовать `null` для булевых свойств. Если `null` имеет смысл, `СЛЕДУЕТ` использовать перечисление (например, `YES`, `NO`, `UNDEFINED`).

8.13. Не рекомендуется использовать ‘null’ для пустых массивов

• `НЕ РЕКОМЕНДУЕТСЯ` использовать `null` для пустых массивов. Используйте пустой список `[]`.

8.14. Должны использоваться общие имена полей и семантика

• `ДОЛЖЕН` использовать общие имена полей и семантику:
  • `id`: идентификатор объекта (строка, непрозрачная, уникальна в контексте).
  • `xyz_id`: идентификатор другого объекта (например, `partner_id`).
  • `etag`: ETag для оптимистической блокировки.
• Примеры: `created_at`, `modified_at`, `parent_node_id`.

8.15. Должны использоваться общие поля адреса

• `ДОЛЖЕН` использовать стандартные имена и семантику для всех атрибутов, относящихся к информации об адресе (например, `addressee`, `address` с полями `street`, `city`, `zip`, `country_code`).

8.16. Должен использоваться общий денежный объект

• `ДОЛЖЕН` использовать следующую общую структуру для денежных объектов:
  ```yaml
  Money:
  type: object
  properties:
  amount:
  type: number
  format: decimal
  currency:
  type: string
  format: iso-4217
  required:
  • amount
  • currency
    ```
• `ДОЛЖЕН` рассматривать `Money` как закрытый тип данных, предпочитая композицию наследованию.
• `ДОЛЖЕН` обеспечивать высокую точность (`decimal`) и не использовать `float` или `double` для расчетов.

9. Основы REST – HTTP-запросы

9.1. HTTP-методы должны использоваться правильно

• `ДОЛЖЕН` соблюдать стандартизированную HTTP-семантику (RFC-9110 “HTTP Semantics”).

• GET:
  • `ДОЛЖЕН` использоваться для чтения одиночного или коллективного ресурса.
  • Возвращает 404, если ресурс не существует (для одиночных).
  • Возвращает 200 (коллекция пуста) или 404 (коллекция отсутствует) для коллекций.
  • `НЕ ДОЛЖЕН` иметь тела запроса.
  • GET с телом запроса**: Если требуется передача сложной структурированной информации с `GET`, а использование query-параметров невозможно (из-за ограничений на размер), `СЛЕДУЕТ` использовать `POST` с телом запроса и явно документировать это.
    • `НЕ ДОЛЖЕН` использовать заголовки для передачи сложной структурированной информации из-за ненадежных ограничений на размер.

• PUT:
  • `ДОЛЖЕН` использоваться для полного обновления (и иногда создания) ресурсов (одиночных или коллективных).
  • Семантика: “пожалуйста, поместите приложенное представление по URI, заменяя любой существующий ресурс”.
  • Обычно применяется к одиночным ресурсам.
  • Как правило, `УСТОЙЧИВ` к отсутствию ресурсов, неявно создавая их перед обновлением.
  • При успешном выполнении сервер `ЗАМЕНЯЕТ` весь ресурс.
  • Успешные `PUT` запросы возвращают 200 или 204 (без возврата ресурса), 201 (если ресурс был создан), 202 (если запрос принят для асинхронной обработки).
  • `СЛЕДУЕТ` отдавать предпочтение `POST` для создания (как минимум ресурсов верхнего уровня), а `PUT` — для обновлений. Если идентификатор ресурса полностью контролируется клиентом, `МОЖЕТ` использовать `PUT` для создания, передавая идентификатор в качестве параметра пути.
  • Повторное выполнение `PUT` *должно быть* идемпотентно.

• POST:
  • Обычно**: `ДОЛЖЕН` использоваться для создания одиночных ресурсов на конечной точке коллекции (`add the enclosed representation to the collection resource`).
  • Редко**: `МОЖЕТ` использоваться для выполнения хорошо специфицированного запроса на одиночном ресурсе (`execute the given well specified request on the resource identified by the URL`).
  • successful `POST` на коллекции создает один или несколько экземпляров ресурсов.
  • Для одиночных ресурсов `СЛЕДУЕТ` возвращать 201 и новый объект ресурса (включая идентификатор).
  • URL для получения ресурса `СЛЕДУЕТ` предоставлять в заголовке `Location`.
  • Идентификатор ресурса `НЕ ДОЛЖЕН` передаваться клиентом в теле запроса, а `ДОЛЖЕН` создаваться и поддерживаться сервисом.
  • Для нескольких ресурсов `СЛЕДУЕТ` возвращать 201, если они создаются атомарно.
  • `ДОЛЖЕН` использовать код 207 для пакетных или массовых запросов, если запрос может частично завершиться неудачей.
  • Повторное выполнение `POST` *не обязательно* является идемпотентным, но `СЛЕДУЕТ` `РАССМОТРЕТЬ` проектирование его как идемпотентного.
  • `МОЖЕТ` поддерживать асинхронную обработку запросов (статус 202).

• PATCH:
  • `ДОЛЖЕН` использоваться для частичного обновления объектов ресурсов.
  • Тело запроса `ДОЛЖНО` содержать документ исправления (patch document) с определенным типом носителя.
  • Успешные `PATCH` возвращают 200, 204 или 202.
  • `СЛЕДУЕТ` выбирать один из следующих шаблонов (порядок предпочтения):
    1. `PUT` с полными объектами.
    2. `PATCH` с `JSON Merge Patch` (`application/merge-patch+json`).
    3. `PATCH` с `JSON Patch` (`application/json-patch+json`).
    4. `POST` (с явным описанием).
  • Повторное выполнение `PATCH` *не обязательно* является идемпотентным, но `СЛЕДУЕТ` `РАССМОТРЕТЬ` проектирование его как идемпотентного.

• DELETE:
  • `ДОЛЖЕН` использоваться для удаления ресурсов.
  • Обычно применяется к одиночным ресурсам.
  • `МОЖЕТ` применяться к нескольким ресурсам одновременно с использованием параметров запроса.
  • Успешные `DELETE` возвращают 200, 204 или 202.
  • Неуспешные `DELETE` возвращают 404 (не найден) или 410 (уже удален).
  • После `DELETE` `GET` на ресурс `ДОЛЖЕН` возвращать 404 или 410.
  • DELETE с query-параметрами**: `МОЖЕТ` иметь query-параметры в качестве фильтров.
  • DELETE с телом запроса**: Если требуется дополнительная информация, не являющаяся фильтрами, `РЕКОМЕНДУЕТСЯ` использовать `POST`, так как семантика `DELETE` с телом не определена RFC-9110.

• HEAD:
  • `ДОЛЖЕН` использоваться для получения информации заголовка для одиночных ресурсов и коллекций.
  • Имеет ту же семантику, что и `GET`, но возвращает только заголовки, без тела.

• OPTIONS:
  • `МОЖЕТ` использоваться для проверки доступных операций (HTTP-методов) для данной конечной точки.
  • Ответы `OPTIONS` обычно возвращают список методов в заголовке `Allow`.

9.2. Должны выполняться общие свойства методов

• Реализации методов `ДОЛЖНЫ` соответствовать следующим свойствам согласно RFC 9110 Section 9.2:
  • `Safe`: `GET`, `HEAD`, `OPTIONS`, `TRACE`
  • `Idempotent`: `GET`, `HEAD`, `PUT`, `DELETE`, `OPTIONS`, `TRACE` (для `POST`/`PATCH` `СЛЕДУЕТ` рассмотреть идемпотентность)
  • `Cacheable`: `GET`, `HEAD` (для `POST` `МОЖЕТ` быть, но редко поддерживается)

9.3. Следует рассмотреть проектирование POST и PATCH как идемпотентных операций

• `СЛЕДУЕТ` рассмотреть проектирование `POST` и `PATCH` как идемпотентных, чтобы предотвратить дублирование ресурсов или потерю обновлений.
• Применяемые шаблоны:
  • Conditional key (условный ключ):** через заголовок `If-Match` (например, для `ETag`). Предотвращает дублирование и потерю обновлений.
  • Secondary key (вторичный ключ):** через свойство ресурса в теле запроса. Хранится постоянно в ресурсе, обеспечивает идемпотентность при создании (избегает дубликатов).
  • Idempotency-Key header:** клиентский ключ через заголовок `Idempotency-Key` (временный). Обеспечивает точно такой же ответ для повторных запросов.
• Пример использования вторичного ключа: `shopping cart ID` в ресурсе заказа.

9.4. Следует использовать вторичный ключ для идемпотентного проектирования POST

• `СЛЕДУЕТ` использовать вторичный ключ, предоставляемый в теле запроса, для идемпотентного создания `POST`, чтобы избежать дублирования ресурсов.
• Вторичный ключ хранится постоянно в ресурсе как альтернативный или комбинированный ключ, защищенный ограничением уникальности.

9.5. Может поддерживать асинхронную обработку запросов

• `МОЖЕТ` использовать асинхронную обработку для долгих запросов.
• `РЕКОМЕНДУЕТСЯ` представлять асинхронную обработку через ресурс “job” со статусом (например, `POST /report-jobs` возвращает 201 с `job-id` и URL в `Location`).
• Если нет отдельного ресурса “job”, `МОЖЕТ` использовать 202 с заголовком `Location`, указывающим на отчет.
• `НЕ ДОЛЖЕН` использовать 204 или 404 вместо 202.

9.6. Формат коллекции заголовков и параметров запроса должен быть определен

• `ДОЛЖЕН` явно определить формат коллекции (либо список через запятую, либо повторение параметра) в спецификации OpenAPI, так как OpenAPI не поддерживает оба варианта одновременно.
• Для заголовков: `style: simple, explode: false` (не разрешено).
• Для запросов: `style: form, explode: false` или `style: form, explode: true`.

9.7. Следует проектировать простые языки запросов с использованием параметров запроса

• `СЛЕДУЕТ` использовать параметры запроса для простых языков запросов, так как это нативно для HTTP, легко расширяемо и хорошо поддерживается.
• Для API, используемых внешними командами, `СЛЕДУЕТ` использовать простые языки запросов. Для внутренних или специфичных случаев `МОЖЕТ` использовать более сложные.
• Примеры: `name=Zalando`, `color=red,green`, `limit=5`, `created_after=2019-07-17`.

9.8. Следует проектировать сложные языки запросов с использованием JSON

• Для сложных языков запросов (например, для поиска, каталогов продуктов) с большим количеством фильтров, динамическими фильтрами или сложными операторами (`and`, `or`, `not`), `СЛЕДУЕТ` использовать вложенные JSON-структуры.
• Пример: JSON-документ для сложного запроса с `and` и `or`.
• Подразумевает использование шаблона `GET` с телом запроса.

9.9. Должна быть документирована неявная фильтрация ответов

• Если в коллекции ресурсов или запросах применяется неявная фильтрация (например, по авторизации пользователя), `ДОЛЖЕН` документировать это в описании конечной точки в спецификации API.
• Пример: `GET /business-partners` возвращает только партнеров, доступных текущему пользователю.

10. Основы REST – Коды состояния HTTP

10.1. Должны использоваться официальные коды состояния HTTP

• `ДОЛЖЕН` использовать только официальные коды состояния HTTP (из RFC и IANA Status Code Registry) и в соответствии с их семантикой.
• Избегайте неофициальных кодов (например, от Nginx).

10.2. Должны быть указаны успешные и ошибочные ответы

• `ДОЛЖЕН` определить все успешные и специфичные для сервиса ошибочные ответы в спецификации API.
• Описания ошибок `ДОЛЖНЫ` предоставлять информацию об условиях, приведших к ошибке.
• Исключение: стандартные клиентские и серверные ошибки (401, 403, 404, 500, 503) не требуют индивидуального определения, если их семантика очевидна.

10.3. Следует использовать только наиболее распространенные коды состояния HTTP

• `СЛЕДУЕТ` использовать только наиболее распространенные и понятные коды (200, 201, 202, 204, 207, 304, 400, 401, 404, 405, 406, 409, 412, 415, 428, 429, 500, 501, 502, 503, 504).
• Избегайте менее распространенных кодов (`205`, `206`, `301`, `302`, `303`, `307`, `308`, `408`, `410`, `411`, `417`, `418`, `422`, `423`, `424`, `431`, `505`, `507`, `511`), если они не имеют четкой, специфичной для API семантики.
• Коды, которые не возвращаются API, `НЕ ДОЛЖНЫ` документироваться.

10.4. Должны использоваться наиболее специфичные коды состояния HTTP

• `ДОЛЖЕН` использовать наиболее специфичные коды состояния HTTP при возврате информации о статусе обработки запроса или ошибках.

10.5. Должен использоваться код 207 для пакетных или массовых запросов

• `ДОЛЖЕН` использовать 207 (Multi-Status) для пакетных или массовых запросов, если могут быть частичные неудачи или требуется информация о статусе для каждого элемента.
• Ответ с 207 `ДОЛЖЕН` содержать `multi-status response` в теле, включающий `id`, `status` и `description` для каждого элемента.

10.6. Должен использоваться код 429 с заголовками для ограничения скорости

• `ДОЛЖЕН` использовать 429 (Too Many Requests) при превышении лимита запросов.
• `ДОЛЖЕН` включать заголовки `Retry-After` (с задержкой в секундах) или `X-RateLimit-Limit`, `X-RateLimit-Remaining`, `X-RateLimit-Reset` (время в секундах до сброса).

10.7. Должна поддерживаться проблема JSON

• `ДОЛЖЕН` поддерживать `Problem JSON` (RFC 9457, `application/problem+json`) для предоставления расширяемой информации об ошибках.
• Каждая конечная точка `ДОЛЖНА` быть способна возвращать `Problem JSON` для ошибок 4xx и 5xx.
• Клиенты `ДОЛЖНЫ` быть устойчивы и не зависеть от возврата `Problem JSON`.
• `МОЖЕТ` определять пользовательские типы проблем для более подробной информации об ошибках.
• Идентификаторы типов и экземпляров проблем `НЕ ПРЕДНАЗНАЧЕНЫ` для разрешения (`URI references`), но `МОГУТ` указывать на документацию.

10.8. Не должны раскрываться трассировки стека

• `НЕ ДОЛЖЕН` раскрывать трассировки стека в ответах, так как они содержат детали реализации, утечки конфиденциальной информации и информацию об уязвимостях.

10.9. Не следует использовать коды перенаправления

• `НЕ СЛЕДУЕТ` использовать коды перенаправления (кроме 304). Перенаправление трафика `ЛУЧШЕ` выполнять на уровне API (например, через обратный прокси) без участия клиента.
• Для идемпотентных `POST` запросов, где ресурс уже существует, `СЛЕДУЕТ` возвращать 200 с заголовком `Location`.
• Для неидемпотентных `POST` запросов, где ресурс не может быть создан повторно, `СЛЕДУЕТ` возвращать 409.

11. Основы REST – HTTP-заголовки

11.1. Использование стандартных определений заголовков

• `СЛЕДУЕТ` использовать стандартные определения HTTP-заголовков из руководства для упрощения API.
• Пример: `parameters` или `headers` в `components`.

11.2. Могут использоваться стандартные заголовки

• API `МОГУТ` использовать HTTP-заголовки, определенные не устаревшими RFC. Поддерживаемые заголовки `ДОЛЖНЫ` быть явно упомянуты в спецификации API.

11.3. Следует использовать kebab-case с прописными буквами для HTTP заголовков

• `СЛЕДУЕТ` использовать `kebab-case` с прописными буквами для первых букв каждого слова (например, `If-Modified-Since`, `Accept-Encoding`, `Content-ID`).
• Исключение: общепринятые сокращения, такие как `ID`.
• Заголовки HTTP нечувствительны к регистру, но это для согласованности.

11.4. Заголовки `Content-*` должны использоваться правильно

• `ДОЛЖЕН` правильно использовать заголовки `Content-*`, которые описывают содержимое тела сообщения и могут использоваться как в запросах, так и в ответах.
• Примеры: `Content-Disposition`, `Content-Encoding`, `Content-Length`, `Content-Language`, `Content-Location`, `Content-Range`, `Content-Type`.

11.5. Следует использовать заголовок `Location` вместо `Content-Location`

• `СЛЕДУЕТ` использовать заголовок `Location` вместо `Content-Location` для указания местоположения ресурса в ответах на создание или перенаправление.
• Это позволяет избежать сложностей и двусмысленности, связанных с `Content-Location`.

11.6. Может использоваться заголовок `Content-Location`

• `МОЖЕТ` использовать `Content-Location` в успешных операциях записи (`PUT`, `POST`, `PATCH`) и чтения (`GET`, `HEAD`) для управления кэшированием или указания фактического местоположения переданного ресурса.
• При использовании `Content-Location` `Content-Type` `ДОЛЖЕН` быть также установлен.

11.7. Может рассматриваться поддержка заголовка Prefer для управления предпочтениями обработки

• `МОЖЕТ` рассматривать поддержку заголовка `Prefer` (RFC 7240), который позволяет клиентам запрашивать желаемое поведение обработки с сервера (например, `respond-async`, `return=minimal`, `return=total-count`, `wait`, `handling=strict`).
• Поддержка `Prefer` является опциональной и `РЕКОМЕНДУЕТСЯ` по сравнению с проприетарными заголовками `X-`.

11.8. Может рассматриваться поддержка ETag вместе с заголовками If-Match / If-None-Match

• `МОЖЕТ` рассматривать поддержку заголовка `ETag` вместе с `If-Match` и `If-None-Match` для обнаружения конфликтов при конкурентных операциях обновления (`PUT`, `POST`, `PATCH`).
• `If-Match`: для проверки, соответствует ли версия обновляемой сущности запрошенному `ETag`. Если нет, возвращает 412.
• `If-None-Match`: для обнаружения конфликтов при создании ресурсов. Если найдена соответствующая сущность, возвращает 412.

11.9. Может рассматриваться поддержка заголовка Idempotency-Key

• `МОЖЕТ` рассматривать поддержку заголовка `Idempotency-Key` для обеспечения строгой идемпотентности (одинаковые ответы для повторных запросов) при создании или обновлении ресурсов.
• Клиент предоставляет уникальный ключ запроса, который временно хранится на сервере вместе с ответом.
• Ключи `ДОЛЖНЫ` иметь достаточную энтропию (например, UUID v4). Истекают через 24 часа.

11.10. Следует использовать только указанные проприетарные Zalando заголовки

• `СЛЕДУЕТ` избегать проприетарных HTTP-заголовков, но `МОЖЕТ` использовать разрешенные Zalando проприетарные заголовки для передачи общей, неспецифичной для бизнеса контекстной информации (например, `X-Flow-ID`, `X-Tenant-ID`, `X-Sales-Channel`, `X-Frontend-Type`, `X-Device-Type`, `X-Device-OS`, `X-Mobile-Advertising-ID`).
• Имена `ДОЛЖНЫ` начинаться с `X-` и использовать `dash-case`.
• Исключение: `X-RateLimit-*` заголовки.

11.11. Проприетарные заголовки должны распространяться

• Все проприетарные заголовки Zalando, определенные в 11.10, `ДОЛЖНЫ` распространяться по всей цепочке вызовов (end-to-end) без изменений.
• Значения `МОГУТ` влиять на результаты запросов.

11.12. Должен поддерживаться X-Flow-ID

• `ДОЛЖЕН` поддерживать `X-Flow-ID` в запросах RESTful API и поле `flow_id` в событиях.
• `X-Flow-ID` — это общий параметр для отслеживания потоков вызовов через систему и корреляции действий сервисов.
• Допустимые форматы: UUID (RFC-4122), base64 (RFC-4648), base64url (RFC-4648 Section 5), случайная строка (ASCII, макс. 128 символов).
• Сервисы `ДОЛЖНЫ` создавать новый `Flow-ID`, если он не предоставлен.
• Сервисы `ДОЛЖНЫ` распространять `Flow-ID` (передавать во все дальнейшие вызовы API и события, записывать в логи).

12. Проектирование REST – Гипермедиа

12.1. Должен использоваться уровень зрелости REST 2

• `ДОЛЖЕН` стремиться к хорошей реализации уровня зрелости REST 2 (использование HTTP-глаголов и кодов состояния).
• Это означает: `ДОЛЖЕН` избегать действий в URL, `ДОЛЖЕН` оставлять URL без глаголов, `ДОЛЖЕН` правильно использовать HTTP-методы, `СЛЕДУЕТ` использовать только наиболее распространенные коды состояния HTTP.

12.2. Может использоваться уровень зрелости REST 3 – HATEOAS

• `НЕ РЕКОМЕНДУЕТСЯ` реализовывать уровень зрелости REST 3 (HATEOAS) в общем случае, так как он добавляет сложность без явной ценности в контексте SOA Zalando.
• Основные опасения: HATEOAS не добавляет ценности для самоописания API в условиях API First; общие клиенты HATEOAS не работают на практике в SOA; спецификации OpenAPI не поддерживают HATEOAS в достаточной мере.
• `МОЖЕТ` использовать HATEOAS только в случае, если выявлена явная ценность, оправдывающая дополнительную сложность.

12.3. Должны использоваться общие элементы управления гипертекстом

• При встраивании ссылок на другие ресурсы в представления `ДОЛЖЕН` использовать общий объект `hypertext control`.
• Объект `ДОЛЖЕН` содержать как минимум атрибут `href`: URI ресурса, на который указывает ссылка (только HTTP(s)).
• Имя атрибута, содержащего `HttpLink` объект, `ДОЛЖНО` указывать на связь между ссылающимся и ссылаемым ресурсами.
• `СЛЕДУЕТ` использовать имена из IANA Link Relation Registry. Дефисы в IANA-именах `ДОЛЖНЫ` быть заменены на подчеркивания (`snake_case`).

12.4. Следует использовать простые элементы управления гипертекстом для пагинации и само-ссылок

• Для пагинации и само-ссылок `СЛЕДУЕТ` использовать упрощенную форму расширяемых общих гипертекстовых элементов управления, состоящую из простого URI-значения в сочетании с соответствующими отношениями ссылок (например, `next`, `prev`, `first`, `last`, `self`).

12.5. Для идентификации ресурсов должен использоваться полный, абсолютный URI

• Ссылки на другие ресурсы `ДОЛЖНЫ` всегда использовать полный, абсолютный URI.
• Это снижает сложность на стороне клиента и избегает двусмысленности с базовыми URI.

12.6. Не следует использовать заголовки ссылок с JSON-сущностями

• `НЕ ДОЛЖЕН` использовать заголовки `Link` (RFC 8288) в сочетании с JSON-носителями. Ссылки `ПРЕДПОЧТИТЕЛЬНЕЕ` встраивать непосредственно в JSON-нагрузку.

13. Проектирование REST – Производительность

13.1. Следует снижать потребность в пропускной способности и улучшать отзывчивость

• API `СЛЕДУЕТ` поддерживать методы для снижения пропускной способности и ускорения ответа, особенно для мобильных клиентов.
• Общие методы: gzip-сжатие, фильтрация полей, ETag (для условных запросов), заголовок `Prefer`, пагинация, кэширование мастер-данных.

13.2. Следует использовать gzip-сжатие

• Серверы и клиенты `СЛЕДУЕТ` поддерживать кодирование содержимого `gzip` для уменьшения передаваемых данных и ускорения ответа.
• Серверы `ДОЛЖНЫ` также поддерживать несжатый контент для тестирования.
• Спецификация API `СЛЕДУЕТ` определять `Accept-Encoding` и `Content-Encoding`.

13.3. Следует поддерживать частичные ответы через фильтрацию

• `СЛЕДУЕТ` поддерживать фильтрацию возвращаемых полей сущностей с помощью параметра запроса `fields`.
• Пример: `GET http://api.example.org/users/123?fields=(name,friends(name))`
• OpenAPI не поддерживает формальное описание различных схем, поэтому `СЛЕДУЕТ` документировать это в описании конечной точки.

13.4. Следует разрешать опциональное встраивание подресурсов

• `СЛЕДУЕТ` разрешать встраивание связанных ресурсов (расширение ресурсов) для уменьшения количества запросов, используя параметр запроса `embed`.
• Пример: `GET /order/123?embed=(items)`.

13.5. Должны быть документированы кэшируемые конечные точки GET, HEAD и POST

• Кэширование на стороне клиента и прозрачное веб-кэширование `СЛЕДУЕТ` избегать, если только сервис не требует его для самозащиты.
• По умолчанию, серверы и клиенты `ДОЛЖНЫ` устанавливать `Cache-Control: no-store`.
• Если кэширование требуется, `ДОЛЖЕН` документировать все кэшируемые конечные точки `GET`, `HEAD` и `POST` путем объявления поддержки заголовков `Cache-Control`, `Vary` и `ETag` в ответе.
• `Default Cache-Control`: `private`, `must-revalidate`, `max-age`.
• `Default Vary`: `accept`, `accept-encoding`.
• `РЕКОМЕНДУЕТСЯ` прикреплять кэш непосредственно к сервисной (или шлюзовой) слою приложения.

14. Проектирование REST – Пагинация

14.1. Должна поддерживаться пагинация

• `ДОЛЖНА` поддерживаться пагинация для доступа к спискам данных, чтобы защитить сервис от перегрузки и поддержать итерацию на стороне клиента.
• `ДОЛЖЕН` придерживаться общих имен параметров запроса (`offset`, `cursor`, `limit`).

14.2. Следует предпочитать пагинацию на основе курсоров, избегать пагинации на основе смещения

• `СЛЕДУЕТ` предпочитать пагинацию на основе курсоров из-за ее эффективности, особенно для больших объемов данных и NoSQL-баз данных.
• Курсор `ДОЛЖЕН` быть непрозрачной строкой для клиентов, шифрующей (или кодирующей) позицию страницы, направление и примененные фильтры запроса.

14.3. Следует использовать объект страницы ответа пагинации

• `СЛЕДУЕТ` использовать объект страницы ответа с полями `self`, `first`, `prev`, `next`, `last` (`uri|cursor`).
• `ДОЛЖЕН` включать поле `items` для содержимого страницы.
• `МОЖЕТ` включать поле `query` для примененных фильтров запроса, если используется `GET` с телом.

14.4. Следует использовать ссылки пагинации

• `СЛЕДУЕТ` поддерживать упрощенные гипертекстовые элементы управления в качестве стандартных ссылок пагинации (полные URL с параметрами).
• Пример: `{“self”: “https://my-service.zalandoapis.com/resources?cursor=”, ...}`.

14.5. Следует избегать общего количества результатов

• `СЛЕДУЕТ` избегать предоставления общего количества результатов в ответах пагинации, так как его расчет является дорогостоящей операцией.
• Если клиент действительно требует общее количество результатов, `МОЖЕТ` поддерживать это требование через заголовок `Prefer` с директивой `return=total-count`.

15. Проектирование REST – Совместимость

15.1. Обратная совместимость не должна нарушаться

• `ДОЛЖЕН` изменять API, сохраняя при этом работоспособность всех потребителей. API — это контракты, которые не могут быть нарушены в одностороннем порядке.
• Используйте совместимые расширения или новые версии API с поддержкой старых.

15.2. Следует предпочитать совместимые расширения

• `СЛЕДУЕТ` применять следующие правила:
  • Добавлять только опциональные, никогда не обязательные поля.
  • Никогда не изменять семантику полей.
  • Никогда не делать логику валидации более строгой.
  • Диапазоны перечислений (`enum`) могут быть уменьшены для входных параметров, если сервер поддерживает старые значения. Для выходных параметров `НЕ МОГУТ` быть расширены.
  • `СЛЕДУЕТ` использовать `x-extensible-enum` для перечислений, которые будут расширяться.

15.3. Следует проектировать API консервативно

• Разработчики `СЛЕДУЕТ` быть консервативными и точными в том, что они принимают от клиентов:
  • Неизвестные входные поля `НЕ СЛЕДУЕТ` игнорировать; серверы `СЛЕДУЕТ` возвращать 400.
  • `ДОЛЖЕН` быть точными в определении ограничений входных данных и возвращать специальные ошибки при их нарушении.
  • `ПРЕДПОЧТИТЕЛЬНО` быть более специфичным и ограничительным.

15.4. Клиенты должны быть готовы принимать совместимые расширения API

• Клиенты сервисов `ДОЛЖНЫ` применять принцип устойчивости:
  • Быть консервативными с запросами API и входными данными.
  • Быть толерантными при обработке и чтении данных ответов API: игнорировать новые поля в полезной нагрузке, не удалять их для последующих `PUT` запросов.
  • Быть готовыми к тому, что `x-extensible-enum` параметры могут возвращать новые значения; быть агностиками или предоставлять поведение по умолчанию для неизвестных значений.
  • Быть готовыми обрабатывать коды состояния HTTP, явно не указанные в определениях конечных точек.
  • Следовать перенаправлениям (301).

15.5. Спецификация OpenAPI должна по умолчанию рассматриваться как открытая для расширения

• `ДОЛЖЕН` рассматривать определения объектов OpenAPI как открытые для расширения по умолчанию (как в JSON-Schema 5.18 `additionalProperties`).
• Клиенты `НЕ ДОЛЖНЫ` предполагать, что объекты закрыты для расширения без `additionalProperties` и `ДОЛЖНЫ` игнорировать неизвестные поля.
• Серверы, получающие неожиданные данные, `СЛЕДУЕТ` отклонять запросы с неопределенными полями, чтобы сигнализировать клиентам, что эти поля не будут сохранены.
• Форматы API `НЕ ДОЛЖНЫ` объявлять `additionalProperties` как `false`.

15.6. Следует избегать версионирования

• `СЛЕДУЕТ` избегать создания дополнительных версий API.
• Если изменение API несовместимо, `СЛЕДУЕТ` создать новый ресурс (вариант), новый сервис или новую версию API.
• Настоятельно `РЕКОМЕНДУЕТСЯ` использовать первые два подхода.

15.7. Должно использоваться версионирование типа носителя

• Если версионирование API неизбежно, `ДОЛЖЕН` использовать версионирование типа носителя (`media type versioning`, например, `application/x.zalando.cart+json;version=2`).
• Это менее тесно связано и поддерживает согласование контента.
• Версионирование применяется только к схеме полезной нагрузки, а не к URI или семантике метода.
• `СЛЕДУЕТ` включать `Content-Type` в заголовок `Vary`.

15.8. Не следует использовать версионирование URL

• `НЕ ДОЛЖЕН` использовать версионирование URL (например, `/v1/customers`). Это приводит к более тесной связи и усложняет управление релизами. Вместо этого `ДОЛЖЕН` использовать версионирование типа носителя.

15.9. Всегда должны возвращаться JSON-объекты как структуры данных верхнего уровня

• `ДОЛЖЕН` всегда возвращать JSON-объект (а не массив) в качестве структуры данных верхнего уровня в теле ответа, чтобы обеспечить будущую расширяемость.
• Карты (`additionalProperties`), хотя и являются технически объектами, также `ЗАПРЕЩЕНЫ` как структуры верхнего уровня, поскольку они не поддерживают совместимые будущие расширения.

15.10. Следует использовать открытый список значений (x-extensible-enum) для типов перечислений

• `СЛЕДУЕТ` использовать `x-extensible-enum` для перечислений, которые, вероятно, будут расширяться.
• Это позволяет избежать проблем совместимости, присущих `enum` JSON-схемы (которые по определению являются закрытым набором значений).
• Клиенты `ДОЛЖНЫ` быть готовы к расширениям перечислений и реализовать запасное/поведение по умолчанию для неизвестных значений.

16. Проектирование REST – Устаревшая функциональность

16.1. Устаревшая функциональность должна быть отражена в спецификациях API

• `ДОЛЖЕН` установить `deprecated: true` для устаревших элементов (конечная точка, параметр, объект схемы, свойство схемы).
• Если планируется отключение, `ДОЛЖЕН` указать дату `sunset` и документировать альтернативы.

16.2. Должно быть получено одобрение клиентов перед отключением API

• `ДОЛЖЕН` убедиться, что все клиенты дали согласие на дату `sunset` перед отключением API, его версии или функции.
• `СЛЕДУЕТ` помогать клиентам с миграцией, предоставляя руководства.

16.3. Должно быть собрано согласие внешних партнеров на срок устаревания

• Если API используется внешними партнерами, владелец API `ДОЛЖЕН` определить разумный срок поддержки API после объявления об устаревании.
• Все внешние партнеры `ДОЛЖНЫ` выразить согласие с этим сроком.

16.4. Использование устаревшего API, запланированного к выводу из эксплуатации, должно отслеживаться

• Владельцы API `ДОЛЖНЫ` отслеживать использование API, запланированных к выводу из эксплуатации, для мониторинга прогресса миграции и избежания неконтролируемых сбоев.

16.5. Следует добавлять заголовки Deprecation и Sunset к ответам

• В течение фазы устаревания `СЛЕДУЕТ` добавлять заголовки `Deprecation: ` (или `true`) и `Sunset: ` к каждому ответу, затронутому устаревшим элементом.
• Это информирует клиентов о предстоящих изменениях.
• Пример: `Deprecation: Tue, 31 Dec 2024 23:59:59 GMT`, `Sunset: Wed, 31 Dec 2025 23:59:59 GMT`.

16.6. Следует добавлять мониторинг для заголовков Deprecation и Sunset

• Клиенты `СЛЕДУЕТ` отслеживать эти заголовки и создавать оповещения для планирования миграционных задач.

16.7. Не следует начинать использовать устаревшие API

• Клиенты `НЕ ДОЛЖНЫ` начинать использовать устаревшие API, версии API или функции API.

17. Операции REST

17.1. Спецификация OpenAPI должна быть опубликована для не-компонентных внутренних API

• Все сервисные приложения `ДОЛЖНЫ` публиковать спецификации OpenAPI своих внешних API.
• Публикация происходит путем копирования спецификации OpenAPI в зарезервированный каталог `/zalando-apis` артефакта развертывания.
• Это обеспечивает обнаружаемость API через API Portal Zalando.

17.2. Следует отслеживать использование API

• Владельцы API `СЛЕДУЕТ` отслеживать использование API в продакшене для получения информации о клиентах.
• Идентификация клиентов `СЛЕДУЕТ` осуществляться путем логирования `client-id` из токена OAuth.

18. Основы Событий – Типы Событий

18.1. События должны быть определены в соответствии с общими рекомендациями API

• События `ДОЛЖНЫ` быть согласованы с другими данными API и общими рекомендациями API (насколько это применимо).
• Большинство разделов руководства (Общие рекомендации, Основы REST – Форматы данных, Основы REST – JSON-нагрузка, Проектирование REST – Гипермедиа) применимы к обмену данными событий.

18.2. События должны рассматриваться как часть интерфейса сервиса

• События являются частью интерфейса сервиса с внешним миром, эквивалентной по значимости REST API сервиса.
• Сервисы, публикующие данные, `ДОЛЖНЫ` относиться к своим событиям как к первоочередной задаче проектирования (принцип “API First”).

18.3. Схема события должна быть доступна для просмотра

• Сервисы, публикующие данные событий, `ДОЛЖНЫ` предоставить схему события, а также определение типа события для просмотра.

18.4. События должны быть специфицированы и зарегистрированы как типы событий

• В архитектуре Zalando события регистрируются с использованием структуры, называемой `Event Type`.
• `Event Type` `ДОЛЖЕН` определять: категорию (общая, изменение данных), имя, аудиторию, владеющее приложение, схему полезной нагрузки, режим совместимости.
• Пример объекта `EventType` на основе OpenAPI представлен в исходном документе.

18.5. Должно соблюдаться соглашение об именовании типов событий

• Имена типов событий `ДОЛЖНЫ` (или `СЛЕДУЕТ`, в зависимости от аудитории) соответствовать функциональному именованию:
  • ` ::= .[.]`
  • Примеры: `transactions-order.order-cancelled`, `customer-personal-data.email-changed.v2`.
• `СЛЕДУЕТ` использовать согласованное именование, если одна и та же сущность представлена как событием изменения данных, так и RESTful API.

18.6. Должно быть указано владение типами событий

• Определения событий `ДОЛЖНЫ` иметь явное владение, указываемое через поле `owning_application` в `EventType`.

18.7. Режим совместимости должен быть тщательно определен

• Владельцы типов событий `ДОЛЖНЫ` уделять внимание выбору режима совместимости в `EventType` (`compatible`, `forward`, `none`).
• `none`: любые изменения схемы разрешены.
• `forward`: пользователи могут читать события с последней версией схемы, используя предыдущую версию.
• `compatible`: изменения должны быть полностью совместимы (только добавление новых опциональных свойств, запрещены другие изменения).

18.8. Схема события должна соответствовать объекту схемы OpenAPI

• `ДОЛЖЕН` использовать `Schema Object` из OpenAPI Specification для определения схем событий.
• `НЕ ДОЛЖЕН` использовать запрещенные ключевые слова `JSON Schema` (`additionalItems`, `contains`, `patternProperties`, `dependencies`, `propertyNames`, `const`, `not`, `oneOf`).
• `Schema Object` изменяет `additionalProperties` и добавляет `readOnly`, `discriminator`.

18.9. Следует избегать additionalProperties в схемах типов событий

• `СЛЕДУЕТ` избегать использования `additionalProperties` в схемах типов событий, чтобы поддерживать эволюцию схемы и обратную совместимость.
• Публиканты, стремящиеся обеспечить совместимость, `ДОЛЖНЫ` определять новые опциональные поля и обновлять свои схемы заранее.
• Потребители `ДОЛЖНЫ` игнорировать поля, которые они не могут обработать.

18.10. Должно использоваться семантическое версионирование схем типов событий

• Схемы событий `ДОЛЖНЫ` версионироваться аналогично REST API (`MAJOR.MINOR.PATCH`).
• Изменения в `compatible` или `forward` режиме приводят к `PATCH` или `MINOR` ревизии (major changes не разрешены).
• Изменения в `none` режиме могут привести к `PATCH`, `MINOR` или `MAJOR` изменениям.

19. Основы Событий – Категории Событий

19.1. Должно быть обеспечено соответствие событий категории событий

• `ДОЛЖЕН` обеспечить, чтобы события соответствовали предопределенной структуре категории (например, `GeneralEvent` или `DataChangeEvent`).
• `GeneralEvent`: общая категория, с полем `metadata`.
• `DataChangeEvent`: для изменений сущностей, с полями `metadata`, `data_op`, `data_type`, `data`.

19.2. Должны предоставляться обязательные метаданные события

• `ДОЛЖЕН` предоставлять `eid` (идентификатор события) и `occurred_at` (технический временной штамп создания события производителем) в метаданных события.
• Другие поля (`received_at`, `version`, `parent_eids`, `flow_id`, `partition`) могут быть обогащены посредниками.

19.3. Должны предоставляться уникальные идентификаторы событий

• `ДОЛЖЕН` предоставлять `eid` как уникальный идентификатор для события в пределах его типа/потока.
• Производители `ДОЛЖНЫ` использовать тот же `eid` при повторной публикации того же объекта события.
• `eid` поддерживает потребителей событий в обнаружении и устойчивости к дубликатам.

19.4. Общие события должны использоваться для сигнализации шагов в бизнес-процессах

• При публикации событий, представляющих шаги в бизнес-процессе, типы событий `ДОЛЖНЫ` основываться на категории `General Event`.
• `ДОЛЖЕН` содержать специфический идентификатор процесса (bp-id) и средства для корректного упорядочивания.
• `ДОЛЖЕН` публиковать событие надежно.

19.5. Следует обеспечивать явный порядок событий для общих событий

• `СЛЕДУЕТ` предоставлять явную информацию о деловом порядке событий для общих событий.
• `ДОЛЖЕН` указывать свойство `ordering_key_fields` и `СЛЕДУЕТ` `ordering_instance_ids` в определении типа события.
• Строго монотонно возрастающие версии сущностей или последовательные счетчики `МОГУТ` использоваться для упорядочивания.

19.6. События изменения данных должны использоваться для сигнализации мутаций

• `ДОЛЖЕН` использовать события изменения данных для сигнализации изменений экземпляров сущностей и содействия захвату измененных данных (CDC).
• События `ДОЛЖНЫ` предоставлять полные данные сущности, включая идентификатор измененного экземпляра.
• `ДОЛЖЕН` обеспечивать явный порядок событий для событий изменения данных.
• `ДОЛЖЕН` публиковать события надежно.

19.7. Должен быть обеспечен явный порядок событий для событий изменения данных

• `ДОЛЖЕН` предоставлять информацию об упорядочивании для событий изменения данных, так как она критически важна для поддержания синхронизации транзакционных наборов данных (CDC).
• Эта информация определяет порядок создания, обновления и удаления экземпляров данных.
• Исключение: если транзакционные данные только добавляются (append only).

19.8. Следует использовать стратегию хэш-секционирования для событий изменения данных

• `СЛЕДУЕТ` использовать стратегию хэш-секционирования для событий изменения данных.
• Это позволяет всем связанным событиям для сущности быть последовательно назначенными одному разделу, обеспечивая относительно упорядоченный поток событий для этой сущности.
• Ключ секционирования `ПОЧТИ ВСЕГДА` `ДОЛЖЕН` представлять изменяемую сущность.

20. Проектирование Событий

20.1. Следует избегать записи конфиденциальных данных в событиях

• `СЛЕДУЕТ` избегать записи конфиденциальных данных (например, персональных данных) в событиях, если это не требуется для бизнеса.
• Конфиденциальные данные создают дополнительные обязательства по контролю доступа и соответствию нормативным требованиям, увеличивая риски защиты данных.

20.2. Должна быть устойчивость к дубликатам при потреблении событий

• Потребители событий `ДОЛЖНЫ` быть устойчивы к дубликатам событий (несколько вхождений одного и того же объекта события).
• Устойчивость может включать дедупликацию, основанную на `eid` и информации об упорядочивании изменения данных (CDC).
• Источники дубликатов: повторные попытки публикации, сбои, “at-least-once” доставка.

20.3. Следует проектировать для идемпотентной обработки вне порядка

• События, разработанные для идемпотентной обработки вне порядка, `СЛЕДУЕТ` проектировать так, чтобы они содержали достаточно информации для восстановления их исходного порядка или чтобы порядок становился неактуальным.
• Это позволяет пропускать, задерживать или повторять обработку событий без порчи результата.

20.4. Должно быть обеспечено определение полезных бизнес-ресурсов событиями

• События `ДОЛЖНЫ` определять полезные бизнес-ресурсы, основанные на предметной области сервиса и ее естественном жизненном цикле.
• `СЛЕДУЕТ` определять типы событий, достаточно абстрактные/общие, чтобы быть ценными для нескольких сценариев использования.

20.5. Следует обеспечивать соответствие событий изменения данных ресурсам API

• Представление сущности в событии изменения данных `СЛЕДУЕТ` соответствовать представлению в REST API.
• Это уменьшает количество публикуемых структур и упрощает поддержку API.
• Исключения: сильно отличающиеся представления от хранилища данных, агрегированные данные, результаты вычислений.

20.6. Должна поддерживаться обратная совместимость для событий

• Изменения в событиях `ДОЛЖНЫ` быть основаны на аддитивных и обратно совместимых изменениях.
• Обратно совместимые изменения: добавление опциональных полей, изменение порядка полей, удаление опциональных полей, удаление значений из перечисления, добавление новых значений в `x-extensible-enum`.
• Обратно несовместимые изменения: удаление обязательных полей, изменение значений по умолчанию, изменение типов полей, добавление значений в обычное перечисление.

---

Приложения: Разделы остаются без изменений, так как они ссылаются на внешние ресурсы и инструментарий, которые не были частью критического анализа содержания.

• Приложение A: Ссылки
• Приложение B: Инструментарий
• Приложение C: Лучшие практики
• Приложение D: Журнал изменений (текущий Changelog из оригинального документа)

---

Итог:

В ходе данного анализа и обновления “Zalando RESTful API and Event Guidelines” была проведена систематическая работа по пересмотру и улучшению исходного документа. Основные цели заключались в устранении двусмысленностей, обеспечении соответствия современным тенденциям в проектировании API и повышении общей читаемости и применимости руководства.

Ключевым изменением, отражающим современные практики и обеспечивающим лучшую совместимость с широко используемыми языками программирования и инструментами, стало `РЕКОМЕНДАЦИЯ` использования `camelCase` для имен свойств в JSON-нагрузке, вместо ранее предписанного `snake_case`. Это решение было тщательно обосновано с учетом удобства разработки и консистентности с глобальными стандартами. Хотя это отступление от одной из конкретных конвенций исходного документа, оно полностью соответствует его духу “API как продукта” и направлено на улучшение опыта разработчиков.

Кроме того, были уточнены и усилены правила, касающиеся:

• HTTP-статусов: Более детальный и выборочный подход к использованию HTTP-кодов, отдавая предпочтение наиболее распространенным и понятным.
• Идемпотентности: Расширенное рассмотрение различных подходов к обеспечению идемпотентности для `POST` и `PATCH` операций, включая заголовки `Idempotency-Key`.
• Безопасности: Четкие указания по работе со скоупами и защите конечных точек.
• Версионирования: Подтверждение предпочтения версионирования через `media type` и категорический отказ от версионирования URL.
• Обработки ошибок: Настоятельная рекомендация использовать `Problem JSON` (RFC 9457) для стандартизированного и расширяемого представления ошибок.
• Событий: Дополнительные пояснения и уточнения по проектированию, совместимости и структуре типов событий, а также по обработке дубликатов.

Это обновленное руководство представляет собой более зрелый и всеобъемлющий документ, который, как ожидается, будет служить надежным ориентиром для проектирования и разработки высококачественных, масштабируемых и удобных в использовании API и систем событий в Zalando. Оно сохраняет основные принципы и ценности исходного документа, одновременно адаптируясь к меняющимся требованиям и лучшим практикам индустрии. Дальнейшее периодическое обновление и итеративное улучшение будут способствовать поддержанию его актуальности и эффективности.

Ranger vs. OPA: Битва архитектур... и почему OPAL меняет правила игры

● Ranger has a fixed development model
● To add new systems you need to write new modules,
compile and roll out Ranger
● OPA is all REST
● Basically everything is configuration
● We can build the 80% abstraction layer easily
● Anybody else -> they can build whatever extra they need -> in config!

В мире современных распределённых систем управление доступом (авторизация) — одна из самых сложных и критически важных задач. Компании постоянно ищут баланс между безопасностью, гибкостью и скоростью разработки. Начальные тезисы были абсолютно точны:

У Ranger фиксированная модель разработки. Чтобы добавить поддержку новых систем, нужно писать новые модули. [...] OPA полностью построен на REST. По сути, всё является конфигурацией. [...] Мы можем создать 80% абстракции, а остальные сами допишут всё, что нужно, через конфиг!

Это сравнение описывает переход от традиционной, монолитной архитектуры к современной, микросервисной. Однако история неполная без третьего ключевого элемента — OPAL, который решает фундаментальную проблему OPA при масштабировании.

Давайте рассмотрим все три компонента по порядку.

1. “Классический” подход: Apache Ranger

Apache Ranger — это зрелая и мощная система для централизованного управления политиками безопасности в экосистеме больших данных (Hadoop, Hive, Kafka и т.д.).

• Как это работает: Ranger работает по принципу “сервер + плагины”. Центральный сервер хранит все политики доступа. В каждую защищаемую систему (например, в Hive) устанавливается специальный плагин, который периодически опрашивает сервер Ranger, скачивает актуальные политики и кэширует их для быстрой проверки доступа.

• Сильные стороны:
  • Централизация: Единый центр для аудита и управления доступом.
  • Мощность: Глубокая интеграция с поддерживаемыми системами (например, безопасность на уровне колонок в Hive).

• Слабые стороны (те самые “фиксированные модели разработки”):
  • Негибкость: Поддержка новой системы, не входящей в стандартный набор, требует написания плагина на Java, компиляции и развертывания новой версии Ranger. Это медленно и требует узкой экспертизы.
  • “Бутылочное горлышко”: Все изменения проходят через центральную команду, что замедляет продуктовые команды.
  • Не для микросервисов: Этот подход плохо подходит для динамичного мира микросервисов, где новые сервисы появляются каждый день.

Аналогия: Ranger — это как служба безопасности крупного завода, которая работает только со стандартными станками этого завода. Если вы покупаете новый станок из-за границы, вам нужно написать для службы безопасности целую новую инструкцию и переобучить персонал.

2. “Гибкий” подход: Open Policy Agent (OPA)

OPA — это универсальный движок политик с открытым исходным кодом. Его философия прямо противоположна Ranger. OPA ничего не знает о тех, кого он защищает.

• Как это работает:
  1. Ваш сервис, получив запрос, формирует JSON-документ с контекстом (`{“user”: “alice”, “action”: “read”, “resource”: “document”}`).
  2. Он отправляет этот JSON в OPA через простой REST API-вызов.
  3. OPA применяет к этому JSON’у правила, написанные на языке Rego, и мгновенно возвращает решение: `allow` или `deny`.

• Сильные стороны:
  • Универсальность: OPA может управлять доступом к чему угодно — микросервисам, Kubernetes, конвейерам CI/CD, базам данных.
  • Policy-as-Code: Политики на Rego — это код. Их можно хранить в Git, версионировать, тестировать и автоматически развертывать.
  • Децентрализация: OPA обычно развертывается как “сайдкар”-контейнер рядом с каждым экземпляром сервиса, что обеспечивает низкую задержку и высокую отказоустойчивость.

• Проблема, которую OPA создает:
  Представьте, у вас 500 микросервисов, и рядом с каждым работает свой экземпляр OPA. Возникают вопросы:
• Как доставить обновление политики во все 500 экземпляров OPA одновременно?
• Откуда OPA возьмет данные для принятия решений (например, список ролей пользователя или владельцев документа)? Если каждый из 500 экземпляров OPA будет сам ходить в базу данных, это создаст колоссальную нагрузку.

Здесь на сцену выходит OPAL.

3. “Связующее звено”: OPAL (Open Policy Administration Layer)

OPAL — это не еще один движок политик. Это административный слой реального времени для OPA. Его единственная задача — поддерживать политики и данные в ваших OPA-агентах в актуальном состоянии.

• Как это работает (OPA + OPAL):**
  1. Политики (Rego-файлы) хранятся в Git-репозитории. Данные (роли, атрибуты) — в базах данных или API.
  2. OPAL Server подписывается на изменения в этих источниках (например, через веб-хуки из Git или топики Kafka).
  3. Когда происходит изменение (например, разработчик пушит новую политику в Git), OPAL Server получает уведомление.
  4. Сервер немедленно публикует сообщение об обновлении в легковесный канал (pub/sub, обычно через WebSockets).
  5. OPAL Clients, работающие рядом с каждым OPA, получают это сообщение.
  6. Клиенты сами скачивают нужные обновления (новую политику из Git, свежие данные из БД) и загружают их в свой локальный OPA.

• Что это дает:
  • Обновления в реальном времени: Изменение политики в Git моментально распространяется по всей системе.
  • Событийная архитектура: Нет необходимости постоянно опрашивать источники. Это очень эффективно.
  • Полное разделение: OPA отвечает только за принятие решений. OPAL — за доставку “знаний” для этих решений.
  • Масштабируемость: Эта архитектура легко управляет тысячами OPA-агентов, решая проблему синхронизации.
  • Завершение истории GitOps: Вы управляете доступом ко всей вашей инфраструктуре через `git push`, что полностью соответствует исходному тезису: “всё является конфигурацией”. medium.com

---

Итоговое сравнение

Критерий	Apache Ranger	OPA (самостоятельно)	OPA + OPAL (Современный стек)
Архитектура	Монолитный сервер + плагины	Децентрализованный движок политик	Децентрализованный движок + слой управления реального времени
Процесс обновления	Код -> Компиляция -> Развертывание	Ручная загрузка политик через API	`git push` -> Автоматическое распространение
Гибкость	Низкая (только для поддерживаемых систем)	Очень высокая (универсальный)	Очень высокая + управляемость в масштабе
Управление данными	Встроено	Требует самостоятельного решения	Встроено в архитектуру (OPAL следит за данными)
Масштабируемость	Масштабируется, но обновления медленные	Плохо масштабируется с точки зрения управления	Отлично масштабируется
Подход	Классический, централизованный	`Policy-as-Code`, но неполный	`Policy-as-Code` + `GitOps`, событийно-ориентированный

Вывод

Возвращаясь к исходным тезисам, становится ясно, что их автор описывал потенциал OPA. Однако чтобы этот потенциал раскрылся в крупной организации, необходима система, которая возьмет на себя рутинную, но критически важную работу по синхронизации.

• Ranger — это мощный, но неповоротливый инструмент из прошлого, идеальный для статичных, гомогенных сред.
• OPA — это гениально простой и гибкий движок, сердце современной авторизации.
• OPAL — это нервная система, которая соединяет это сердце с “мозгом” (Git, базы данных) и позволяет всему организму (вашим микросервисам) реагировать на изменения мгновенно.

Современный, масштабируемый и по-настоящему гибкий “слой абстракции”, о котором говорилось в начале, строится именно на связке OPA + OPAL. Это позволяет создавать платформу, ценность которой, как и было сказано, “заключается в способности объединять внешние инструменты, команды, данные и процессы”.

Еще было это: https://gavrilov.info/all/evolyuciya-upravleniya-dostupom-opa-opal-vs-fga-rbac-rebac/