Welcome to my personal place for love, peace and happiness 🤖

Tag: Data Engineer

Later Ctrl + ↑

DeepSeek R1 × SeaTunnel: интеграция данных следующего поколения

перевод: DeepSeek R1 × SeaTunnel: Лидерство в революции интеллектуальной интеграции данных следующего поколения

 No comments   7 mo   big data   Data   Data Engineer

DolphinScheduler and SeaTunnel vs AirFlow and NiFi

В современную эпоху, где данные играют ключевую роль, предприятия сталкиваются с растущими потребностями в обработке данных и управлении рабочими процессами

 No comments   8 mo   big data   Data Engineer   Data Governance

Интеграция данных на базе SeaTunnel: Как 58.com обрабатывает более 500 млрд датасетов ежедневно

Перевод: https://dev.to/seatunnel/seatunnel-powered-data-integration-how-58-group-handles-over-500-billion-data-points-daily-3d1m

 No comments   10 mo   big data   Data   Data Engineer   Open Source

Запуск Kafka на s3

Оригинал: https://medium.com/thedeephub/how-do-we-run-kafka-100-on-the-object-storage-521c6fec6341

 No comments   1 y   Data Engineer   Kafka

Нет, инженерам по обработке данных не НУЖЕН dbt

Оригинал: https://blog.det.life/no-data-engineers-dont-need-dbt-30573eafa15e

 No comments   1 y   Data   Data Engineer   Data Quality

Хроники Apache SeaTunnel

Давно откопал этого китайского друга уже успело выйти пару версий. Не могу сказать, что хорошо с ним знаком, но чем то он меня по прежнему манит, то ли своей солидностью гибкой архитектуры

 No comments   1 y   big data   Data Engineer   Data Mesh

Airflow 2.10

Введение Саммит Airflow не за горами (10–12 сентября), и поэтому время было идеальным для нового важного релиза Airflow

 No comments   2024   big data   Data   Data Engineer   Open Source

Databricks открыли код Unity Catalog

Знали ли вы, что Databricks открыли код Unity Catalog? Если нет, вас можно понять. В конце концов, в ту же неделю, когда это было объявлено на Databricks Data + AI Summit

 No comments   2024   big data   Data   Data Engineer
Earlier Ctrl + ↓