Welcome to my personal place for love, peace and happiness 🤖

Tag: Data Engineer

Later Ctrl + ↑

Утиные истории с DuckDB 🦆

1. DuckDB для потоковой обработки данных https://github.com/turbolytics/sql-flow

 No comments   7 mo   Data   Data Engineer   DuckDB

Тем временем в Apache Seatunnel появился конектор к blockchain

https://seatunnel.apache.org/docs/2.3.10/connector-v2/source/Web3j

 No comments   7 mo   big data   blockchain   Data   Data Engineer

DeepSeek R1 × SeaTunnel: интеграция данных следующего поколения

перевод: DeepSeek R1 × SeaTunnel: Лидерство в революции интеллектуальной интеграции данных следующего поколения

 No comments   9 mo   big data   Data   Data Engineer

DolphinScheduler and SeaTunnel vs AirFlow and NiFi

В современную эпоху, где данные играют ключевую роль, предприятия сталкиваются с растущими потребностями в обработке данных и управлении рабочими процессами

 No comments   10 mo   big data   Data Engineer   Data Governance

Интеграция данных на базе SeaTunnel: Как 58.com обрабатывает более 500 млрд датасетов ежедневно

Перевод: https://dev.to/seatunnel/seatunnel-powered-data-integration-how-58-group-handles-over-500-billion-data-points-daily-3d1m

 No comments   12 mo   big data   Data   Data Engineer   Open Source

Запуск Kafka на s3

Оригинал: https://medium.com/thedeephub/how-do-we-run-kafka-100-on-the-object-storage-521c6fec6341

 No comments   2024   Data Engineer   Kafka

Нет, инженерам по обработке данных не НУЖЕН dbt

Оригинал: https://blog.det.life/no-data-engineers-dont-need-dbt-30573eafa15e

 No comments   2024   Data   Data Engineer   Data Quality

Хроники Apache SeaTunnel

Давно откопал этого китайского друга уже успело выйти пару версий. Не могу сказать, что хорошо с ним знаком, но чем то он меня по прежнему манит, то ли своей солидностью гибкой архитектуры

 No comments   2024   big data   Data Engineer   Data Mesh
Earlier Ctrl + ↓