Welcome to my personal place for love, peace and happiness❣️

Tag: big data

28 posts   See also:  Data Engineer   Data   Open Source   Data Mesh   Trino

Поможет ли A-Tune оптимизировать Trino?

Детали тут и примеры: https://habr.com/ru/companies/astralinux/articles/870074/

 No comments   6 d   big data   Linux

DolphinScheduler and SeaTunnel vs AirFlow and NiFi

В современную эпоху, где данные играют ключевую роль, предприятия сталкиваются с растущими потребностями в обработке данных и управлении рабочими процессами

 No comments   8 d   big data   Data Engineer   Data Governance

Как Apache DolphinScheduler решает проблемы обработки данных для Bosch Smart Driving

Оригинал: https://apachedolphinscheduler.substack.com/p/how-apache-dolphinscheduler-conquers

 No comments   1 mo   big data   Data   Open Source

Интеграция данных на базе SeaTunnel: Как 58.com обрабатывает более 500 млрд датасетов ежедневно

Перевод: https://dev.to/seatunnel/seatunnel-powered-data-integration-how-58-group-handles-over-500-billion-data-points-daily-3d1m

 No comments   1 mo   big data   Data   Data Engineer   Open Source

Хроники Apache SeaTunnel

Давно откопал этого китайского друга уже успело выйти пару версий. Не могу сказать, что хорошо с ним знаком, но чем то он меня по прежнему манит, то ли своей солидностью гибкой архитектуры

 No comments   4 mo   big data   Data Engineer   Data Mesh

Airflow 2.10

Введение Саммит Airflow не за горами (10–12 сентября), и поэтому время было идеальным для нового важного релиза Airflow

 No comments   4 mo   big data   Data   Data Engineer   Open Source

Databricks открыли код Unity Catalog

Знали ли вы, что Databricks открыли код Unity Catalog? Если нет, вас можно понять. В конце концов, в ту же неделю, когда это было объявлено на Databricks Data + AI Summit

 No comments   4 mo   big data   Data   Data Engineer

DuckDB + Attached postgres

Давно уже прошел вебинар про DuckDB, а я еще обещал ответить на вопросы

 No comments   4 mo   big data   Data   Data Engineer

Почему мы перешли с Dremio на Trino

В нашей постоянно развивающейся индустрии данных, выбор правильного инструмента может существенно повлиять на эффективность и гибкость работы

 No comments   6 mo   big data   Data Mesh   Trino

Lance — современный колоночный формат данных для ML

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust

 No comments   6 mo   AI   big data

Как Binance строил 100PB сервис для обработки логов на Quickwit

Оригинал: https://quickwit.io/blog/quickwit-binance-story

 No comments   6 mo   big data   Quickwit

Data Products Starburst Special Edition

Новая книга по теме “Продукты данных” на основе исходного текста с комментариями GPT

 No comments   7 mo   big data   Data   Data Mesh   Data Products

Databricks откроет исходные коды Unity Catalog

Оригинал: https://www.datanami.com/2024/06/12/databricks-to-open-source-unity-catalog/

 No comments   7 mo   big data
Earlier Ctrl + ↓