Welcome to my personal place for love, peace and happiness 🤖

Tag: big data

Later Ctrl + ↑

Интеграция данных на базе SeaTunnel: Как 58.com обрабатывает более 500 млрд датасетов ежедневно

Перевод: https://dev.to/seatunnel/seatunnel-powered-data-integration-how-58-group-handles-over-500-billion-data-points-daily-3d1m

 No comments   10 mo   big data   Data   Data Engineer   Open Source

Хроники Apache SeaTunnel

Давно откопал этого китайского друга уже успело выйти пару версий. Не могу сказать, что хорошо с ним знаком, но чем то он меня по прежнему манит, то ли своей солидностью гибкой архитектуры

 No comments   1 y   big data   Data Engineer   Data Mesh

Airflow 2.10

Введение Саммит Airflow не за горами (10–12 сентября), и поэтому время было идеальным для нового важного релиза Airflow

 No comments   2024   big data   Data   Data Engineer   Open Source

Databricks открыли код Unity Catalog

Знали ли вы, что Databricks открыли код Unity Catalog? Если нет, вас можно понять. В конце концов, в ту же неделю, когда это было объявлено на Databricks Data + AI Summit

 No comments   2024   big data   Data   Data Engineer

DuckDB + Attached postgres

Давно уже прошел вебинар про DuckDB, а я еще обещал ответить на вопросы

 No comments   2024   big data   Data   Data Engineer

Почему мы перешли с Dremio на Trino

В нашей постоянно развивающейся индустрии данных, выбор правильного инструмента может существенно повлиять на эффективность и гибкость работы

 No comments   2024   big data   Data Mesh   Trino

Lance — современный колоночный формат данных для ML

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust

 No comments   2024   AI   big data

Как Binance строил 100PB сервис для обработки логов на Quickwit

Оригинал: https://quickwit.io/blog/quickwit-binance-story

 No comments   2024   big data   Quickwit

Data Products Starburst Special Edition

Новая книга по теме “Продукты данных” на основе исходного текста с комментариями GPT

 No comments   2024   big data   Data   Data Mesh   Data Products

Databricks откроет исходные коды Unity Catalog

Оригинал: https://www.datanami.com/2024/06/12/databricks-to-open-source-unity-catalog/

 No comments   2024   big data
Earlier Ctrl + ↓