Welcome to my personal place for love, peace and happiness❣️

Tag: big data

26 posts   See also:  Data Engineer   Data   Open Source   Data Mesh   Trino

Как Apache DolphinScheduler решает проблемы обработки данных для Bosch Smart Driving

Оригинал: https://apachedolphinscheduler.substack.com/p/how-apache-dolphinscheduler-conquers

 No comments   2 d   big data   Data   Open Source

Интеграция данных на базе SeaTunnel: Как 58.com обрабатывает более 500 млрд датасетов ежедневно

Перевод: https://dev.to/seatunnel/seatunnel-powered-data-integration-how-58-group-handles-over-500-billion-data-points-daily-3d1m

 No comments   26 d   big data   Data   Data Engineer   Open Source

Хроники Apache SeaTunnel

Давно откопал этого китайского друга уже успело выйти пару версий. Не могу сказать, что хорошо с ним знаком, но чем то он меня по прежнему манит, то ли своей солидностью гибкой архитектуры

 No comments   3 mo   big data   Data Engineer   Data Mesh

Airflow 2.10

Введение Саммит Airflow не за горами (10–12 сентября), и поэтому время было идеальным для нового важного релиза Airflow

 No comments   3 mo   big data   Data   Data Engineer   Open Source

Databricks открыли код Unity Catalog

Знали ли вы, что Databricks открыли код Unity Catalog? Если нет, вас можно понять. В конце концов, в ту же неделю, когда это было объявлено на Databricks Data + AI Summit

 No comments   3 mo   big data   Data   Data Engineer

DuckDB + Attached postgres

Давно уже прошел вебинар про DuckDB, а я еще обещал ответить на вопросы

 No comments   3 mo   big data   Data   Data Engineer

Почему мы перешли с Dremio на Trino

В нашей постоянно развивающейся индустрии данных, выбор правильного инструмента может существенно повлиять на эффективность и гибкость работы

 No comments   5 mo   big data   Data Mesh   Trino

Lance — современный колоночный формат данных для ML

🌟 Lance — современный колоночный формат данных для ML-приложений, реализованный на Rust

 No comments   5 mo   AI   big data

Как Binance строил 100PB сервис для обработки логов на Quickwit

Оригинал: https://quickwit.io/blog/quickwit-binance-story

 No comments   5 mo   big data   Quickwit

Data Products Starburst Special Edition

Новая книга по теме “Продукты данных” на основе исходного текста с комментариями GPT

 No comments   6 mo   big data   Data   Data Mesh   Data Products

Databricks откроет исходные коды Unity Catalog

Оригинал: https://www.datanami.com/2024/06/12/databricks-to-open-source-unity-catalog/

 No comments   6 mo   big data

Подробное руководство по установке и настройке SeaTunnel и SeaTunnel-Web на CentOS 7.x

Оригинал: https://apacheseatunnel.medium.com/comprehensive-guide-to-installing-and-configuring-seatunnel-and-seatunnel-web-on-centos-7-x-d98827edf2fc

 No comments   10 mo   big data   Data Engineer

Оценка качества данных: Следующий этап обеспечения качества данных в Airbnb

https://medium.com/airbnb-engineering/data-quality-score-the-next-chapter-of-data-quality-at-airbnb-851dccda19c3

 No comments   11 mo   big data   Data Governance   Data Quality
Earlier Ctrl + ↓