А это перспективная платформа для анализа – databend

Wed, 18 Oct 2023 21:30:46 +0300

Почти убийца snowflake :)

> bendsql --query='INSERT INTO test_books VALUES;' --format=csv --data=@- <books.csv

> bendsql \
    --query='INSERT INTO ontime VALUES;' \
    --format=csv \
    --format-opt="compression=gzip" \
    --format-opt="skip_header=1" \
    --set="presigned_url_disabled=1" \
    --data=@ontime.csv.gz

> bendsql \
    --query='REPLACE INTO sample VALUES;' \
    --format=csv \
    --format-opt="compression=auto" \
    --format-opt="skip_header=0" \
    --format-opt="field_delimiter=," \
    --format-opt="record_delimiter=\n" \
    --data="@sample.csv.xz"

SELECT *  FROM 's3://databend-toronto' 
(
 access_key_id => '<your-access-key-id>', 
 secret_access_key => '<your-secret-access-key>',
 endpoint_url => 'https://databend-toronto.s3.us-east-2.amazonaws.com',
 region => 'us-east-2',
 files => ('books.parquet')
);

Использует Datafusion в качестве движка.

Скачать можно тут: https://databend.rs/doc/deploy/deploying-databend
В платной версии есть расчетные колонки и маскирование данных, в остальном бесплатно.

Yuriy Gavrilov: posts tagged databend

А это перспективная платформа для анализа – databend