А это перспективная платформа для анализа – databend
Почти убийца snowflake :)
> bendsql --query='INSERT INTO test_books VALUES;' --format=csv --data=@- <books.csv
> bendsql \
--query='INSERT INTO ontime VALUES;' \
--format=csv \
--format-opt="compression=gzip" \
--format-opt="skip_header=1" \
--set="presigned_url_disabled=1" \
--data=@ontime.csv.gz
> bendsql \
--query='REPLACE INTO sample VALUES;' \
--format=csv \
--format-opt="compression=auto" \
--format-opt="skip_header=0" \
--format-opt="field_delimiter=," \
--format-opt="record_delimiter=\n" \
--data="@sample.csv.xz"
SELECT * FROM 's3://databend-toronto'
(
access_key_id => '<your-access-key-id>',
secret_access_key => '<your-secret-access-key>',
endpoint_url => 'https://databend-toronto.s3.us-east-2.amazonaws.com',
region => 'us-east-2',
files => ('books.parquet')
);
Использует Datafusion в качестве движка.
Скачать можно тут: https://databend.rs/doc/deploy/deploying-databend
В платной версии есть расчетные колонки и маскирование данных, в остальном бесплатно.