Все вроде не сложно, но вот наименование точек оказалось самым сложным)

import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv('https://a.gavrilov.info/data/python/file.csv')
df.iloc[:, 6] = df.iloc[:, 6].str.replace('$','',regex=True)
df.iloc[:, 5] = df.iloc[:, 5].str.replace('$','',regex=True)
df.iloc[:, 5] = df.iloc[:, 5].astype(float)
df.iloc[:, 6] = df.iloc[:, 6].astype(float)
fig, ax = plt.subplots(figsize=(10, 6))
ax.scatter(x = df["Cheapest 1GB for 30 days (USD)"], y = df["Most expensive 1GB (USD)"])
for idx, row in df.iterrows():
 ax.annotate(row['Name'], (row['Cheapest 1GB for 30 days (USD)'], row['Most expensive 1GB (USD)']))
plt.show()

Это одно из заданий, которые встречаются на курсах по питону.

Файл данных тут: https://a.gavrilov.info/data/python/file.csv, это затраты на интернет в разных странах.

А задание само такое: “Построим: диаграмму рассеяния по столбцам таблицы ‘Cheapest 1GB for 30 days (USD)’ и ‘Most Expensive 1GB (USD)’. В какой стране есть Интеренет стоимостью почти 800 за Гб, если верить таблице?”

После долгого поиска все же нашел хороший сервис для IPFS хостинга.
Сделал себе редирект на адресах gavrilov.eth.link суды. Не знаю зачем, но прикольно)

https://fleek.co, (или можно этот, но его я не пробовал https://dappling.network, ничего сказать не могу)

Предварительно конечно заморочился собственным хостингом на своей ноде IPFS, но это оказалось чуть сложнее. Публичные шлюзы никак не хотели видеть мой контент опубликованный и запиненый.

В общем с fleek это оказалось проще и бесплатно.

Это может пригодится: https://towardsdatascience.com/decentralizing-your-website-f5bca765f9ed

Настроил себе тут DNSSEC, теперь все по феншую 😁

Проверить свой можно тут: https://dnssec-analyzer.verisignlabs.com

И тут https://a.gavrilov.info еще кстати настроил безопасный коннект и tls. Пришлось сменить dns провайдера так как в России не нашел тех кто поддерживает DNSSEC.

А еще вот нашел табличку сравнения DNS на Хабре.
https://docs.google.com/spreadsheets/d/1AIlKX6xdvqXKou6kzspskn4pfu8bo-oYan2JaN6PVbI/edit#gid=2057868417

Я выбрал https://developers.cloudflare.com/dns/dnssec/, все оказалось проще простого.
Включаем настройку, берем ключ DS и вставляем его у регистратора.

Давно уже писал статью о создании ноды https://gavrilov.info/all/node-storj-created/.
Можно подвести некоторый итог. Одну ноду я потерял из за проблем с ssd кэшем для диска asustor.
Поставил две планки ssd m2 по 120гб для кэша, а он видимо не выдержал нагрузки. Где то в марте потерял одну планку, а через неделю другую. Понятное дело raid рассыпался и данные вместе с ним. Восстанавливать данные помогали ребята из https://rlab.ru, все сделали качественно, прочитали диски, скопировали данные. Но так как их очень много, процесс занял неделю примерно и около 60т руб. Папку с арендованными данными было решено похоронить т.к. ее восстановление заняло бы еще недели две, уж очень было много мелких файлов. Такие папки даже копировать очень сложно будет при миграции ноды. Я бы даже сказал практически невозможно.
В итоге одной ноды нет, был вынужден купить еще диск для копирования туда восстановленных данных и запускать вторую ноду сначала. Пришлось еще повозиться с восстановлением старой ноды и переборкой метаданных ее, но это все было зря т.к. ноду старую уже исключили из сети из за долгого отсутствия. За то я теперь умею перебирать биты базы нод, инфы для этого достаточно оказалось в сети.

Сейчас ноды работаю прекрасно, внимания не требуют, хотя раньше бывало отвлекали перегрузки ручные.
Общий занимаемый объем на скринах.

Денег приносят примерно по 10-20$ в месяц.

А последние дни курс storj заметно вырос и общая сумма составила 472$ за весь период.

Это за период 401 день и 9 часов) примерно выходит 1$ в день где-то.
Наполнение дисков еще активно идет, в итоге доход должен расти еще больше. 🤑

10 книг, которые необходимо прочитать до 30

— «Маленькая жизнь», Ханья Янагихара
— «Не отпускай меня», Кадзуо Исигуро
— «Задача трех тел», Цысинь Лю
— «Марсианские хроники», Рэй Брэдбери
— «Заводной апельсин», Энтони Бёрджесс
— «На дороге», Джек Керуак
— «Хазарский словарь», Милорад Павич
— «Автостопом по Галактике», Дуглас Адамс
— «Имя розы», Умберто Эко
— «Сто лет одиночества», Габриэль Гарсиа Маркес

Друзья, ставьте 🔥, если хотите вторую часть!

Источник: Литератор

Я тебя разлюблю и забуду

Я тебя разлюблю и забуду,
когда в пятницу будет среда,
когда вырастут розы повсюду,
голубые, как яйца дрозда

Когда мышь прокричит кукареку.
Когда дом постоит на трубе;
Когда съест колбаса человека
и когда я женюсь на тебе.

— Андрей Вознесенский

Источник: Литератор

https://databend.rs

Почти убийца snowflake :)

> bendsql --query='INSERT INTO test_books VALUES;' --format=csv --data=@- <books.csv

> bendsql \
    --query='INSERT INTO ontime VALUES;' \
    --format=csv \
    --format-opt="compression=gzip" \
    --format-opt="skip_header=1" \
    --set="presigned_url_disabled=1" \
    --data=@ontime.csv.gz

> bendsql \
    --query='REPLACE INTO sample VALUES;' \
    --format=csv \
    --format-opt="compression=auto" \
    --format-opt="skip_header=0" \
    --format-opt="field_delimiter=," \
    --format-opt="record_delimiter=\n" \
    --data="@sample.csv.xz"

SELECT *  FROM 's3://databend-toronto' 
(
 access_key_id => '<your-access-key-id>', 
 secret_access_key => '<your-secret-access-key>',
 endpoint_url => 'https://databend-toronto.s3.us-east-2.amazonaws.com',
 region => 'us-east-2',
 files => ('books.parquet')
);

Использует Datafusion в качестве движка.

Скачать можно тут: https://databend.rs/doc/deploy/deploying-databend
В платной версии есть расчетные колонки и маскирование данных, в остальном бесплатно.

https://arrow.apache.org/datafusion/

$ datafusion-cli
DataFusion CLI v17.0.0
❯ select * from 'data.csv';
+---+---+
| a | b |
+---+---+
| 1 | 2 |
+---+---+
1 row in set. Query took 0.007 seconds.

А можно даже с s3 напрямую читать:

CREATE EXTERNAL TABLE test
STORED AS PARQUET
OPTIONS(
    'access_key_id' '******',
    'secret_access_key' '******',
    'region' 'us-east-2'
)
LOCATION 's3://bucket/path/file.parquet';

https://elevenlabs.io/dubbing Кидаем видео и получаем озвученный вариант :)