Новая книга по теме “Продукты данных” на основе исходного текста с комментариями GPT

© 2023 John Wiley & Sons, Inc. Любое распространение, копирование или несанкционированное использование строго запрещено.

Продукты данных

Специальное издание Starburst
Авторы: Вишал Сингх, Рио Коматсузаки и Эндрю Мотт, MBA

---

Исходные материалы защищены авторским правом © 2023 John Wiley & Sons, Inc., Hoboken, Нью-Джерси. Никакая часть данной публикации не может быть воспроизведена, сохранена в системе или передана в любой форме или любыми средствами без предварительного письменного разрешения издателя.

---

Оглавление

1. Что такое продукты данных?
2. Создание, управление и оптимизация продуктов данных
3. Персонал и процессы
4. Десять советов по внедрению продуктов данных

---

Глава 1: Определение продуктов данных

Введение

Максимизация ценности данных остается постоянной проблемой для бизнеса. Одним из последних вкладов в эту область является концепция data mesh (сетевая структура данных), которая представляет собой децентрализованный и распределенный подход к управлению корпоративными данными. В этой главе мы ознакомимся с идеей продукта данных и анализируем ее роль в модернизации стратегий аналитики данных.

Что такое продукт данных?

Быстрый поиск в интернете приведет к двум связанным, но различным терминам:

1. Data as a product (данные как продукт) — это применение принципов управления продуктом к данным для повышения их использования и ценности.
2. Data product (продукт данных) — это комбинация отобранных, повторно используемых наборов данных, созданных для предоставления проверенных данных конечным пользователям. Продукт данных включает метаданные, упрощающие поиск и использование данных.

Комментарий GPT: Разделение понятий “данные как продукт” и “продукт данных” помогает понять различие между методологическим подходом и конечным результатом, что важно для четкого понимания концепций.

Продукты данных и data mesh

В рамках концепции data mesh продукт данных — это самодостаточная сущность, состоящая из кода для сбора, трансформации и определения метаданных, а также инфраструктуры для запуска этого кода. Продукт данных должен обладать следующими качествами:

• Обнаружимость
• Доступность
• Доверие
• Самоописательная интероперабельность
• Безопасность

Комментарий GPT: Подход data mesh подчеркивает важность децентрализации и передачи ответственности непосредственно командам разработки приложений, что может существенно повысить гибкость организации.

Улучшение бизнес-ценности

Приоритет и постоянное улучшение продуктов данных помогают сократить путь от данных до бизнес-ценности. Процесс итерации позволяет адаптироваться к изменениям в корпоративной среде и обеспечить соответствие продуктам данных потребностям заинтересованных сторон.

---

Глава 2: Создание, управление и оптимизация продуктов данных

Введение

Эта глава посвящена ключевым аспектам успешной программы продуктов данных: дизайну, удобству использования, масштабируемости и технологии.

Дизайн продуктов данных для ценности

Первые успехи вашей программы продуктов данных будут наиболее заметны благодаря бизнес-ценности, предоставленной начальными продуктами. Удельное внимание стоит уделить:

• Обнаруживаемость данных: Метаданные, функции поиска и категоризация данных помогают пользователям находить нужные данные.
• Самообслуживание и удобство использования: Дружелюбный интерфейс и наличие документации облегчают пользователям самостоятельный анализ данных.

Масштабирование продуктов данных

Продукты данных служат строительными блоками для создания более сложных продуктов. Важнейшие аспекты масштабирования включают стандартизацию и интероперабельность.

Управление в большом масштабе

Платформы управления продуктами данных помогают администраторам по централизации и автоматизации различных процессов управления данными. Это включает управление метаданными, проверку качества данных, доступом и безопасностью, интеграцию данных и отслеживание аналитики.

Снижение стоимости владения

Автоматизация процессов управления данными и улучшение качества данных помогают снижать операционные расходы и повышать эффективность.

Комментарий GPT: Снижение стоимости владения продуктами данных — ключевой аспект, который может значительно повлиять на долгосрочную финансовую стабильность и конкурентоспособность организации.

---

Глава 3: Персонал и процессы

Введение

Продукты данных служат единицами обмена между производителями и потребителями данных. В этой главе рассматриваются основные роли и процессы, необходимые для успешного создания и управления продуктами данных.

Построение ваших команд данных

Ключевые роли включают:

• Инженер платформы данных: Ответственен за инфраструктуру и обеспечивает рамки для успешного создания продуктов данных.
• Производитель продукта данных: Включает менеджера и инженера продукта данных, которые совместно работают над реализацией продуктов данных.
• Потребитель данных: Аналитики данных и ученые данных, которые используют продукты данных для создания бизнес-ценности.

Платформа продуктов данных

Централизация управления и доступ к данным обеспечивают высокую степень обнаружимости и доступности продуктов данных.

Центральные и децентрализованные политики управления

Лучший подход — это централизованное управление с децентрализованным доверием к управлениям отдельных доменов данных через единую централизованную платформу.

Комментарий GPT: Это позволяет сохранить баланс между контролем и гибкостью, что особенно важно в больших организациях с множеством данных и разнообразными требованиями.

---

Глава 4: Десять советов по внедрению продуктов данных

1. Сфокусируйтесь на бизнес-ценности: Технологии должны помогать разработчикам продуктов данных концентрироваться на данных и их бизнес-контексте.
2. Связывайте продукты данных с ключевыми показателями эффективности (KPI): Это обеспечивает их актуальность и ценность.
3. Учитывайте пользовательские метрики и общую стоимость владения (TCO): Это помогает оптимизировать стратегии и инвестиции в данные.
4. Обеспечьте управление на основе ролей и ответственности бизнеса: Это способствует доверию и правильному использованию данных.
5. Дизайн с учетом потребностей потребителей: Максимальная ценность достигается при внимании к потребностям и предпочтениям пользователей.
6. Повторное использование без создания копий: Это экономично и предотвращает раздутие данных.
7. Стимулируйте производство и использование данных: Избегайте теневой ИТ.
8. Инвестируйте в роль владельца/менеджера продуктов данных: Они обеспечивают стратегическое управление продуктами данных.
9. Итерация — ключ: Постоянное совершенствование гарантирует актуальность продуктов данных.
10. Инвестируйте в культуру вашей организации: Одобрение данных на уровне культуры способствует устойчивому успеху.

Комментарий GPT: Эти советы помогут обеспечить плавное внедрение продуктов данных, увеличивая их ценность и эффективность в рамках организации.

---

Лицензионное соглашение с конечным пользователем

Перейдите на www.wiley.com/go/eula для доступа к лицензионному соглашению для электронной книги Wiley.

---

Таким образом, данная книга содержит исчерпывающую информацию о создании, управлении и оптимизации продуктов данных. Она также включает советы и рекомендации, основанные на проверенных практиках, что делает её полезным инструментом для любой организации, стремящейся улучшить свои стратегии управления данными.

Оригинал тут: Data-Products-For-Dummies.pdf

12 июня 2024 года
Databricks откроет исходные коды Unity Catalog
Алекс Вуди

Оригинал: https://www.datanami.com/2024/06/12/databricks-to-open-source-unity-catalog/

На сегодняшнем саммите Data + AI Summit компания Databricks объявила, что открывает исходные коды Unity Catalog, каталога метаданных, который управляет доступом пользователей и вычислительных систем к данным. Это решение последовало за новостями прошлой недели о проекте Apache Iceberg и знаменует важный поворот для Databricks, стремящейся поддерживать темпы развития на фоне растущего спроса клиентов на открытые lakehouse-платформы.

Databricks представила Unity Catalog в 2021 году как средство управления и обеспечения безопасности доступа к данным, хранящимся в Delta — табличном формате, созданном Databricks в 2017 году и являющемся краеугольным камнем стратегии lakehouse. До сих пор это оставался проприетарный продукт компании.

Однако в последние годы конкурирующий табличный формат Apache Iceberg набирает популярность в экосистеме big data. Databricks ответила на рост популярности Iceberg на прошлой неделе, объявив о планируемом приобретении компании Tabular, основанной создателем Iceberg. Стратегия Databricks заключается в том, чтобы постепенно сближать спецификации Iceberg и Delta, устраняя разницу между ними.

Таким образом, оставался последний барьер между клиентами и их мечтой о полностью открытом data lakehouse — это скромный каталог метаданных. Конкурент Databricks, компания Snowflake, на прошлой неделе решила проблему потенциальной зависимости от проприетарных каталогов метаданных, запустив Polaris, основанный на REST-API Iceberg. Snowflake сообщила Datanami, что планирует передать проект Polaris в open-source, вероятно, в Фонд Apache, в течение 90 дней.

Таким образом, Unity Catalog, оставаясь проприетарным, оказался в стороне в то время, как начинается новая эра открытых lakehouse решений. Чтобы адаптироваться к стратегическим изменениям на рынке, Databricks решила открыть исходные коды Unity Catalog.

Этот шаг создает «USB» для доступа к данным, заявил генеральный директор Databricks Али Годси во время вступительной речи на саммите Data + AI в Сан-Франциско.

«Все изолированные хранилища данных, которые у вас были ранее, могут получить доступ к одной копии данных в стандартизированном формате USB под вашим контролем», — сказал Годси. «Все проходит через единый слой управления, который стандартизирован, — это Unity Catalog — для всех ваших данных».

Ранее Unity Catalog поддерживал Delta и Iceberg, а также Apache Hudi, еще один открытый табличный формат, через Databricks’ Delta Lake UniForm формат. Более того, Unity Catalog также поддерживает REST-API Iceberg, отметил Годси.

«Мы стандартизировали слой данных и слой безопасности так, чтобы вы владели своими данными, а все проходило через эти открытые интерфейсы», — сказал он. «И я думаю, что это будет потрясающе для сообщества, для всех здесь. Потому что у нас появится множество новых сценариев использования. Мы сможем добиться большего уровня инноваций и расширим этот рынок для всех участников».

Генеральный директор Databricks Али Годси объявил об открытии исходного кода Unity Catalog на саммите Data + AI, 12 июня 2024 года.

Клиенты Databricks приветствовали этот шаг, включая AT&T и Nasdaq.

«С объявлением об открытии исходного кода Unity Catalog мы оптимистично воспринимаем шаг Databricks по обеспечению возможности управления lakehouse и метаданными через открытые стандарты», — сказал Мэтт Дуган, вице-президент AT&T по платформам данных. «Возможность использовать совместимые инструменты с нашими данными и активами ИИ при соблюдении единой политики управления является ключевым элементом стратегии AT&T в области данных».

«Решение Databricks открыть исходный код Unity Catalog предоставляет решение, которое помогает устранить изолированные хранилища данных. Мы с нетерпением ждем возможности дальнейшего масштабирования нашей платформы, улучшения управления и модернизации наших приложений для данных, продолжая предоставлять услуги нашим клиентам», — сказал Ленни Розенфельд, вице-президент Nasdaq по платформам доступа к капиталу.

Неясно, какой фонд открытого кода выберет Databricks для Unity Catalog OSS, и какой будет временной график. Ранее Databricks выбрала The Linux Foundation для открытия исходных кодов различных продуктов, разработанных внутри компании, включая Delta и MLFlow.

Unity Catalog будет размещен на Github в четверг во время ключевого выступления технического директора Databricks Матея Захарии на саммите Data + AI, сообщили в компании.

Перевод: https://www.dfrobot.com/blog-13462.html

Топ 6 чипов RISC-V с многоядерным дизайном и ускорителем ИИ для ИИ и МО

DFRobot
05 декабря 2023
8410

Принятие RISC-V, свободной и открытой архитектуры набора команд для компьютеров, впервые представленной в 2010 году, стремительно ускоряется, в первую очередь благодаря растущему спросу на искусственный интеллект (ИИ) и машинное обучение (МО). Исследовательская фирма Semico прогнозирует ошеломляющий ежегодный рост на 73,6 процента в количестве чипов с использованием технологии RISC-V, с прогнозом в 25 миллиардов ИИ чипов к 2027 году, что принесет доход в размере 291 млрд долларов США. Эта статья выделит популярные продукты на основе архитектуры RISC-V для ИИ и МО, доступные на нынешнем рынке.

Преимущества архитектуры RISC-V в сравнении с x86 и ARM для ИИ и МО
*Гибкость набора инструкций RISC-V.* Более высокая гибкость набора инструкций RISC-V хорошо соответствует потребности в более быстрых итерациях и большей вычислительной мощности в алгоритмах ИИ. Набор инструкций RISC-V может быть настроен и адаптирован под конкретные требования приложений, что позволяет лучше подстраиваться под разные алгоритмы ИИ, включая глубокое обучение и нейронные сети.
*Преимущество по эффективности процессоров RISC-V.* Лицензиаты выбирают RISC-V за его высокую эффективность по сравнению с традиционными микропроцессорами. В сравнении с ARM и x86, RISC-V демонстрирует примерно в 3 раза большую вычислительную производительность на ватт.
*Гибкость единого IP в комбинации или переконфигурации.* IP RISC-V может быть “декомпозирован” сильнее, чем ARM, что позволяет решать различные сценарии проектирования чипов. Это также приносит более высокую масштабируемость архитектуре RISC-V, позволяя дизайнерам свободно разбирать модули, как игрушки LEGO, и комбинировать их для создания идеальных чипов.
*Короткое время перехода между ARM и RISC-V.* Переход между ARM и RISC-V аналогичен переходу программиста, знающего структуры данных, между языками C и Python. Меняются лишь инструкции, в то время как общая философия дизайна остается неизменной. Дизайнер, хорошо разбирающийся в архитектуре ARM, может понадобиться всего около двух недель для перехода к разработке на RISC-V.

Продукты на базе чипов RISC-V для ИИ и МО

SiFive Intelligence™ X390
Процессор Intelligence X390 разработан для удовлетворения растущих потребностей приложений искусственного интеллекта и машинного обучения. Он основывается на базе X280 с ключевыми улучшениями, которые значительно повышают его вычислительные возможности. Обладая конфигурацией с одним ядром, процессор обеспечивает четырехкратное улучшение векторных вычислений благодаря двойному векторному ALU и удвоенной длине вектора, что дает четырехкратное увеличение пропускной способности данных. Кроме того, процессор интегрирует технологию VCIX от SiFive, позволяя компаниям добавлять пользовательские векторные инструкции или аппаратное ускорение для беспрецедентной гибкости оптимизации производительности. Улучшенные возможности векторных вычислений делают процессор X390 особенно подходящим для задач обучения и работы нейронных сетей.

Ключевые особенности
*Расширения SiFive Intelligence для нагрузки МО*
*Процессор с регистром длиной 512 бит*
*Показатели производительности*
*5.75 CoreMarks/МГц*
*3.25 DMIPS/МГц*
*4.6 SpecINT2k6/ГГц*
*Построен на доказанном на кремнии ядре серии U7*
*64-битный ISA RISC-V*
*Конвейер с двойной выдачей и 8 стадиями*
*Высокопроизводительная векторная подсистема памяти*
*Адресация до 48 бит*
*Конфигурация многоядерная, многокластерного процессора, до 8 ядер*

SiFive Performance P870
SiFive Performance P870 – это ядро процессора, основанное на архитектуре RISC-V и являющееся частью серии SiFive Performance. Разработано для высокопроизводительных вычислений и приложений в центрах обработки данных, ядро процессора SiFive Performance P870 обладает мощными вычислительными возможностями и гибкой настройкой. Используя открытую архитектуру команд RISC-V, это ядро процессора может удовлетворить требования различных сложных вычислительных задач, включая искусственный интеллект, аналитику больших данных и высокопроизводительные вычисления. SiFive Performance P870 стремится предоставить клиентам высокопроизводительные, энергоэффективные процессоры, чтобы удовлетворить растущие потребности в вычислительных ресурсах.

Ключевые особенности
*Полная поддержка спецификаций профиля RVA22 RISC-V и Vector 1.0, а также векторной криптографии, что позволяет запускать 64-битные приложения на ОС, таких как Linux и Android.*
*Прорывные производительности RISC-V*
*Согласованные многосердцевые, многокластерные конфигурации процессоров, до 16 ядер*
*Наивысшая производительность среди коммерчески лицензируемых процессоров RISC-V*
*12 SpecINT2k6/ГГц (процессор P870)*
*2x 128b VLEN RVV*
*Векторная криптография и расширения гипервизора*
*IOMMU и AIA*
*Невключающая L3 кэш-память*
*Проверенная безопасность RISC-V WorldGuard*
*Архитектурные особенности серии P800*
*64-битное ядро RISC-V с обширной поддержкой виртуальной памяти*
*Конвейер с четырьмя стадиями и внеочередной обработкой, настроенный на масштабируемую производительность*
*Приватные кэши L2 и страимость для улучшенной производительности памяти*
*SECDED ECC с сообщением об ошибках*

Эти два процессора различаются по целям проектирования и прикладной направленности. SiFive Performance P870 главным образом используется для высокопроизводительных вычислений и приложений в центрах обработки данных, в то время как SiFive Intelligence™ X390 предназначен для пограничного искусственного интеллекта и машинного обучения.

T-Head XuanTie C910
T-Head XuanTie C910 демонстрирует ведущие в отрасли показатели производительности в управлении потоком, вычислениях и частоте благодаря архитектурным и микроархитектурным инновациям. Процессор C910 основан на наборе инструкций RV64GC и реализует технологию XIE (XuanTie Instruction Extension). C910 использует передовой 12-стадийный конвейер с внеочередной обработкой нескольких инструкций, обладающий высокой частотой, IPC и энергоэффективностью. C910 поддерживает аппаратную когерентность кэша. Каждый кластер содержит 1-4 ядра. C910 поддерживает интерфейс шины AXI4 и включает порт когерентности устройств. C910 использует систему виртуальных адресов SV39 с технологией XMAE (XuanTie Memory Attributes Extension). В дополнение к этому, C910 включает стандартные контроллеры прерываний CLINT и поддерживает совместимый с RV интерфейс отладки и мониторы производительности.

Ключевые особенности
*T-Head XuanTie C910*

XiangShan Open-source 64-bit RISC-V Processor
В мае 2023 года Китайская академия наук выпустила второе поколение открытого высокопроизводительного ядра процессора RISC-V “Xiangshan” (архитектура Nanhu), которое было завершено в сентябре 2022 года и передано в производство в июне 2023 года. Это ядро процессора использует процесс 14 нм от SMIC, с основной частотой 2 ГГц, счетом SPEC CPU 10/ГГц, двухканальной памятью DDR, двухканальным интерфейсом PCIe, интерфейсом USB, интерфейсом HDMI и другими функциями. Его полная мощность превосходит ARM Cortex-A76, делая его самым мощным ядром RISC-V в мире.

Ключевые особенности
*XiangShan Open-source 64-bit RISC-V Processor*

Чип Esperanto ET-SoC-1
Чип Esperanto ET-SoC-1 интегрирует более 1000 ядер процессоров RISC-V и 24 миллиарда транзисторов, включая 1088 энергоэффективных 64-битных ядер RISC-V с упорядоченной обработкой ET-Minion и 4 высокопроизводительных 64-битных ядра RISC-V с внеочередной обработкой ET-Maxion. Каждое ядро оснащено векторным/тензорным блоком, с ожидаемыми рабочими частотами от 500 МГц до 2 ГГц. Также, чип включает 1 процессор обслуживания RISC-V, более 160 миллионов байт встроенной SRAM для кэшей и памяти scratchpad, и интерфейсы, поддерживающие большие внешние памяти, включая LPDDR4x DRAM и eMMC flash, PCIe x8 Gen4 и другие обычные интерфейсы ввода-вывода. При пиковой мощности ET-SoC-1 способен достигать от 100 до 200 триллионов операций в секунду (TOPS), при этом обычно потребляя менее 20 ватт мощности. Отличительной чертой решения Esperanto является использование нескольких низкопотребляющих SoC-чипов вместо одного большого SoC. Это может быть привлекательным энергоэффективным решением для рекомендаций машинного обучения в крупных центрах обработки данных.

Ключевые особенности
*Интеграция более 1000 ядер процессоров RISC-V*
*Включение 1088 64-битных ядер RISC-V с упорядоченной обработкой ET-Minion*
*Включение 4 высокопроизводительных 64-битных ядер RISC-V с внеочередной обработкой ET-Maxion*
*Состоит примерно из 24 миллиардов транзисторов*
*Специально разработан для ИИ и машинного обучения*
*Обеспечивает исключительные возможности параллельной обработки*

Meta Training Inference Accelerator (MTIA) Chip
MTIA разработан Meta для более эффективной обработки их нагрузок ИИ. Ядра процессоров основаны на архитектуре открытого набора команд RISC-V. Чип является специализированной интегральной схемой (ASIC), построенной для улучшения эффективности рекомендательных систем Meta, например, понимания контента, канала новостей Facebook, генеративного ИИ и ранжирования рекламы, все из которых зависят от рекомендательных моделей глубокого обучения (DLRM), требующих больших ресурсов памяти и вычислительной мощности.

Ключевые особенности

*Meta Training Inference Accelerator (MTIA) Chip*

Первое поколение ASIC MTIA было разработано в 2020 году специально для внутренних нагрузок Meta. Чип был изготовлен с использованием 7-нм процесса TSMC и работает на частоте 800 МГц, обеспечивая 102,4 TOPS при точности INT8 и 51,2 TFLOPS при точности 16-битного плавающего числа. Он также имеет тепловой дизайн мощностью (TDP) 25 Вт. Чип MTIA является частью полностекового решения, которое включает в себя кремний, PyTorch и рекомендательные модели; все это совместно разработано для предоставления полностью оптимизированной системы ранжирования для клиентов Meta. Выпуск их первого ИИ-чипа MTIA – значительное событие. Это еще больше подогревает гонку на рынке ИИ-оборудования и способствует эволюции оборудования, специально разработанного для ИИ-приложений.

Заключение
Чипы, упомянутые в статье, обладают многоядерным дизайном, каждое ядро которого предлагает высокую производительность и энергоэффективность. Они поддерживают многопоточные операции, что позволяет выполнять несколько задач одновременно. Кроме того, они все поддерживают наборы инструкций Single Instruction Multiple Data (SIMD), которые могут ускорять параллельные задачи обработки данных, такие как обработка изображений и векторные вычисления. По мере развития отрасли, мы полагаем, что продукты на основе архитектуры RISC-V будут играть все более важную роль в приложениях ИИ и МО, обеспечивая надежную основу для будущих технологических инноваций и приложений.

Ошибки:

• Минорные грамматические ошибки и некорректные формулировки были исправлены, чтобы улучшить ясность и читабельность текста.

Перевод: https://medium.com/@davidly_33504/fresh-fruit-sipeed-lichee-pi-4a-1148b85b2edb

Новый фрукт одноплатной системы

Lichee Pi 4 слева и Raspberry PI 4 Model B справа. Фото автора.
Недавно я использовал Lichee Pi 4A от Sipeed для нескольких дней разработки. Он работал прямо из коробки и был стабилен. За исключением небольшой медлительности и отсутствия поддержки VS Code для RISC-V, плата отлично подходит в качестве системы разработки на RISC-V.

Lichee несколько крупнее, чем одноплатные компьютеры Raspberry PI, от которых она позаимствовала название, но обладает функциями, которых отсутствуют у этих систем, включая NPU для машинного обучения, два Ethernet-порта, больше ОЗУ, флеш-память и т. д. Мой экземпляр имеет четыре ядра RISC-V с частотой 1,85 ГГц, 128 ГБ флеш-памяти и 16 ГБ ОЗУ. Он пришел с предустановленной последней версией Debian. Подробная информация о применении платы доступна на вики Sipeed.

Я заинтересовался RISC-V в начале этого года, когда увидел глобально растущую поддержку архитектуры, особенно в Китае, что усилилось повышением лицензионных сборов за новые версии ARM. RISC-V бесплатен и хорошо спроектирован. Хотя для развития экосистемы потребуется время, я не вижу технических причин, по которым он не сможет со временем вытеснить ARM, как ARM вытеснил Intel.

В феврале я купил первый RISC-V Kendryte K210 от Sipeed, который является значительно меньшей системой, использующей Arduino для программирования. Он заметно медленнее с частотой 400 МГц и имеет элементарные, нестандартные API для встроенных систем. Я использовал его для выполнения некоторых эталонных тестов, написанных на ассемблере RISC-V и C. Также я проверял генерацию кода RISC-V с помощью моего компилятора BASIC — BA.

Arduino довольно трудно использовать, поэтому в итоге я написал эмулятор RISC-V, поддерживающий системные вызовы Linux, используемые в среде выполнения g++. Этот эмулятор (rvos) требовал много работы, но значительно упростил дальнейшую разработку компилятора BA и стал отличным способом для изучения RISC-V и Linux.

Все это было замечательно, но использование Lichee в качестве универсальной системы для кодирования и тестирования явно превосходит среду K210 и RVOS. Теперь я могу писать, компилировать, запускать и отлаживать код на одной машине. Установка g++ была простой командой apt, вместо клонирования репозитория GNU и его сборки для целевой архитектуры RISC-V.

Я создал эмулятор RVOS для RISC-V и запустил его проверочный набор на Lichee. Это немного забавно иметь эмулятор, работающий на той же платформе, которую он эмулирует, но это был хороший способ убедиться, что все работает. То же самое я сделал с моими эмуляторами для 6502 + Apple 1 и Z80 + CP/M 2.2. Они отлично работают на Lichee. Меня все еще поражает, что я могу запускать версию Turbo Pascal 1.0 на Z80 на RISC-V и это более чем в 100 раз быстрее, чем на моем старом Kaypro II.

Хотел бы сказать, что нашел ошибки в Debian или оборудовании, но они работали как ожидалось. Я обнаружил одну ошибку — но она была моей. Я установил более новую версию g++, чем полугодовалый кросс-компилятор, который я использовал на Ubuntu AMD64. Новый компилятор генерирует инструкции RISC-V SC.D, что выявило ошибку в RVOS, не обнаруженную ранее из-за того, что старые компиляторы не генерировали эту инструкцию.

Наибольший недостаток для разработки на Lichee — это отсутствие поддержки VS Code для RISC-V. Мне приходится использовать редактор Mousepad для написания кода. Хм... VS Code — это open-source, и это проблема, которую я могу решить.

Производительность приемлема для разработки ПО. Он в 5 раз быстрее, чем плата K210, но по-прежнему далеко от современных процессоров. В одном кри核ном эталонном тесте, написанном на C, его скорость примерно такая же, как у Intel Q9650 3.0 Ггц 2008 года. Тот же тест работает примерно на 23% быстрее, чем на Raspberry PI 4 2019 года. Он в 6,3 раза медленнее, чем AMD 5950x с частотой 3.4 Ггц 2020 года.

Эталонный тест выполняется с одним ядром и затем используя до 3-х ядер (если доступны), называемых ниже 3c и 2c. Для более современных машин я использовал g++. Для двух старых Windows-машин я использовал компилятор C++ от Microsoft. Я также запускал версии эталонного теста на C++ в трех эмуляторах, чтобы понять производительность более сложных приложений. Все времена в миллисекундах для одной итерации доказательства невозможности выиграть в крестики-нолики, если противник компетентен. (Никогда не забывай, что WOPR потратил 72 секунды на решение этой задачи в фильме “Военные игры”). Меньшие значения времени лучше.

Время выполнения эталона в миллисекундах для одного ядра и до 3 ядер на различных системах.
Системы на базе RISC-V будут улучшаться; нет ничего в архитектуре набора команд, что бы помешало ему догнать ARM и Intel. Но учитывая, что большинство инвестиций в RISC-V поступает из Китая, а остальной мир исключил Китай из производства следующего поколения кремния, будет интересно увидеть, что произойдет дальше.
Я могу рекомендовать Lichee каждому, кто хочет глубже погрузиться в RISC-V. Оборудование и Debian стабильны, и нет лучшего способа изучить платформу, чем разрабатывать для нее непосредственно**.
** Я работал над Windows много лет и самостоятельно использовал предрелизное оборудование/ПО для MIPS, DEC Alpha, PowerPC, AMD64, Itanium и ARM32.

Оригинал тут: https://plusworld.ru/articles/59642/
Исправлено и дополнено с gpt.

---

Эволюция цифровых финансов: Ликбез для начинающих

В последнее время термин «цифровая валюта» все чаще звучит в контексте государственных и частных цифровых денег. Но в чем различия между цифровыми валютами центральных банков (ЦВЦБ), криптовалютами и безналичными валютами? Как использовать и зарабатывать на цифровых валютах? Андрей Михайлишин, глава Комиссии по платежным системам и трансграничным расчетам ТПП РФ, рассказывает об этом порталу PLUSworld.

Основы технологии блокчейн

Блокчейн — это распределенная база данных, хранящая информацию в виде цепочки блоков, связанных при помощи криптографического шифрования. Каждый блок содержит данные о транзакциях. Информация в блокчейне защищена от изменений благодаря криптографии.

Для добавления новых данных требуется достижение консенсуса среди участников сети, что гарантирует безопасность и достоверность информации. Существует несколько видов консенсуса, используемых в блокчейне.

Криптовалюты

Криптовалюты — это цифровые активы, использующие блокчейн для обеспечения безопасности и прозрачности транзакций. Они не обладают физической формой и не выпускаются государственными органами.

Первой криптовалютой стал Биткоин, выпущенный в 2009 году под псевдонимом Сатоши Накамото. За ним появились другие криптовалюты, такие как Эфириум, Лайткойн, Рипл и т.д., каждая со своими преимуществами и недостатками.

Классификация криптоактивов

Криптоактивы можно классифицировать по различным признакам, например, по назначению:

1. Платежные криптовалюты (стейблкоины) привязаны к фиатной валюте или биржевому товару и используются для оплаты товаров и услуг.
2. Инвестиционные криптовалюты приобретаются для получения прибыли.

Криптовалюты можно купить на биржах, обменниках или напрямую у других пользователей, хранить в кастодиальных или некастодиальных кошельках. Детализировать тему кошельков мы будем в будущих материалах.

Преимущества и недостатки криптовалют

Преимущества:

• Безопасность: Транзакции защищены криптографией.
• Прозрачность: Все транзакции общедоступны (исключая некоторые блокчейны с анонимными транзакциями, как Monero).
• Децентрализация: Не зависят от централизованных органов.

Недостатки:

• Высокая волатильность: Цены могут сильно колебаться.
• Правовая неопределенность: Регулирование различается в разных странах.
• Уголовные риски: Возможность использования для незаконных операций.

Цифровые валюты центральных банков (ЦВЦБ)

ЦВЦБ — это цифровая форма национальной валюты, выпущенная центральным банком с использованием технологий распределенного реестра. Отличается от традиционных безналичных и электронных денег тем, что эмитируется центральным банком и является его обязательством.

ЦВЦБ мотивированы массовым распространением криптовалют и технологическим развитием. Они обеспечивают высокую безопасность и прозрачность транзакций благодаря технологии блокчейн.

Формы и архитектуры ЦВЦБ

ЦВЦБ бывают двух форм:

• Розничные: Используются физическими и юридическими лицами для ежедневных расчетов.
• Оптовые: Применяются профессиональными участниками финансового рынка для взаимных расчетов.

Архитектуры ЦВЦБ включают:

• Централизованная: Центральный банк выпускает и управляет ЦВЦБ.
• Двухуровневая: Центральный банк выпускает ЦВЦБ, а розничный оборот обеспечивается коммерческими банками.
• Децентрализованная: ЦВЦБ выпускаются частными организациями, но гарантируются центральным банком.

Мотивы и перспективы внедрения ЦВЦБ

Центральные банки рассматривают внедрение ЦВЦБ для:

• Улучшения эффективности платежной системы.
• Повышения финансовой доступности.
• Укрепления финансовой стабильности.
• Обеспечения мгновенных и дешевых платежей.
• Использования смарт-контрактов.
• Прямого стимулирования граждан и бизнеса.

ЦВЦБ уже внедрены или находятся в разработке в более чем 100 странах. Наиболее продвинутые проекты включают DCEP в Китае, Sand Dollar на Багамах, DCash у Восточно-Карибского центрального банка, eNaira в Нигерии и другие.

Заключение

Внедрение ЦВЦБ продолжится в ближайшие годы, оказывая значительное влияние на финансовую систему, делая ее более инновационной, эффективной, доступной и стабильной.

Перевод: https://sanjmo.medium.com/drowning-in-data-a-data-security-platform-dsp-is-your-life-raft-92be7cdc9e66

В январе 2024 года Gartner опубликовал свой первый рыночный гид по платформам защиты данных, признав растущую важность объединения контролей безопасности данных, бизнес-логики и детализированной авторизации. Эти ключевые черты позволяют бизнесу раскрыть потенциал всех своих информационных активов и использовать их для принятия решений.

Защита данных не является новым открытием, а давно признанной необходимостью. В прошлом эти меры внедрялись как второстепенные и изолированные, что затрудняло своевременный и безопасный доступ к корпоративным данным. Однако сейчас организации делают защиту данных приоритетом и внедряют её структурированным образом. Неудивительно, что Gartner сообщает о 70-процентном росте звонков, связанных с защитой данных, между 2021 и 2022 годами.

Хотя ChatGPT открыл потенциал ИИ, трансформируя наши организации, впереди еще большая возможность в виде персонализированной ИИ-стека. Этот стек объединяет крупные языковые модели и корпоративные данные, позволяя получать результаты, основанные на реальной бизнес-информации.

С этой мощью компании могут действительно использовать скрытый потенциал огромных объемов структурированных и неструктурированных данных. И, базируя результаты на тщательно отобранных корпоративных данных, они могут уменьшить количество неправильных выводов и повысить доверие к результатам генеративной работы ИИ.

Однако для достижения этого состояния просветления необходимо сначала убедиться, что соблюдены корпоративные правила безопасности и все соответствующие нормативные требования. Это требует сложной платформы защиты данных (DSP).

Компоненты платформы защиты данных (DSP)
Как тормоза у автомобиля, защита данных предназначена не для замедления, а для безопасного ускорения с доверием и уверенностью. Они созданы, чтобы предотвращать как намеренное, так и случайное использование инфраструктуры данных. Цель состоит в том, чтобы обеспечить доступ к нужным данным для нужных людей в нужное время, чтобы принимать бизнес-решения и получать конкурентное преимущество.

Надежная платформа защиты данных состоит из трёх основных элементов, приведённых ниже.

Элементы платформы защиты данных (DSP)
Обнаружение и наблюдение
Первая итерация больших данных, начатая Hadoop, превратила озера данных в болота данных из-за недостаточного понимания данных. В стремлении сделать данные доступными для анализа был пропущен критический этап их понимания, включая чувствительные данные.

Современная DSP должна иметь возможность подключаться к исходным системам и определять характер данных. Чувствительность данных скрыта в контексте самих данных. Когда чувствительные данные обнаружены, их необходимо пометить в соответствии с корпоративными правилами безопасности и применимыми нормативными требованиями. Эти данные могут включать личную идентификационную информацию (PII), личную медицинскую информацию (PHI), финансовые данные, интеллектуальную собственность или производственные секреты.

Ваша DSP должна уметь подключаться ко всем соответствующим источникам данных и выявлять чувствительные данные, используя несколько подходов:

• Профилирование исходных данных: сканирование и профилирование данных часто использует выборку, но должно иметь возможность сканировать полный набор данных. Однако это может создать нагрузку на операционные системы. Этот вариант требует разрешений для доступа к исходным данным.
• Профилирование ответов: чтобы преодолеть некоторые из вышеупомянутых барьеров, можно профилировать и классифицировать ответы. Например, можно выявлять электронные письма, номера социального страхования и другую личную информацию.
• Пометка данных может быть ручной, однако чаще всего используется сложные алгоритмы машинного обучения. Этот процесс должен быть непрерывным, так как данные меняются в реальном времени. Таким образом, в вашей DSP необходимы возможности наблюдения.

Определение политики
Следующий шаг – возможность определения детализированных политик и правил по защите данных, таких как авторизация и шифрование. Ответственные за данные должны иметь возможность интуитивно и с самообслуживанием создавать политики управления, а не использовать старые подходы, распространенные в системах управления идентификацией и доступом. Наиболее распространенный подход – использование интерфейса с выпадающими опциями. Например, могут быть опции для шифрования или маскирования данных или тегов.

Новые системы позволяют автоматически определять и находить политики. Автоматизация создания политик также помогает, когда пользователь уходит из компании и все соответствующие политики должны быть удалены. Для достижения этой способности важно, чтобы DSP интегрировалась с остальной инфраструктурой управления данными, такой как каталоги данных. Например, интеграция с каталогом данных позволяет пользователям находить данные, видеть, что доступно, запрашивать доступ, фиксировать намерения и согласие, а затем предоставлять доступ. Эти продукты должны сохранять историю доступа и журналы аудита.

Принуждение к соблюдению политики
Заключительный этап – это выполнение политик безопасности данных с минимальными накладными расходами и задержками. Для назначения прав доступа в зависимости от роли пользователя в проекте следует использовать контроль доступа на основе ролей (RBAC). Для предоставления доступа на основе комбинации атрибутов пользователя, атрибутов данных и атрибутов окружения следует использовать контроль доступа на основе атрибутов (ABAC), обеспечивая более детализированный контроль.

Некоторые важные факторы при исполнении политики включают:

• Согласованность: политики безопасности должны применяться к данным независимо от того, где они хранятся – в облачных хранилищах данных, операционных системах, хранилищах объектов или озерах данных.
• Низкую задержку и масштабируемость: накладные расходы на безопасность данных должны быть минимальными для запросов. Они также должны масштабироваться с ростом нагрузки.
• Динамичность: предпочтительнее ABAC, так как он динамический и адаптируется с изменением окружения пользователя.
• Адаптивность: продукт для защиты данных должен быть прозрачным для конечных пользователей. В идеале пользователь должен обращаться к конечной точке или использовать API, который автоматически применяет политики безопасности и не требует изменений в схеме или запросах.
• Развертывание: современные продукты безопасности развёртываются либо как SaaS-инструменты, либо в частных облаках, управляемых с помощью Kubernetes.

Бесшовное принуждение к соблюдению политики помогает построить доверие к данным и увеличить их полезность. Это позволяет организациям расширять возможности обмена данными с потребителями, такими как развертывание маркетплейсов данных.

Palantir получила контракт на 480 миллионов долларов от армии США на разработку прототипа системы Maven Smart System (MSS), о чем было объявлено Пентагоном в среду. Этот контракт представляет собой значительное вложение в возможности искусственного интеллекта (ИИ), направленные на повышение оперативной эффективности вооруженных сил США.

В последнее время военные США все чаще используют технологии ИИ в различных операциях, особенно в зоне ответственности Центрального командования на Среднем Востоке. В пресс-релизе Национальной гвардии Кентукки, опубликованном в феврале, отмечается, что MSS от Palantir в сочетании с системой широкозонного поиска и наведения Национального агентства геопространственной разведки (BAS-T) использует алгоритмы, сгенерированные ИИ, и возможности обучения памяти для сканирования и идентификации вражеских систем в зоне ответственности (AOR).

Согласно пресс-релизу, “Maven Smart System (MSS) от Palantir в сочетании с системой широкозонного поиска и наведения Национального агентства геопространственной разведки (BAS-T) использует алгоритмы, сгенерированные ИИ, и возможности обучения памяти для сканирования и идентификации вражеских систем в зоне ответственности (AOR). MAVEN объединяет данные из различных систем разведки, наблюдения и рекогносцировки (ISR), чтобы выявить интересующие области.”

Интеграция ИИ в военные операции направлена на увеличение скорости и точности идентификации целей, как отмечается в пресс-релизе: “Положительная идентификация цели (PID) находится в центре процесса наведения. Скорость, с которой может быть обнаружена враждебная цель, критична для последующих этапов цикла наведения (Решение, Обнаружение, Доставка, Оценка). ИИ помогает фильтровать параметры, определенные пользователем, просеивает большие объемы данных, извлекает то, что является релевантным, и предоставляет аналитикам данные в почти реальном времени, которые используются оперативным сообществом для проверки в соответствии с задачами командира.”

Это улучшенное средство позволяет быстро подтвердить и интегрировать информацию с существующими системами командования армии, такими как Система управления тактическими данными полевой артиллерии (AFATDS), для создания огневых миссий.

Пентагон планирует использовать инструменты ИИ, такие как Maven, чтобы поддержать свою концепцию ведения боевых действий Combined Joint All-Domain Command and Control (CJADC2). Эта инициатива направлена на лучшее объединение платформ, сенсоров и потоков данных вооруженных сил США и их ключевых международных партнеров под единой сетью.

Оборонные чиновники считают, что использование ИИ поможет командирам и другому персоналу принимать более быстрые и обоснованные решения, тем самым повышая оперативную эффективность и эффективность.

Контракт на 480 миллионов долларов с дочерней компанией Palantir USG является контрактом с фиксированной ценой, как заявлено в объявлении Пентагона: “Одна заявка была подана через интернет, и одна была получена. Местоположения работ и финансирование будут определяться с каждым заказом, с предполагаемой датой завершения 28 мая 2029 года.”

Военный интерес к технологиям, связанным с ИИ, не стоит воспринимать как научную фантастику. Хотя в прошлом году несколько ведущих компаний по робототехнике обещали не вооружать роботов, нет ничего удивительного в том, что другие компании охотно используют потенциал технологий ИИ для повышения возможностей ведения войн.

Это еще одна причина, по которой как частные, так и государственные структуры спешат разработать стандарты безопасности ИИ.

Статья изначально опубликована на OpenDataScience.com. https://opendatascience.com/palantir-secures-480-million-dod-deal-for-ai-powered-maven-smart-system-prototype/

Floating Instrument Platform

https://ru.wikipedia.org/wiki/RP_FLIP

Единственное в мире судно, способное переходить из горизонтального в вертикальное положение посреди океана, это FLIP (Floating Instrument Platform). FLIP не является небольшим кораблем; его длина составляет около 108 метров, а вес достигает 700 тонн.

Инженеры спроектировали FLIP таким образом, чтобы он мог перемещаться в вертикальное положение с углом наклона в 90 градусов, при этом передняя часть судна поднимается на высоту 17 метров, что эквивалентно пятиэтажному зданию, а основная часть судна погружается на глубину 91 метр. Это обеспечивает судну устойчивость и сопротивляемость волнам.

Процесс трансформации FLIP из горизонтального положения в вертикальное занимает около 30 минут. Для этого морская вода закачивается в огромные резервуары в задней части судна, что заставляет его тонуть и приобретать вертикальное положение. Это уникальное судно играет важную роль в проведении научных исследований морей и океанов, благодаря своей способности обеспечивать стабильную и подвижную платформу для различных научных приборов и экспериментов.

FLIP был разработан в 1962 году Американским флотом и Институтом океанографических исследований Скриппса (Scripps Institution of Oceanography) для различных исследований, включающих акустику, метеорологию и физику океана. На протяжении десятилетий он предоставлял ученым уникальные возможности для изучения морских глубин, что сделало его одним из важнейших судов для научных исследований в области океанографии.

https://ru.wikipedia.org/wiki/Файл:FLIP_turns_50.ogv

Vienna Gödel Lecture 2016 with Jeannette Wing, Corporate Vice President, Microsoft Research (talk starts at 11:55)

В Крыму подготовят инновационную выставку в формате NFT.

Фото: https://t.me/tavrida_art

6 июня текущего года исполняется 225 лет со дня рождения великого русского поэта Александра Пушкина. К юбилейной дате арт-кластер «Таврида» подготовит, кроме различных мероприятий, еще и специальную инновационную выставку в формате NFT. Участвуют в ее разработке специалисты Центра развития культурных инициатив и Росмолодежь, «Известия».

https://kubnews.ru/amp/obshchestvo/2024/05/15/na-tavride-gotovyat-nft-vystavku-priurochennuyu-k-225-letiyu-so-dnya-rozhdeniya-aleksandra-pushkina/

Интересные аппки

https://www.alchemy.com/best/dao-project-management-tools

https://dework.xyz/

Сегодня напишу как хранить данные в сети Greenfield и сделать смарт контракт на NFT и неординарный способ проверить это все.

Про сеть Greenfield я узнал в прошлом году как только она напустилась. и тут же попробовал. Любопытная штука так как предоставляет возможность работать без почтового акаунта, а напрямую из кошелька в Metamask.

Немного теории тут. Сеть Greenfield – децентрализованная сеть хранения контента. Почти как s3, но в блокчейне. Технически он она может быть полезна в новых механиках взаимодействия. Например, срок хранения NFT зависит от его просмотра, чем большое смотрят контент, тем дольше оно хранится или например можно взымать плату в блокчене и автоматически выдавать дотупы тем кто оплатил. Удобно, то что это наверное можно запрограммировать в смарт контракте, но я пока не знаю как именно. Тут можно посмотреть код. Есть некоторые сомнения конечно, что все такие это такой же s3 но поверх него некая нашлепка в блокчейне с хранением метаданных и хочется чего то более солидного, какой то магии без центрального звена, но может это просто мечты. Кстати, изначально она меня привлекала запуском ноды, но недавно узнал, что надо 500 bnb застейкать, а это где-то 300к по текущему курсу. В общем, до тех пор пока я нищеброд, надо забыть о ноде и идти на завод.

Вот что пишет о сети чатгпт:

Binance Smart Chain (BSC) — это лишь одна из инициатив Binance в области блокчейн-технологий. Однако также была анонсирована сеть под названием Greenfield, которая является частью более широкой экосистемы Binance. Здесь я опишу, что такое Greenfield и для чего данная сеть может быть применима.

Что такое сеть Greenfield от Binance?

Greenfield — это децентрализованная вычислительная сеть, созданная и управляемая Binance, которая ориентирована на предоставление высокопроизводительных, масштабируемых и безопасных решений для различных децентрализованных приложений (dApps) и финансовых технологий.

Основные характеристики и возможности

1. Масштабируемость:
   • Greenfield обещает высокую пропускную способность для поддержки большого количества транзакций и пользователей.
   • Использование различных методов оптимизации и распределенных вычислений помогает обеспечить необходимую масштабируемость.

2. Безопасность:
   • Уровень безопасности обеспечивается сочетанием симметричных и асимметричных криптографических методов.
   • Включены программы безопасности и аудиты для систематического выявления уязвимостей.

3. Совместимость:
   • Greenfield поддерживает множество различных протоколов и стандартов, что делает её совместимой с существующими децентрализованными приложениями.

4. Экономическая эффективность:
   • Оптимизированное использование узлов и ресурсов позволяет значительно снизить операционные затраты.

Возможное применение сети Greenfield

1. Децентрализованные приложения (dApps):
   • Greenfield может использоваться для развертывания и управления децентрализованными приложениями, такими как DeFi-протоколы, платформы для обмена NFT и социальные сети.

2. Финансовые технологии (FinTech):
   • Подходит для создания децентрализованных финансовых продуктов, таких как кредитные платформы, системы инвестиций и страхования.

3. IoT и умные города:
   • Greenfield может применяться в Интернете вещей (IoT) для управления устройствами и сбора данных в реальном времени.
   • В умных городах сеть может быть использована для управления инфраструктурой и службами.

4. Цифровое управление данными:
   • Может быть использована для создания безопасных и прозрачных систем управления данными и идентификацией.

5. Игровая индустрия:
   • Greenfield также может поддерживать разработку децентрализованных игровых платформ и игровых токенов.

Преимущества использования сети Greenfield

• Высокая производительность: Обеспечивает нужный уровень масштабируемости и быстрой обработки транзакций.
• Безопасность: Разработана с высокой степенью безопасности, что делает её надёжным выбором для критически важных приложений.
• Совместимость и интеграция: Позволяет легко интегрировать текущие системы и протоколы.
• Экономия затрат: Эффективное использование ресурсов способствует снижению издержек.

Заключение

Сеть Greenfield от Binance представляет собой мощную и многообещающую платформу для развития децентрализованных приложений и финансовых технологий. Её широкие возможности и особенности делают её подходящей для множества применений, от финансовых технологий до Интернета вещей и игровой индустрии.

Для работы с сетью я почему то сразу выбрал утилиту командной строки. Ее можно собрать из коду тут. Настроить ее было не очень очевидным, фактически ей нужно скормить ключ от кошелька, произвести пару настроек и закинуть в мост некоторое количество bnb на баланс, так как оплата в сети производится токенами bnb. Мне кстати это не очень нравится, но видимо другого пути нету пока.

Кстати есть еще хранилка в блокчейне storj, но сейчас рассказ не про нее, да и там нет такого многообразия управления контентом и. доступом как в Greenfield. Фактически там просто хранения и регистрация по почтовому ящику, но оплатить место можно токенами storj. Вот ее ноду я как раз и запустил, благо она не Токая требовательная к стейкингу.

Настраиваем cli Greenfield:

Тут есть подробная инструкция.

Либо можно так:

git clone https://github.com/bnb-chain/greenfield-cmd.git
cd greenfield-cmd
# Find the latest release here: https://github.com/bnb-chain/greenfield-cmd/releases
git checkout -b branch-name v1.0.2
make build
cd build
./gnfd-cmd -h

Потом так:

// import key and generate a keystore file 
gnfd-cmd account import key.txt

Генерируем аккаунт:

// new account and generate keystore key.json
gnfd-cmd account account new

Посмотреть аккаунт можно так:

// list the account info and keystore path
gnfd-cmd account ls

// display the encrypted keystore or the private key 
gnfd-cmd account export --unarmoredHex --unsafe

Ну вы далее знаете, что делать. все сохраняем, храним надежно и т.д.

Приступаем к работе и создаем бакет:

gnfd-cmd bucket create gnfd://testbucket

в моем случае я сделал бакет data и папку nft.

вот так:

(base) yuriygavrilov@MBP-Yuriy build % ./gnfd-cmd object put anton.json gnfd://data/nft/anton.json
Please enter the passphrase now:
object nft/anton.json created on chain 
transaction hash:  068B3F225FED2AD74161D8ED370D809B10E58DC2B3F0EA5E809BAD19E43B5442
uploading progress: 100.00% [ 878B / 878B ], rate: 1000.28 Byte/s    
sealing...
upload nft/anton.json to gnfd://data/nft/anton.json

Я не нашел как посмотреть публичную ссылку в командной строке, но это можно сделать в сервисе
dcellar.

Вот так это выглядит:

ну и еще загрузим на будущее саму фотку так:

./gnfd-cmd object put anton.jpg gnfd://data/nft/anton.jpg

и да, сам json я готовил по стандарту erc-721, тут можно почитать про него подробнее: https://eips.ethereum.org/EIPS/eip-721

Взял там ключевое, формат файла метаданных:

{"name": "Anton Gusev", "description": "Anton Gusev is the founder of the WEB 3.0 ecosystem CLC (mobile applications and blockchain projects), an NFT collector. He is an expert in launching startups and developing businesses (IT, e-commerce). He runs his own YouTube channel about management, investments, and technologies. Anton is a speaker and enthusiast in the field of cryptocurrencies, metaverses, neural networks, and modern technologies. He hosts YouTube and Telegram channels called - Duck Tales. He is also the author of articles in business publications, a consultant on launching new projects and market entry strategies. Anton is a writer (his novel is called - Fish Always Swim to the Right), a producer, a designer of stories and characters, and a fan of animation (especially Japanese).", "image": "https://greenfield-sp.defibit.io:443/view/data/nft/anton.jpg"}

Теперь идем дальше, нужно научится делать смарт контракт. Было не просто, кучу всего надставить локально, настраивать окружения и т.д. но в итоге я нашел отличный сервисы и справился проще и быстрее.

Нам понадобиться https://wizard.openzeppelin.com, https://remix.ethereum.org и еще, но не обязательно https://www.alchemy.com

openzeppelin – поможет составить контракт
remix – задеплоить контракт
alchemy – мне пригодилась для создания api ключей и написания js приложения для тестирования с помощью нейронки gpt4o. Кстати справилась хорошо, но были ошибки. с зависимостями в силу изменений и пришлось чуть чуть поправить код и импорты.

Заходим в визард для создания контракта:

Код получился примерно такой:

// SPDX-License-Identifier: MIT
// Compatible with OpenZeppelin Contracts ^5.0.0
pragma solidity ^0.8.20;

import "@openzeppelin/contracts@5.0.2/token/ERC721/ERC721.sol";
import "@openzeppelin/contracts@5.0.2/token/ERC721/extensions/ERC721Burnable.sol";
import "@openzeppelin/contracts@5.0.2/access/Ownable.sol";

contract AntonGussev is ERC721, ERC721Burnable, Ownable {
    constructor(address initialOwner)
        ERC721("Anton Gussev", "NFT")
        Ownable(initialOwner)
    {}

    function _baseURI() internal pure override returns (string memory) {
        return "https://greenfield-sp.defibit.io/view/data/nft/anton.json";
    }

    function safeMint(address to, uint256 tokenId) public onlyOwner {
        _safeMint(to, tokenId);
    }
}

Далее переходим в remix и компилируем

Далее переходим в деплой, указываем сеть Sepolia и первоначального владельца.
Теперь можно жать деплой.

Я подключался из метамаска и там надо будет подтвердить транзакцию из него.
После чего reemix выдаст лог и ссылку на транзакцию.

У меня уже есть контракт поэтому я не буду новый делать.

После успешного деплоя нужно вызвать функцию минта NFT из него.
Для этого находим функцию и делаем транзакцию

Лог выглядит так:

Можно переходить по ссылке и смотреть ее

Далее можно заходить на OpenSea и смотреть, что вышло:

https://testnets.opensea.io/collection/anton-gusev

И вот тут у меня было сложности как видите. или точнее не видите.
Первый раз я что то накосячил и картинки были не видны как и тут четвертая:

Я не знал, что делать и как проверить. В интернете писали, что тестовый opensea не поддерживает картинки, а чеканить без гарантии в основной сети я не хотел. Это стоило около 50 баксов без минта.

В общем я решил спросить сеть и написать прогу для теста NFT.

Нейронка выдала примерно это:

require('dotenv').config();
const axios = require('axios');
const { ethers, JsonRpcProvider } = require('ethers');

// Ensure the ALCHEMY_API_KEY is loaded properly
if (!process.env.ALCHEMY_API_KEY) {
    throw new Error("Missing ALCHEMY_API_KEY environment variable");
}

const provider = new JsonRpcProvider(`https://eth-sepolia.g.alchemy.com/v2/${process.env.ALCHEMY_API_KEY}`);
const contractAddress = '0x084cc7deda8cd1dc0051362ed514d510a0e65225';
const abi = [
    "function tokenURI(uint256 tokenId) external view returns (string memory)"
];

const contract = new ethers.Contract(contractAddress, abi, provider);

async function getTokenMetadata(tokenId) {
    try {
        const tokenURI = await contract.tokenURI(tokenId);
        console.log("Token URI:", tokenURI);

        const metadataResponse = await axios.get(tokenURI);
        const metadata = metadataResponse.data;
        console.log("Metadata:", metadata);

        return metadata;
    } catch (error) {
        console.error("Error fetching token metadata:", error);
    }
}

const tokenId = 4;
getTokenMetadata(tokenId);

ну и то, что нужно поставить:

npm install ethers
npm install dotс
npm install axios

mkdir nft-sepolia
cd nft-sepolia
npm init -y
touch fetchNFT.js
touch .env

Код выше я уже подредактировал на мой контракт и токен id 4. Для проверки текущего минта.
Еще были и другие попытки, но я выбрал эту так как нужен API ключ, а ключ Alchemy мне легко достался.
в файл .env нужно прописать ключ api “ALCHEMY_API_KEY=XXXXX” Полученный на из аккаунта https://www.alchemy.com

Теперь вроде все, можно проверять.

Запускаем...

node fetchNFT.js

Класс, видно, что работает.. и цвет зеленый, значит json формат хороший.
Вот так я и нашел багу первую, у меня вывод был не зеленый. А у других NFT зеленый. Оказалось дело было в квотировании кавычками внутри текста. Пришлось убрать “ и заменить их просто дефисом.

Но почему не видно картинку на OpenSea все же?

А наше еще зайти на нее и нажать обновление метаданных тут:

Жмем... ждем... иии....

Магия не происходит))) в этот раз я где то еще накосячил. ( контракт не тот указал блин 🙈🙈🙈, но когда это писал этого я еще не знал :) )

А прошлый лог оказался от другого токен id.

Вот, точно. BaseURI и TokenID совмещаются это есть в спецификации контракта и можно проверить через вызов контракта как на картинке:

В общем кидаем еще один json чик с id 4 и должно заработать...

(base) yuriygavrilov@MBP-Yuriy build % ./gnfd-cmd object put anton.json gnfd://data/nft/anton.json4
Please enter the passphrase now:
object nft/anton.json4 created on chain 
transaction hash:  CB93C2CF1EF22DBAEF4A99F32893D2342BE2FD762EA7D832EC8C31BD74036E8A
uploading progress: 100.00% [ 878B / 878B ], rate: 1.01 KB/s    
sealing...
upload nft/anton.json4 to gnfd://data/nft/anton.json4

Вот, теперь норм должно быть, проверяем:

Еще надо обновить мету на OpenSea...

И проверим наш текущий id через наш скрипт

node fetchNFT.js

Все! 🥳🥳🥳

Теперь можно продавать Антону :)

🤑🤑🤑🤑🤑🤑

На что еще можно обратить внимание при выборе хранения:

www.arweave.org – The Arweave network is like Bitcoin, but for data: A permanent and decentralized web inside an open ledger. Можно тут попробовать: www.akord.com
nft.storage
storj.io

https://ucm-wiki.g8way.io/#/en/main – Universal Content Marketplace

Простые чаты, много нейронок, есть api. Из минусов – не генерит картинки, а только ascii котиков. Можно оплачивать криптой.

https://openrouter.ai/