{
    "version": "https:\/\/jsonfeed.org\/version\/1.1",
    "title": "Yuriy Gavrilov: posts tagged bacalhau",
    "_rss_description": "Welcome to my personal place for love, peace and happiness 🤖 Yuiry Gavrilov",
    "_rss_language": "en",
    "_itunes_email": "yvgavrilov@gmail.com",
    "_itunes_categories_xml": "",
    "_itunes_image": "https:\/\/gavrilov.info\/pictures\/userpic\/userpic-square@2x.jpg?1643451008",
    "_itunes_explicit": "no",
    "home_page_url": "https:\/\/gavrilov.info\/tags\/bacalhau\/",
    "feed_url": "https:\/\/gavrilov.info\/tags\/bacalhau\/json\/",
    "icon": "https:\/\/gavrilov.info\/pictures\/userpic\/userpic@2x.jpg?1643451008",
    "authors": [
        {
            "name": "Yuriy Gavrilov - B[u]g - for charity.gavrilov.eth",
            "url": "https:\/\/gavrilov.info\/",
            "avatar": "https:\/\/gavrilov.info\/pictures\/userpic\/userpic@2x.jpg?1643451008"
        }
    ],
    "items": [
        {
            "id": "218",
            "url": "https:\/\/gavrilov.info\/all\/raspredelyonnoe-hranilische-dannyh-s-bacalhau-i-duckdb\/",
            "title": "Распределённое хранилище данных с Bacalhau и DuckDB",
            "content_html": "<p>Оригинал тут: <a href=\"https:\/\/blog.bacalhau.org\/p\/distributed-data-warehouse-with-bacalhau\">https:\/\/blog.bacalhau.org\/p\/distributed-data-warehouse-with-bacalhau<\/a><\/p>\n<p>Это часть 5-дневной серии о Bacalhau 1.7<\/p>\n<p><a href=\"https:\/\/blog.bacalhau.org\/p\/announcing-bacalhau-17-empowering\">День 1: Анонс Bacalhau 1.7.0: Расширение возможностей предприятий за счет улучшенной масштабируемости, управления заданиями и поддержки<\/a><br \/>\n<a href=\"https:\/\/blog.bacalhau.org\/p\/bacalhau-v170-day-2-scaling-your\">День 2: Масштабирование вычислительных задач с помощью разделенных заданий Bacalhau<\/a><br \/>\n<a href=\"https:\/\/blog.bacalhau.org\/p\/bacalhau-v170-day-3-streamlining\">День 3: Упрощение безопасности: Облегчение модели аутентификации Bacalhau<\/a><br \/>\n<a href=\"https:\/\/blog.bacalhau.org\/p\/bacalhau-v170-day-4-using-aws-s3\">День 4: Использование разделения AWS S3 с Bacalhau<\/a><\/p>\n<p>Это пятая часть – Распределенное хранилище данных с Bacalhau и DuckDB<\/p>\n<p>Во многих приложениях, полагающихся на хранилища данных, необходимо хранить источники данных в разных местах. Это может быть связано с соображениями конфиденциальности, нормативными требованиями или желанием обрабатывать данные ближе к источнику. Однако бывают случаи, когда необходимо проводить анализ этих источников данных из одного места, не перемещая данные.<\/p>\n<p>В этой статье Bacalhau используется для организации распределенной обработки, а DuckDB предоставляет возможности SQL-хранения и запросов для некоторой фиктивной информации о продажах, расположенной в ЕС и США.<\/p>\n<p>Предварительные требования<\/p>\n<p>Для воспроизведения этого руководства вам понадобятся следующие компоненты:<\/p>\n<ul>\n<li>Bacalhau CLI<\/li>\n<li>Docker и Docker Compose<\/li>\n<li>Пример многорегиональной настройки:<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">git clone https:\/\/github.com\/bacalhau-project\/examples.git<\/code><\/pre><p>Архитектура<\/p>\n<p>Пример файла Docker Compose и определения заданий Bacalhau в репозитории примеров имитируют следующую архитектуру:<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-169.png\" width=\"1456\" height=\"537\" alt=\"\" \/>\n<\/div>\n<ul>\n<li>Оркестратор Bacalhau:** Центральная панель управления для распределения заданий<\/li>\n<li>Вычислительные узлы:** Распределены по регионам, работают близко к данным<\/li>\n<li>Региональное хранилище:** Региональные хранилища данных, использующие MinIO в этой настройке<\/li>\n<li>DuckDB:** Механизм SQL-запросов, работающий на каждом вычислительном узле. Bacalhau использует пользовательский образ, который добавляет несколько определяемых пользователем функций для помощи в разделении больших наборов данных между узлами на основе следующих методов:\n<ul>\n  <li>`partition_by_hash`: Равномерное распределение файлов по разделам<\/li>\n  <li>`partition_by_regex`: Разделение на основе шаблонов<\/li>\n  <li>`partition_by_date`: Разделение на основе времени<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>Вы можете найти более подробную информацию о том, как работают эти функции, в документации по пользовательскому образу.<br \/>\nВы можете увидеть настройку каждого компонента в файле Docker Compose. Создайте архитектуру, выполнив следующую команду:<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">docker compose up -d<\/code><\/pre><p>Файл Docker Compose использует несколько файлов конфигурации Bacalhau, которые вы можете увидеть в папке configuration, где вычислительные узлы помечены как узлы US и EU соответственно.<\/p>\n<p>Они также настраивают узлы оркестратора для записи данных в региональные бакеты MinIO.<\/p>\n<p>Создание образцов данных<\/p>\n<p>После того, как вы создали имитацию инфраструктуры, вы можете создать образцы данных, используя задание генератора данных, чтобы записать 3000 записей в каждый регион в формате JSON в соответствующий бакет MinIO.<\/p>\n<h2>Перейдите в каталог заданий<\/h2>\n<pre class=\"e2-text-code\"><code class=\"\">cd ..\/jobs<\/code><\/pre><p>Сгенерируйте данные для США:<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us -V Events=3000 \\\n-V StartDate=2024-01-01 -V EndDate=2024-12-31 \\\n-V RotateInterval=month data-generator.yaml<\/code><\/pre><p>Сгенерируйте данные для ЕС:<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=eu -V Events=3000 \\\n-V StartDate=2024-01-01 -V EndDate=2024-12-31 \\\n-V RotateInterval=month data-generator.yaml<\/code><\/pre><p>Доступ к данным для анализа<\/p>\n<p>Bacalhau поддерживает два способа доступа к региональным данным:<\/p>\n<ul>\n<li>Источники ввода Bacalhau**<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">InputSources:\n    - Type: s3\n      Source:\n        Bucket: local-bucket\n        Key: &quot;data\/*&quot;<\/code><\/pre><p>Этот метод предоставляет больше контроля, параметров предварительной обработки и поддерживает другие типы источников, помимо S3.<\/p>\n<ul>\n<li>Прямой доступ DuckDB**<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">SET VARIABLE files = (\n    SELECT LIST(file)\n    FROM partition_by_hash('s3:\/\/local-bucket\/**\/*.jsonl')\n    );\n    SELECT * FROM read_json_auto(getvariable('files'));<\/code><\/pre><p>Этот метод проще и привычнее для заданий, использующих только SQL. Определения заданий также используют SQL-запросы для обработки данных из источника ввода.<\/p>\n<p>Выполнение анализа<\/p>\n<p>После размещения данных вы можете отправлять задачи анализа в виде заданий Bacalhau. В каждом случае, после запуска задания используйте `<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job describe &lt;job_id&gt;<\/code><\/pre><p>`, чтобы увидеть результаты задания, передав идентификатор задания из вывода команды `<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run<\/code><\/pre><p>`. Во всех примерах показано использование данных из США. Вы также можете изменить `Region` на `eu`, чтобы увидеть результаты из региона ЕС.<\/p>\n<ul>\n<li>Анализ месячных трендов**<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us monthly-trends.yaml<\/code><\/pre><p>Определение задания.<\/p>\n<p>Пример вывода:<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">month      | total_txns | revenue | unique_customers | avg_txn_value\n------------|------------|----------|------------------|---------------\n2024-03-01 | 3,421      | 178,932  | 1,245            | 52.30\n2024-02-01 | 3,156      | 165,789  | 1,189            | 52.53\n2024-01-01 | 2,987      | 152,456  | 1,023            | 51.04<\/code><\/pre><ul>\n<li>Оперативный мониторинг**<\/li>\n<\/ul>\n<ul>\n<li>Hourly Operations (Почасовые операции)\n<ul>\n  <li>Отслеживает метрики работоспособности<\/li>\n  <li>Контролирует процент успешных транзакций<\/li>\n  <li>Показывает почасовые закономерности<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us hourly-operations.yaml<\/code><\/pre><ul>\n<li>Anomaly Detection (Обнаружение аномалий)\n<ul>\n  <li>Идентифицирует необычные паттерны<\/li>\n  <li>Использует статистический анализ<\/li>\n  <li>Отмечает значительные отклонения<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us anomaly-detection.yaml<\/code><\/pre><ul>\n<li>Бизнес-аналитика**<\/li>\n<\/ul>\n<ul>\n<li>Product Performance (Эффективность продукта)\n<ul>\n  <li>Анализирует эффективность категорий<\/li>\n  <li>Отслеживает долю рынка<\/li>\n  <li>Показывает паттерны продаж<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us product-performance.yaml<\/code><\/pre><ul>\n<li>Monthly Trends (Месячные тренды)\n<ul>\n  <li>Долгосрочный анализ трендов<\/li>\n  <li>Месячные агрегации<\/li>\n  <li>Ключевые бизнес-показатели<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us monthly-trends.yaml<\/code><\/pre><ul>\n<li>Анализ клиентов**<\/li>\n<\/ul>\n<ul>\n<li>Customer Segmentation (Two-Phase) (Сегментация клиентов (Двухфазная))\n<ul>\n  <li>Фаза 1: Вычисление локальных метрик<\/li>\n  <li>Фаза 2: Объединение и сегментация<\/li>\n  <li>Запустите Фазу 1<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us customer-segments-phase1.yaml<\/code><\/pre><ul>\n<li>Запомните ID задания и запустите Фазу 2<\/li>\n<\/ul>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau job run -V Region=us -V JobID=&lt;phase1-job-id&gt; customer-segments-phase2.yaml<\/code><\/pre><p>Итог<\/p>\n<p>В этой статье объединены распределенные вычислительные мощности Bacalhau с гибкими возможностями SQL DuckDB для создания распределенного хранилища данных, разнесенного по регионам. Примеры заданий Bacalhau предоставляют ряд аналитических задач, от оперативного мониторинга до сегментации клиентов, при этом данные остаются в исходном месте и используются запросы SQL к данным, хранящимся в S3-совместимых бакетах.<\/p>\n",
            "date_published": "2025-03-30T21:35:04+03:00",
            "date_modified": "2025-03-30T21:35:00+03:00",
            "tags": [
                "bacalhau",
                "Data",
                "Open Source"
            ],
            "image": "https:\/\/gavrilov.info\/pictures\/image-169.png",
            "_date_published_rfc2822": "Sun, 30 Mar 2025 21:35:04 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "218",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [
                    "highlight\/highlight.js",
                    "highlight\/highlight.css"
                ],
                "og_images": [
                    "https:\/\/gavrilov.info\/pictures\/image-169.png"
                ]
            }
        },
        {
            "id": "188",
            "url": "https:\/\/gavrilov.info\/all\/raspredelennoe-mashinnoe-obuchenie-s-pomoschyu-bacalhau-bluesky\/",
            "title": "Распределенное машинное обучение с помощью Bacalhau Bluesky Bot",
            "content_html": "<h4>Распределенное машинное обучение с помощью Bacalhau Bluesky Bot<\/h4>\n<p>Использование моделей машинного обучения стало проще, чем когда-либо!<br \/>\n<b>Шон М. Трейси<\/b><\/p>\n<p>22 января  2025<\/p>\n<p>Оригинал: <a href=\"https:\/\/blog.bacalhau.org\/p\/distributed-ml-with-the-bacalhau\">https:\/\/blog.bacalhau.org\/p\/distributed-ml-with-the-bacalhau<\/a><br \/>\nБот: <a href=\"https:\/\/github.com\/bacalhau-project\/bacalhau-bluesky-bot\">https:\/\/github.com\/bacalhau-project\/bacalhau-bluesky-bot<\/a><\/p>\n<p>---<\/p>\n<p>Некоторое время назад мы выпустили Bacalhau Bluesky Bot (профиль Bluesky). Мы подумали, что это будет интересный способ показать людям, насколько просто интегрировать существующие приложения и сервисы с сетью Bacalhau, а также дать возможность пользователям запускать задачи.<\/p>\n<p>Но Bacalhau Bot может делать гораздо больше, чем просто выполнять код и возвращать результаты. Мы решили продемонстрировать, как легко Bacalhau можно использовать для запуска моделей машинного обучения на любых доступных вычислительных ресурсах, и вот что у нас получилось!<\/p>\n<h4>Что он делает?<\/h4>\n<p>В первой версии Bacalhau Bluesky Bot вы могли запускать задачи, отправляя команды, как в Bacalhau CLI. Например:<\/p>\n<p>```<br \/>\n@jobs.bacalhau.org job run <URL_TO_CONFIG.YAML_FILE><br \/>\n```<\/p>\n<p>Мы сделали это так, чтобы люди, знакомые с CLI, сразу понимали, что можно делать с помощью бота, а те, кто никогда не использовал CLI, могли познакомиться с Bacalhau, не настраивая всю сеть.<\/p>\n<p>Теперь мы немного отошли от интерфейса CLI, чтобы показать более специализированные сценарии использования. Начиная с сегодняшнего дня, вы можете классифицировать любое изображение, отправив его Bacalhau Bluesky Bot с прикрепленной картинкой в посте. Bacalhau использует YOLO для обнаружения объектов на изображении и отправляет результат обратно — всё это занимает менее 30 секунд!<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-112.png\" width=\"1600\" height=\"1036\" alt=\"\" \/>\n<\/div>\n<h4>Как это работает?<\/h4>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-113.png\" width=\"1600\" height=\"800\" alt=\"\" \/>\n<\/div>\n<p>В принципе работы Bacalhau Bluesky Bot мало что изменилось, просто добавился код для обработки задач классификации и возврата результатов после их выполнения.<\/p>\n<p>Когда вы отправляете изображение боту с командой:<\/p>\n<p>```<br \/>\n@jobs.bacalhau.org classify<br \/>\n```<\/p>\n<p>Бот читает ваш пост, получает URL изображения и отправляет задачу в сеть Bacalhau Bot Network. Эта сеть ничем не отличается от обычной сети Bacalhau, за исключением того, что взаимодействовать с ней можно только через Bacalhau Bluesky Bot.<\/p>\n<p>Бот загружает шаблонный файл `job.yaml`, который указывает контейнер для выполнения задачи, и передает переменные для загрузки вашего изображения и его классификации.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-114.png\" width=\"1096\" height=\"654\" alt=\"\" \/>\n<\/div>\n<p>После загрузки YAML-файла он преобразуется в JSON и отправляется через API в оркестратор Bacalhau, который запускает задачу и возвращает ID задачи.<\/p>\n<p>Оркестратор анализирует сеть и назначает задачу на любой доступный вычислительный узел.<\/p>\n<p>Узел, получивший задачу, использует переменные окружения из `job.yaml`, чтобы загрузить изображение из CDN Bluesky, а затем применяет YOLO для классификации объектов на изображении.<\/p>\n<p>Этот процесс занимает около 10 секунд — даже на машине без GPU. Это яркий пример того, насколько продвинулись модели машинного обучения за последние годы, позволяя выполнять сложные задачи на устройствах, которые раньше с этим не справлялись.<\/p>\n<p>После классификации изображения наш код рисует ограничивающие рамки вокруг объектов на новом файле, отправляет его в хранилище объектов вместе с метаданными для последующего извлечения ботом и возвращает UUID, который бот использует для доступа к этим данным.<\/p>\n<p>Пока всё это происходит, Bacalhau Bluesky Bot отслеживает задачу и через 30 секунд использует возвращенный UUID, чтобы получить классифицированное изображение и метаданные из общего хранилища объектов.<\/p>\n<p>После этого бот использует API Bluesky, чтобы опубликовать ответ с метаданными и аннотированным изображением в ответ на исходный пост. И вуаля! Вы получаете результат работы распределенной системы машинного обучения прямо в уведомлениях Bluesky!<\/p>\n<h4>Попробуйте сами!<\/h4>\n<p>Эти изменения уже доступны! Просто зайдите в Bluesky под своим аккаунтом и отправьте пост:<\/p>\n<p>```<br \/>\n@jobs.bacalhau.org classify<br \/>\n```<\/p>\n<p>...с прикрепленным изображением, и мы предоставим вам результаты классификации менее чем за минуту!<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-115.png\" width=\"1600\" height=\"625\" alt=\"\" \/>\n<\/div>\n<h4>Заключение<\/h4>\n<p>Мы создали Bacalhau Bluesky Bot, чтобы показать, насколько просто интегрировать продукты, приложения и платформы с Bacalhau. Если у вас есть идея, как можно использовать распределенные вычисления, дайте нам знать! Мы всегда рады услышать интересные и инновационные идеи, которые продвигают распределенные вычисления вперед!<\/p>\n<p>Работает :)<\/p>\n<p>@jobs.bacalhau.org classify<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-01-23-v-00.38.18.png\" width=\"1670\" height=\"1638\" alt=\"\" \/>\n<\/div>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-01-23-v-00.41.29.png\" width=\"1696\" height=\"1062\" alt=\"\" \/>\n<\/div>\n<p>и даже так :)<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-01-23-v-20.58.20.png\" width=\"1680\" height=\"1568\" alt=\"\" \/>\n<\/div>\n",
            "date_published": "2025-01-23T00:14:48+03:00",
            "date_modified": "2025-01-23T21:13:09+03:00",
            "tags": [
                "AI",
                "bacalhau"
            ],
            "image": "https:\/\/gavrilov.info\/pictures\/image-112.png",
            "_date_published_rfc2822": "Thu, 23 Jan 2025 00:14:48 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "188",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [],
                "og_images": [
                    "https:\/\/gavrilov.info\/pictures\/image-112.png",
                    "https:\/\/gavrilov.info\/pictures\/image-113.png",
                    "https:\/\/gavrilov.info\/pictures\/image-114.png",
                    "https:\/\/gavrilov.info\/pictures\/image-115.png",
                    "https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-01-23-v-00.38.18.png",
                    "https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-01-23-v-00.41.29.png",
                    "https:\/\/gavrilov.info\/pictures\/Snimok-ekrana-2025-01-23-v-20.58.20.png"
                ]
            }
        },
        {
            "id": "88",
            "url": "https:\/\/gavrilov.info\/all\/bacalhau-platforma-dlya-bystroy-nedorogoy-i-bezopasnoy-vychislit\/",
            "title": "Bacalhau – платформа для быстрой, недорогой и безопасной вычислительной технологии",
            "content_html": "<p>Частичный перевод <a href=\"https:\/\/www.bacalhau.org\">https:\/\/www.bacalhau.org<\/a> <a href=\"https:\/\/github.com\/bacalhau-project\/bacalhau\">https:\/\/github.com\/bacalhau-project\/bacalhau<\/a> и <a href=\"http:\/\/expanso.io\">http:\/\/expanso.io<\/a><\/p>\n<p><a href=\"https:\/\/www.bacalhau.org\">https:\/\/www.bacalhau.org<\/a> — это платформа для быстрой, недорогой и безопасной вычислительной технологии, которая позволяет пользователям запускать вычислительные задания там, где данные создаются и хранятся.<br \/>\nС открытым исходным кодом программного обеспечения bacalhau вы можете оптимизировать свои существующие рабочие процессы без необходимости переписывать код, выполняя задачи Docker и веб-ассемблера (WASM) в виде заданий. Эта архитектура также известна как вычисление над данными (CoD).<br \/>\nНазвание “bacalhau” происходит от португальского слова для треска.<\/p>\n<p>bacalhau стремится преобразовать обработку данных для больших наборов данных, улучшить эффективность и снизить стоимость, а также открыть обработку данных для более широкой аудитории. Наша цель — создать открытую, совместную вычислительную экосистему, которая позволит совершить несравненную коллаборацию. Мы (Expanso.io) предлагаем демонстрационную сеть, чтобы вы могли попробовать работу без установки. Попробуйте!<\/p>\n<p>Почему Бакальхау?<br \/>\n⚡️ Бакальхау упрощает процесс управления вычислительными заданиями, предоставляя единую платформу для управления заданиями в разных регионах, облаках и устройствах на границе сети.<br \/>\n🤝 Бакальхау обеспечивает надежную и устойчивую к сетевым сбоям оркестрацию, гарантируя, что ваши задания будут выполнены даже при сетевых сбоях.<br \/>\n🚨 Бакальхау предоставляет полную и постоянную аудиторскую запись того, что произошло, поэтому вы можете быть уверены, что ваши задания выполняются безопасно.<br \/>\n🔐 Вы можете запускать частные рабочие процессы для снижения вероятности утечки конфиденциальной информации или случайной передачи ваших данных за пределы вашей организации.<br \/>\n💸 Бакальхау снижает затраты на вход и выход, поскольку задания обрабатываются ближе к источнику.<br \/>\n🤗 Вы можете прикрепить свои данные к любой машине, и Бакальхау сможет выполнять задания с этими данными.<br \/>\n💥 Вы можете интегрироваться с сервисами, работающими на узлах, для выполнения заданий, например на DuckDB.<br \/>\n📚 Бакальхау масштабируется для обработки параллельных заданий. Вы можете обрабатывать петабайты (квадриллионы байт) данных.<\/p>\n<p>А вот еще одна статья из рассылки:<\/p>\n<p>В проекте lighthouse, который принимает новые технологии, ВМС США выбрали открытое программное обеспечение Bacalhau, поддерживаемое Expanso, в качестве решения для оркестрации. Программное обеспечение Bacalhau помогает ВМС США достичь своей цели развертывания возможностей искусственного интеллекта в подводных операциях. Совместно с нашим партнером Mycelial, Expanso преодолел несколько препятствий, чтобы позволить использование аналитики с использованием искусственного интеллекта в сложных и суровых условиях глубоководных сред. Bacalhau также соответствовал строгим стандартам безопасности ВМС США, одновременно позволяя доступ к данным и вычислениям по неустойчивым сетям.<\/p>\n<p>Роль Bacalhau в беспилотных морских операциях<br \/>\nСовременные военно-морские суда оснащены сложными датчиками и системами, которые повышают их боевую эффективность. Среди них, беспилотные подводные аппараты (UUV) и беспилотные поверхностные аппараты (USV) ВМС США генерируют значительное количество ценных данных, которые необходимы для принятия решений. Bacalhau улучшает возможности вычисления на устройстве этих беспилотных систем (так называемая Compute-over-Data), используя свой инновационный подход к бесшовной развертываемости на краю и предоставляя возможность планировать и контролировать задания из любой точки мира.<\/p>\n<p>Вклад Bacalhau в программу JADC2<br \/>\nПрограмма Joint All Domain Command and Control (JADC2) Департамента обороны ознаменовала важный шаг в направлении искусственного интеллекта\/машинного обучения (AI\/ML)-ориентированной боевой готовности. Bacalhau сыграл ключевую роль в этом сдвиге. Bacalhau облегчает развертывание сложных моделей, обслуживание и наблюдаемость развернутых решений и обеспечивает надежное обновление новых версий по мере обучения и доработки. Предоставление глобального обзора и надежной вычислительной мощности может быть особенно сложным при работе с сетями, которые могут отключиться в любое время; Bacalhau platform эффективно решает эти проблемы как часть своего дизайна.<br \/>\nБезупречная интеграция данных<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-1.png\" width=\"342\" height=\"342\" alt=\"\" \/>\n<\/div>\n<p>Успех этого проекта зависел от обмена данными по всему флоту беспилотных судов, как управляемых, так и беспилотных, а также в облачных средах. Bacalhau platform, в сочетании с коннектором Kafka Mycelial, обеспечил синхронизацию реального времени и вычисление на устройстве по сетям различного качества и пропускной способности.<\/p>\n<p>Минимальная инфраструктура, максимальная защита<\/p>\n<p>Конвенциональные решения требуют значительных инвестиций в аппаратное обеспечение, тогда как Bacalhau спроектирован на максимизацию эффективности с минимальной инфраструктурой и передачей данных. Если имеется доступная емкость, платформа Bacalhau может работать на существующих устройствах и системах, избегая необходимости новых аппаратных установок. Повторное использование существующих систем в организации также предлагает преимущества, поскольку они были проверены и заданы требования безопасности. Кроме того, в области, где пространство, вес и энергия (SWaP) являются критическими, Bacalhau демонстрирует, что эффективная обработка данных и защита могут быть достигнуты с минимальным использованием ресурсов. Bacalhau работает в гармонии с существующими технологиями, предлагая удобное решение для удовлетворения интенсивных потребностей морских операций.<\/p>\n<p>Bacalhau доступен как открытое программное обеспечение.<br \/>\n<a href=\"https:\/\/github.com\/bacalhau-project\/bacalhau\">https:\/\/github.com\/bacalhau-project\/bacalhau<\/a><\/p>\n<p>А вот еще кусочек как можно все проверить и ознакомиться с архитектурой:<\/p>\n<p>Архитектура<br \/>\nBacalhau — это пиринговая сеть узлов, которая позволяет осуществлять децентрализованное общение между компьютерами. В сети существуют два типа узлов:<br \/>\nУзел-запросчик: отвечает за обработку запросов пользователей, обнаружение и ранжирование вычислительных узлов, пересылку заданий на вычисление узлам вычисления и мониторинг жизненного цикла задания.<br \/>\nУзел вычисления: отвечает за выполнение заданий и получение результатов. Различные узлы вычисления могут использоваться для разных типов заданий, в зависимости от их возможностей и ресурсов.<\/p>\n<div class=\"e2-text-picture\">\n<img src=\"https:\/\/gavrilov.info\/pictures\/image-2.png\" width=\"814\" height=\"610\" alt=\"\" \/>\n<\/div>\n<p>Узел-запросчик и узлы вычисления вместе образуют пиринговую сеть и используют госспинг для обнаружения друг друга, обмена информацией о возможностях узла, доступных ресурсах и состоянии здоровья.<br \/>\nЧтобы взаимодействовать с сетью Bacalhau, пользователи могут использовать интерфейс командной строки Bacalhau (Bacalhau CLI) для отправки запросов узлу-запросчику в сети. Эти запросы отправляются в формате JSON по протоколу HTTP, широко используемому для передачи данных в интернете.<\/p>\n<p>Установка:<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">curl -sL https:\/\/get.bacalhau.org\/install.sh | bash<\/code><\/pre><p>Этот пример демонстрирует, как использовать stable diffusion на графическом процессоре и запускать его в сети Bacalhau. stable diffusion — это передовое текстовый модельер, который генерирует изображения из текста и был разработан как открытая альтернатива DALL·E 2. Он основан на модели смешения вероятностного типа и использует трансформер для генерации изображений из текста.<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau docker run --gpu 1 ghcr.io\/bacalhau-project\/examples\/stable-diffusion-gpu:0.0.1 -- python main.py --o .\/outputs --p &quot;cod swimming through data&quot;<\/code><\/pre><p>После чего нужно скачать результаты командой<\/p>\n<pre class=\"e2-text-code\"><code class=\"\">bacalhau get &lt;id&gt;<\/code><\/pre><p>подробнее тут: <a href=\"https:\/\/docs.bacalhau.org\/examples\/model-inference\/stable-diffusion-gpu\/\">https:\/\/docs.bacalhau.org\/examples\/model-inference\/stable-diffusion-gpu\/<\/a><\/p>\n<p>Сам проект: <a href=\"https:\/\/github.com\/bacalhau-project\/bacalhau\">https:\/\/github.com\/bacalhau-project\/bacalhau<\/a><br \/>\nРазные примеры: <a href=\"https:\/\/docs.bacalhau.org\/examples\">https:\/\/docs.bacalhau.org\/examples<\/a><\/p>\n<p>Сам проверял некоторые, отлично работают и дока хорошая.<br \/>\nЕще хорошо, что такую сеть можно запустить у себя в приватном режиме.<\/p>\n",
            "date_published": "2023-12-03T22:42:01+03:00",
            "date_modified": "2024-02-22T21:00:27+03:00",
            "tags": [
                "bacalhau",
                "big data",
                "CoD",
                "Open Source"
            ],
            "image": "https:\/\/gavrilov.info\/pictures\/image-1.png",
            "_date_published_rfc2822": "Sun, 03 Dec 2023 22:42:01 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "88",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [
                    "highlight\/highlight.js",
                    "highlight\/highlight.css"
                ],
                "og_images": [
                    "https:\/\/gavrilov.info\/pictures\/image-1.png",
                    "https:\/\/gavrilov.info\/pictures\/image-2.png"
                ]
            }
        }
    ],
    "_e2_version": 4171,
    "_e2_ua_string": "Aegea 11.4 (v4171e)"
}