{ "version": "https:\/\/jsonfeed.org\/version\/1.1", "title": "Yuriy Gavrilov: posts tagged CoD", "_rss_description": "Welcome to my personal place for love, peace and happiness 🤖 Yuiry Gavrilov", "_rss_language": "en", "_itunes_email": "yvgavrilov@gmail.com", "_itunes_categories_xml": "", "_itunes_image": "https:\/\/gavrilov.info\/pictures\/userpic\/userpic-square@2x.jpg?1643451008", "_itunes_explicit": "no", "home_page_url": "https:\/\/gavrilov.info\/tags\/cod\/", "feed_url": "https:\/\/gavrilov.info\/tags\/cod\/json\/", "icon": "https:\/\/gavrilov.info\/pictures\/userpic\/userpic@2x.jpg?1643451008", "authors": [ { "name": "Yuriy Gavrilov - B[u]g - for charity.gavrilov.eth", "url": "https:\/\/gavrilov.info\/", "avatar": "https:\/\/gavrilov.info\/pictures\/userpic\/userpic@2x.jpg?1643451008" } ], "items": [ { "id": "88", "url": "https:\/\/gavrilov.info\/all\/bacalhau-platforma-dlya-bystroy-nedorogoy-i-bezopasnoy-vychislit\/", "title": "Bacalhau – платформа для быстрой, недорогой и безопасной вычислительной технологии", "content_html": "

Частичный перевод https:\/\/www.bacalhau.org<\/a> https:\/\/github.com\/bacalhau-project\/bacalhau<\/a> и http:\/\/expanso.io<\/a><\/p>\n

https:\/\/www.bacalhau.org<\/a> — это платформа для быстрой, недорогой и безопасной вычислительной технологии, которая позволяет пользователям запускать вычислительные задания там, где данные создаются и хранятся.
\nС открытым исходным кодом программного обеспечения bacalhau вы можете оптимизировать свои существующие рабочие процессы без необходимости переписывать код, выполняя задачи Docker и веб-ассемблера (WASM) в виде заданий. Эта архитектура также известна как вычисление над данными (CoD).
\nНазвание “bacalhau” происходит от португальского слова для треска.<\/p>\n

bacalhau стремится преобразовать обработку данных для больших наборов данных, улучшить эффективность и снизить стоимость, а также открыть обработку данных для более широкой аудитории. Наша цель — создать открытую, совместную вычислительную экосистему, которая позволит совершить несравненную коллаборацию. Мы (Expanso.io) предлагаем демонстрационную сеть, чтобы вы могли попробовать работу без установки. Попробуйте!<\/p>\n

Почему Бакальхау?
\n⚡️ Бакальхау упрощает процесс управления вычислительными заданиями, предоставляя единую платформу для управления заданиями в разных регионах, облаках и устройствах на границе сети.
\n🤝 Бакальхау обеспечивает надежную и устойчивую к сетевым сбоям оркестрацию, гарантируя, что ваши задания будут выполнены даже при сетевых сбоях.
\n🚨 Бакальхау предоставляет полную и постоянную аудиторскую запись того, что произошло, поэтому вы можете быть уверены, что ваши задания выполняются безопасно.
\n🔐 Вы можете запускать частные рабочие процессы для снижения вероятности утечки конфиденциальной информации или случайной передачи ваших данных за пределы вашей организации.
\n💸 Бакальхау снижает затраты на вход и выход, поскольку задания обрабатываются ближе к источнику.
\n🤗 Вы можете прикрепить свои данные к любой машине, и Бакальхау сможет выполнять задания с этими данными.
\n💥 Вы можете интегрироваться с сервисами, работающими на узлах, для выполнения заданий, например на DuckDB.
\n📚 Бакальхау масштабируется для обработки параллельных заданий. Вы можете обрабатывать петабайты (квадриллионы байт) данных.<\/p>\n

А вот еще одна статья из рассылки:<\/p>\n

В проекте lighthouse, который принимает новые технологии, ВМС США выбрали открытое программное обеспечение Bacalhau, поддерживаемое Expanso, в качестве решения для оркестрации. Программное обеспечение Bacalhau помогает ВМС США достичь своей цели развертывания возможностей искусственного интеллекта в подводных операциях. Совместно с нашим партнером Mycelial, Expanso преодолел несколько препятствий, чтобы позволить использование аналитики с использованием искусственного интеллекта в сложных и суровых условиях глубоководных сред. Bacalhau также соответствовал строгим стандартам безопасности ВМС США, одновременно позволяя доступ к данным и вычислениям по неустойчивым сетям.<\/p>\n

Роль Bacalhau в беспилотных морских операциях
\nСовременные военно-морские суда оснащены сложными датчиками и системами, которые повышают их боевую эффективность. Среди них, беспилотные подводные аппараты (UUV) и беспилотные поверхностные аппараты (USV) ВМС США генерируют значительное количество ценных данных, которые необходимы для принятия решений. Bacalhau улучшает возможности вычисления на устройстве этих беспилотных систем (так называемая Compute-over-Data), используя свой инновационный подход к бесшовной развертываемости на краю и предоставляя возможность планировать и контролировать задания из любой точки мира.<\/p>\n

Вклад Bacalhau в программу JADC2
\nПрограмма Joint All Domain Command and Control (JADC2) Департамента обороны ознаменовала важный шаг в направлении искусственного интеллекта\/машинного обучения (AI\/ML)-ориентированной боевой готовности. Bacalhau сыграл ключевую роль в этом сдвиге. Bacalhau облегчает развертывание сложных моделей, обслуживание и наблюдаемость развернутых решений и обеспечивает надежное обновление новых версий по мере обучения и доработки. Предоставление глобального обзора и надежной вычислительной мощности может быть особенно сложным при работе с сетями, которые могут отключиться в любое время; Bacalhau platform эффективно решает эти проблемы как часть своего дизайна.
\nБезупречная интеграция данных<\/p>\n

\n\"\"\n<\/div>\n

Успех этого проекта зависел от обмена данными по всему флоту беспилотных судов, как управляемых, так и беспилотных, а также в облачных средах. Bacalhau platform, в сочетании с коннектором Kafka Mycelial, обеспечил синхронизацию реального времени и вычисление на устройстве по сетям различного качества и пропускной способности.<\/p>\n

Минимальная инфраструктура, максимальная защита<\/p>\n

Конвенциональные решения требуют значительных инвестиций в аппаратное обеспечение, тогда как Bacalhau спроектирован на максимизацию эффективности с минимальной инфраструктурой и передачей данных. Если имеется доступная емкость, платформа Bacalhau может работать на существующих устройствах и системах, избегая необходимости новых аппаратных установок. Повторное использование существующих систем в организации также предлагает преимущества, поскольку они были проверены и заданы требования безопасности. Кроме того, в области, где пространство, вес и энергия (SWaP) являются критическими, Bacalhau демонстрирует, что эффективная обработка данных и защита могут быть достигнуты с минимальным использованием ресурсов. Bacalhau работает в гармонии с существующими технологиями, предлагая удобное решение для удовлетворения интенсивных потребностей морских операций.<\/p>\n

Bacalhau доступен как открытое программное обеспечение.
\nhttps:\/\/github.com\/bacalhau-project\/bacalhau<\/a><\/p>\n

А вот еще кусочек как можно все проверить и ознакомиться с архитектурой:<\/p>\n

Архитектура
\nBacalhau — это пиринговая сеть узлов, которая позволяет осуществлять децентрализованное общение между компьютерами. В сети существуют два типа узлов:
\nУзел-запросчик: отвечает за обработку запросов пользователей, обнаружение и ранжирование вычислительных узлов, пересылку заданий на вычисление узлам вычисления и мониторинг жизненного цикла задания.
\nУзел вычисления: отвечает за выполнение заданий и получение результатов. Различные узлы вычисления могут использоваться для разных типов заданий, в зависимости от их возможностей и ресурсов.<\/p>\n

\n\"\"\n<\/div>\n

Узел-запросчик и узлы вычисления вместе образуют пиринговую сеть и используют госспинг для обнаружения друг друга, обмена информацией о возможностях узла, доступных ресурсах и состоянии здоровья.
\nЧтобы взаимодействовать с сетью Bacalhau, пользователи могут использовать интерфейс командной строки Bacalhau (Bacalhau CLI) для отправки запросов узлу-запросчику в сети. Эти запросы отправляются в формате JSON по протоколу HTTP, широко используемому для передачи данных в интернете.<\/p>\n

Установка:<\/p>\n

curl -sL https:\/\/get.bacalhau.org\/install.sh | bash<\/code><\/pre>
Этот пример демонстрирует, как использовать stable diffusion на графическом процессоре и запускать его в сети Bacalhau. stable diffusion — это передовое текстовый модельер, который генерирует изображения из текста и был разработан как открытая альтернатива DALL·E 2. Он основан на модели смешения вероятностного типа и использует трансформер для генерации изображений из текста.<\/p>\n
bacalhau docker run --gpu 1 ghcr.io\/bacalhau-project\/examples\/stable-diffusion-gpu:0.0.1 -- python main.py --o .\/outputs --p "cod swimming through data"<\/code><\/pre>
После чего нужно скачать результаты командой<\/p>\n
bacalhau get <id><\/code><\/pre>
подробнее тут: https:\/\/docs.bacalhau.org\/examples\/model-inference\/stable-diffusion-gpu\/<\/a><\/p>\n
Сам проект: https:\/\/github.com\/bacalhau-project\/bacalhau<\/a>
\nРазные примеры: https:\/\/docs.bacalhau.org\/examples<\/a><\/p>\n
Сам проверял некоторые, отлично работают и дока хорошая.
\nЕще хорошо, что такую сеть можно запустить у себя в приватном режиме.<\/p>\n",
            "date_published": "2023-12-03T22:42:01+03:00",
            "date_modified": "2024-02-22T21:00:27+03:00",
            "tags": [
                "bacalhau",
                "big data",
                "CoD",
                "Open Source"
            ],
            "image": "https:\/\/gavrilov.info\/pictures\/image-1.png",
            "_date_published_rfc2822": "Sun, 03 Dec 2023 22:42:01 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "88",
            "_rss_enclosures": [],
            "_e2_data": {
                "is_favourite": false,
                "links_required": [
                    "highlight\/highlight.js",
                    "highlight\/highlight.css"
                ],
                "og_images": [
                    "https:\/\/gavrilov.info\/pictures\/image-1.png",
                    "https:\/\/gavrilov.info\/pictures\/image-2.png"
                ]
            }
        }
    ],
    "_e2_version": 4171,
    "_e2_ua_string": "Aegea 11.4 (v4171e)"
}