Yuriy Gavrilov

Welcome to my personal place for love, peace and happiness 🤖

Немного юмора, мемов и Data :)

Для начала поиграем в CDO, проверяем навыки и зарабатываем все деньги мира 😁

Игра тут: https://www.whoisthebestcdo.com

Who’s the best CDO? 🔊 ( не забываем включать звук для мотивации 🤘 )

You’re the newly appointed Chief Data Officer. Your role is to guide your company through data chaos, one paw-step at a time. Expect surprises in your inbox and remember : data is your territory now.

Как думаете стоит сделать перевод на русский? 🧐

Теперь расслабляемся и смотрим просто :) 📺

Data Corp – Первая серия

Интервью с победителем в игре :)

 No comments   17 d   Data   Mems

Анализ книги – построение эволюционных архитектур

Полная версия тут

Краткое содержание

Книга “Построение эволюционных архитектур” Нила Форда, Ребекки Парсонс и Патрика Куа рассматривает подход к разработке программных систем, которые легко адаптируются к изменениям и новым требованиям. Книга подчеркивает важность постепенных изменений, объективных критериев оценки архитектуры (fitness-функций) и разумной связанности между компонентами. Авторы подробно описывают принципы, практики и антипаттерны эволюционного подхода, чтобы помочь читателям создавать гибкие и устойчивые системы.

Основные тезисы и выводы

  • Эволюционная архитектура – это не просто методология, это философия:** Подход к построению систем, которые “учатся” и адаптируются к изменениям, в отличие от жёстких, заранее спланированных архитектур.
  • Изменения неизбежны и к ним надо готовиться:** Современный мир разработки требует гибкости. Эволюционные архитектуры призваны облегчить внесение изменений, а не предотвращать их.
  • Fitness-функции – это компас для эволюции:** Объективные критерии оценки архитектуры, которые помогают защитить важные её характеристики в процессе изменений (производительность, безопасность, масштабируемость и т.д.).
  • Постепенность и малые изменения – основа успеха:** Небольшие инкрементальные изменения легче контролировать, тестировать и развертывать, чем крупные реструктуризации. Большие изменения происходят из маленьких шагов.
  • Связанность должна быть разумной и осознанной:** Чрезмерная связанность (coupling) затрудняет изменения. Необходимо стремиться к минимальной связанности, необходимой для решения бизнес-задач и функциональной целостности. Разумная связанность должна обеспечивать масштабируемость и надежность.
  • Команда и культура важны не меньше, чем технологии:** Успешное внедрение эволюционной архитектуры требует кросс-функциональной команды с культурой экспериментов и автоматизации (DevOps).
  • Инструменты и автоматизация – основа практики:** Автоматизированные процессы и конвейеры развертывания (deployment pipelines) позволяют быстро и надежно вносить изменения и оценивать их влияние на архитектуру. Автоматизация позволяет снизить цену изменений.

Заключение

Книга “Построение эволюционных архитектур” предоставляет ценную методологию для разработки программных систем, способных адаптироваться к постоянным изменениям. Книга будет полезной для архитекторов, разработчиков и руководителей, стремящихся создавать гибкие, устойчивые и конкурентоспособные решения. Эта книга – практическое руководство по эволюции программного обеспечения, а не попытка навязать еще один “серебряный шар”.

Рекомендации

  1. Начните с анализа текущей архитектуры: Определите узкие места, критические зависимости и области, требующие большей гибкости.
  2. Определите ключевые fitness-функции: Какие характеристики архитектуры наиболее важны для бизнеса? Установите объективные критерии их оценки.
  3. Постепенно внедряйте конвейеры развертывания (deployment pipelines): Автоматизируйте процессы сборки, тестирования и развертывания небольших изменений.
  4. Поддерживайте культуру экспериментов: Поощряйте небольшие, контролируемые эксперименты с новыми технологиями и подходами.
  5. Используйте потребительски ориентированные контакты: Отслеживайте требования потребителей и используйте feedback для постоянного совершенствования архитектуры.
  6. Создавайте небольшую, но эффективную команду: Кросс-функциональная команда с необходимыми навыками будет залогом успешной эволюции архитектуры.
  7. Учитывайте организационные факторы: Адаптируйте структуру команды, процессы бюджетирования и управления изменениями, чтобы поддерживать эволюционный подход.
  8. Применяйте на практике теорию Эрика Эванса в книге “Домен управляемый дизайн”: Эффективные архитектурные решения будут приниматься с учетом предметной области.

План действий согласно книге

  1. Оценка текущей ситуации:
    • Анализ архитектуры: Определение проблемных мест, связей, которые необходимо уменьшить.
    • Оценка зрелости команды: Анализ навыков, процессов и культуры разработки.
  2. Определение целей и стратегии:
    • Определение ключевых бизнес-целей: Что должна обеспечивать архитектура? Чего ожидает бизнес? Какова ключевая ценность?
    • Выбор стиля архитектуры: Учитывая ограничения и требования, выбрать подходящий стиль архитектуры (микросервисы, SOA, монолит с модульной структурой и т.д.).
  3. Внедрение изменений:
    • Разработка fitness-функций: Для защиты архитектуры с новыми возможностями.
    • Постепенные изменения с использованием deployment pipelines: Автоматизация процессов сборки, тестирование, изменение
    • Создание Cross-функциональной команды: Поместите все необходимые ресурсы в команду, чтобы уменьшить препятствия.
  4. Непрерывное совершенствование:
    • Анализ метрик и feedback: Постоянный сбор информации о работе системы и ее воздействии на бизнес.
    • Регулярный пересмотр архитектуры и fitness-функций: Адаптация к изменяющимся требованиям и технологиям.

Практическое руководство построения Агентов ИИ

Инструкция оригинал тут

Потом еще свой код покажу, но он работает в версии 1.65, надо бы обновить.

Документ представляет собой руководство по разработке автономных систем (агентов) на базе языковых моделей (LLM). Основные темы:

Определение агентов: системы, выполняющие задачи от имени пользователя с высокой степенью автономии.
Ключевые компоненты: модели LLM, инструменты (API, функции), инструкции, защитные механизмы (guardrails).
Оркестрация: подходы к управлению агентами (одиночные и мультиагентные системы).
Guardrails: механизмы безопасности для контроля рисков.
Практические рекомендации: выбор моделей, проектирование инструментов, обработка исключений, интеграция с людьми.

Ниже не полный перевод. Раздел Guardrails очень интересный!


Практическое руководство по созданию агентов

Автор: OpenAI

---

Содержание
  1. Введение
  2. Что такое агент?
  3. Когда следует создавать агента?
  4. Основы проектирования агентов
  5. Выбор моделей
  6. Определение инструментов
  7. Конфигурация инструкций
  8. Оркестрация
    • 8.1. Системы с одним агентом
    • 8.2. Мультиагентные системы
  9. Защитные механизмы (Guardrails)
  10. Заключение

---

1. Введение

Крупные языковые модели (LLM) становятся всё более способными решать сложные многошаговые задачи. Достижения в области логических рассуждений, мультимодальности и использования инструментов открыли новую категорию систем на базе LLM — агентов.

Это руководство предназначено для продуктовых и инженерных команд, изучающих создание своих первых агентов. В нём собраны практические рекомендации, основанные на опыте внедрения агентов в различных проектах.

После прочтения вы узнаете:

  • Как выбирать подходящие сценарии использования.
  • Как проектировать логику агентов и управлять их взаимодействием.
  • Как обеспечивать безопасность и предсказуемость работы.

---

2. Что такое агент?

Агенты — системы, которые самостоятельно выполняют задачи от имени пользователя.

Ключевые характеристики:
  1. Использование LLM
    • Управление рабочими процессами.
    • Корректировка действий при ошибках.
  2. Доступ к инструментам
    • Взаимодействие с API, базами данных, внешними системами.

Примеры задач:

  • Обработка запросов в службе поддержки.
  • Бронирование ресторана.
  • Генерация отчётов.

Не являются агентами:

  • Простые чат-боты.
  • Системы без управления рабочими процессами.

---

3. Когда следует создавать агента?

Агенты подходят для задач, где традиционные правила и детерминированные системы неэффективны.

Сценарии для внедрения:
Категория Примеры задач
Сложные решения Одобрение возврата средств.
Сложные правила Проверка безопасности поставщиков.
Неструктурированные данные Анализ страховых случаев.

Перед созданием агента:

  • Убедитесь, что задача требует неоднозначных решений.
  • Если задача простая, используйте детерминированные методы.

---

4. Основы проектирования агентов

Агент состоит из трёх компонентов:

Компонент Описание
Модель LLM для логики и принятия решений.
Инструменты API, базы данных, внешние системы.
Инструкции Правила и ограничения поведения.

Пример кода (Agents SDK):

weather_agent = Agent(  
    name="Weather agent",  
    instructions="Вы помощник, который отвечает на вопросы о погоде.",  
    tools=[get_weather],  
)

---

5. Выбор моделей

Рекомендации:

  1. Начните с самой мощной модели для базового уровня производительности.
  2. Заменяйте её на более лёгкие модели, где это возможно.

Примеры задач:

  • Простые запросы → Маленькие модели (например, `gpt-3.5`).
  • Сложные решения → Мощные модели (например, `gpt-4`).

---

6. Определение инструментов

Инструменты расширяют возможности агентов через API.

Типы инструментов:
Тип Примеры
Данные Запросы к CRM, чтение PDF.
Действия Отправка email, обновление CRM.
Оркестрация Агент возвратов, исследовательский агент.

Пример кода:

search_agent = Agent(  
    name="Search agent",  
    instructions="Помогите пользователю искать в интернете.",  
    tools=[WebSearchTool(), save_results],  
)

---

7. Конфигурация инструкций

Рекомендации:

  • Используйте существующие документы (например, инструкции службы поддержки).
  • Разбивайте задачи на шаги.
  • Определяйте чёткие действия для каждого шага.
  • Учитывайте крайние случаи.

Пример генерации инструкций:

prompt = """  
Вы эксперт по созданию инструкций для агентов.  
Преобразуйте документ в нумерованный список без неоднозначностей.  
Документ: {{help_center_doc}}  
"""

---

8. Оркестрация

8.1. Системы с одним агентом
  • Один агент управляет всеми задачами.
  • Простота внедрения и обслуживания.

Пример работы:

await Runner.run(agent, [UserMessage("Столица США?")])
8.2. Мультиагентные системы
  • Менеджер-агент координирует специализированных агентов.
  • Децентрализованные агенты передают задачи друг другу.

Пример менеджер-агента:

manager_agent = Agent(  
    name="Менеджер переводов",  
    tools=[spanish_agent, french_agent],  
)

---

9. Защитные механизмы (Guardrails)

Цель: Предотвращение рисков (утечки данных, вредоносные запросы).

Типы защит:
  • Классификатор релевантности → Фильтрация не относящихся к делу запросов.
  • Фильтр PII → Защита персональных данных.
  • Модерация → Блокировка вредоносного контента.

Пример кода:

@input_guardrail  
async def churn_detection(ctx, input):  
    # Проверка риска оттока клиентов  
    ...

---

10. Заключение

Ключевые принципы:

  • Начинайте с простых агентов.
  • Используйте защитные механизмы.
  • Планируйте вмешательство человека для критических задач.

Агенты открывают новые возможности для автоматизации сложных рабочих процессов.

OpenAI — компания, занимающаяся разработкой ИИ. Наша миссия — обеспечить, чтобы искусственный интеллект приносил пользу человечеству.

 1 comment   28 d   Agents   AI   LLM

Свежее по классификации подвезли – mistral

🔥 Classifier Factory от Mistral

Classifier Factory — это интуитивно понятное руководство для создания и обучения собственных моделей классификации на базе компактных LLM от Mistral AI.

С его помощью — как через веб‑интерфейс La Plateforme, так и через API — можно быстро разворачивать решения для модерации контента, детекции намерений, анализа тональности, кластеризации данных, обнаружения мошенничества, фильтрации спама, рекомендательных систем и других задач

Таким образом, Classifier Factory упрощает весь цикл работы с custom‑классификаторами: от подготовки данных до развёртывания готовой модели в продакшене.

Еще они обнвоили доку.

🔜 Docs
🔜Cookbook: Moderation Classifier
🔜Cookbook: Intent Classification
🔜Cookbook: Classification of Food

@ai_machinelearning_big_data

#Mistral #api

 No comments   1 mo   AI   LLM

Как навести порядок в хаосе данных: стратегия для бизнеса

Любопытная статья про порядок и знания. Раньше к этому стремились большие компании, может даже инвестиционные, а сегодня это под силу даже мелким.

Основное это RAG, втаскивание смысловых значение и аккумулирование всего в виде FAQ.

https://telegra.ph/Kak-navesti-poryadok-v-haose-dannyh-strategiya-dlya-biznesa-03-31

chat.z.ai – три модельки open source

Регистрироваться не нужно. Работают огонь. Особенно последняя мощная. Прямо технические выкладки делает и рассуждает. Долго конечно, но потом как мини исследование пишет.

https://chat.z.ai/ – пробуем тут

https://bigmodel.cn/ – или тут

https://huggingface.co/collections/THUDM/glm-4-0414-67f3cbcb34dd9d252707cb2e или сами запускаем отсюда.

Zhipu AI открывает код своих моделей: в 8 раз быстрее конкурентов с уникальной технологией размышления

🔍 Что произошло?
Zhipu AI объявила о полном открытии кода своей технологической цепочки, включая:
• GLM-4-32B-0414 — базовая модель с улучшенной работой инструментов (код, поиск)
• GLM-Z1-32B-0414 — рекордная эффективность (аналог 671B модели на 32B параметрах)
• GLM-Z1-Rumination — первый ИИ с полным циклом исследования (поиск → анализ → проверка)

  • Также доступны облегчённые 9B-версии (GLM-4-9B-0414, GLM-Z1-9B-0414)

Все модели распространяются по лицензии MIT.

💡 Что умеет “Размышляющая” модель:

  • Самостоятельно ищет информацию
  • Анализирует данные
  • Проверяет гипотезы
  • Формирует выводы

Например, модель можно запросить сформировать отчет о рынке серверных операционных систем в Китае.

⚙️ Технические детали:
▸ Рекордная скорость генерации до 200 токенов/сек
▸ Сопоставимая с DeepSeek-R1 производительность при меньшем размере
▸ Поддержка HTML/CSS/JS/SVG с интерактивным выполнением кода прямо в чате
▸ Оптимизация для consumer-GPU (например, RTX 4090)
▸ Три версии API: скоростная, бюджетная и бесплатна

Такие модельки не сильно прожорливые и думаю вполне себе потянет такая железка OrangePi AIPro (20T) 24Гб за 40тс рублей https://onpad.ru/catalog/cubie/orange_pi/orage_pi/3698.html

AI да Китай

Вопрос: А и Б сидели на трубе, А упала Б пропала, кто остался на требе?

Ответ:

“А и Б сидели на трубе”: История, смысл и решение старинной русской загадки

Введение

Старинные русские загадки, передающиеся из уст в уста, представляют собой не только забавную головоломку, но и отражение народной мудрости, языковых тонкостей и культуры. Одна из самых известных и популярных загадок, которая流传 в русскоязычной среде, звучит так: “А и Б сидели на трубе, А упала, Б пропала, кто остался на трубе?” В данном исследовании我们将深入探讨 эту загадку, её происхождение, смысл и, конечно, правильный ответ.

История загадки

Загадка “А и Б сидели на трубе” имеет давнюю историю и является классическим примером языковой головоломки, которая проверяет внимательность и сообразительность. Она передаётся из поколения в поколение, оставаясь актуальной и популярной в русскоязычной культуре. Эта загадка относится к категории загадок, которые кажутся сложными на первый взгляд, но имеют простое решение, основывающееся на игре с языком.

Смысл загадки

Для понимания смысла загадки有必要 разобрать её по частям:

  1. “А и Б сидели на трубе” – здесь подразумеваются три элемента: А, “и” (что в русском языке означает “и”), и Б.
  2. “А упала” – подразумевает исчезновение или удаление первого элемента.
  3. “Б пропала” – подразумевает исчезновение или удаление третьего элемента.
  4. “Кто остался на трубе?” – вопрос, который задаётся для определения, что осталось после исчезновения А и Б.

Решение загадки

Правильный ответ на загадку “А и Б сидели на трубе, А упала, Б пропала, кто остался на трубе?” – это “и” (что в русском языке означает “и”).

Этот ответ можно объяснить следующим образом:

  • В оригинальной фразе “А и Б сидели на трубе” присутствуют три символа: А, “и”, Б.
  • Если А “упала” (то есть исчезла), а Б “пропала” (также исчезла), то на трубе остается только “и”.
  • В русском языке “и” – это отдельное слово, обозначающее “и”, и именно это слово остается на трубе после исчезновения А и Б.

Этот ответ подтверждается несколькими источниками:

Вариации загадки

В русскоязычной культуре существуют различные вариации этой загадки, которые сохраняют её суть, но меняют детали:

  1. “А, И, Б сидели на трубе. А упала. Б пропала. Кто остался на трубе?” [[10](https://proza.ru/2016/10/06/1316)]
  1. “А и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?” [[13](https://otvet.mail.ru/question/54546059)]
  1. “А и Б сидели на трубе, А уехал за границу, Б чихнул и... кто остался на трубе?” [[15](https://uchi.ru/otvety/questions/a-i-b-sideli-na-trube-a-uehal-za-granitsu-b-chihnul-i-lyog-v-bolnitsu-kto-ostalsya-na-tru)]

Эти вариации демонстрируют гибкость загадки и её способность адаптироваться к разным контекстам, сохраняя при этом суть.

Языковые особенности

Эта загадка демонстрирует несколько интересных языковых особенностей русского языка:

  1. Игра с буквами: Загадка основана на игре с отдельными буквами русского алфавита (А, И, Б).
  1. Символическое представление: Каждая буква представляется как отдельное существо, которое может “сидеть”, “упасть” или “пропасть”.
  1. Слогovость: Русский язык, будучи слоговым, позволяет такую игру с отдельными буквами, что делает загадку возможной.
  1. Краткость и изящность: Ответ на загадку – всего одна буква “и”, что делает его особенно элегантным и удивительным.

Cultural context

Эта загадка отражает народную мудрость и любовь к языкознанию в русскоязычной культуре. Она часто используется для развития логического мышления и внимательности у детей, а также для развлечения взрослых. Загадка демонстрирует, как важны детали и как有时候 решение может быть проще, чем кажется.

Modern interpretations and references

Эта загадка продолжает использоваться в современном контексте:

  • В детских садах и школах её используют для развития языковых навыков
  • В интернет-форумах и социальных сетях она часто появляется в разделах с загадками
  • В некоторых видеороликах для детей эта загадка используется как образец традиционной русской головоломки [[12](https://www.youtube.com/watch?v=ZhVvZn6vkzc)]

Conclusion

Загадка “А и Б сидели на трубе, А упала, Б пропала, кто остался на трубе?” представляет собой яркий пример традиционной русской головоломки, основывающейся на игре с буквами. Её суть заключается в том, чтобы понять, что после исчезновения А и Б на трубе остаётся “и”. Этот простой, но изящный ответ демонстрирует тонкости русского языка и народной мудрости.

Эта загадка не только забавляет, но и развивает языковое мышление, что делает её ценным элементом русскоязычной культуры. Она напоминает нам о важности деталей и о том, как有时候 решение может быть проще, чем кажется.

References

[10] А и Б сидели на трубе... (Исаков Олег) / Проза.ру. https://proza.ru/2016/10/06/1316

[11] а и б сидели на трубе. а упало б пропало кто остался на трубе?. https://uchi.ru/otvety/questions/a-i-b-sideli-na-trube-a-upalo-b-propalo-kto-ostalsya-na-trube

[12] Считалочка – загадка – А и Б сидели на трубе – YouTube. https://www.youtube.com/watch?v=ZhVvZn6vkzc

[13] А и Б сидели на трубе А упала, Б пропала, что осталось на трубе?. https://otvet.mail.ru/question/54546059

[15] А И Б СИДЕЛИ НА ТРУБЕ А УЕХАЛ ЗА ГРАНИЦУ Б ЧИХНУЛ И ... https://uchi.ru/otvety/questions/a-i-b-sideli-na-trube-a-uehal-za-granitsu-b-chihnul-i-lyog-v-bolnitsu-kto-ostalsya-na-tru

 No comments   1 mo   AI

Основные тезисы статьи “AI Index 2025: State of AI in 10 Charts

Основные тезисы статьи “AI Index 2025: State of AI in 10 Charts” :

  1. Улучшение небольших моделей ИИ
    • Модели с меньшим числом параметров достигают уровня крупных. Например, Microsoft Phi-3-mini (3.8 млрд параметров) в 2024 году показала результаты, сравнимые с моделью PaLM (540 млрд параметров) 2022 года. Это сокращение параметров в 142 раза за два года.
  1. Снижение стоимости использования ИИ
    • Стоимость обработки запросов для моделей уровня GPT-3.5 упала с $20 до $0.07 за миллион токенов (снижение в 280 раз за 18 месяцев). Цены на оборудование снижаются на 30% ежегодно, а энергоэффективность растет на 40%.
  1. Китай сокращает разрыв с США
    • США создали 40 значимых моделей ИИ в 2024 году, Китай — 15. Однако разрыв в качестве между американскими и китайскими моделями сократился до минимума на тестах MMLU и HumanEval. Китай лидирует по публикациям и патентам в области ИИ.
  1. Рост проблемных инцидентов с ИИ
    • Зафиксировано 233 инцидента, связанных с ИИ (+56.4% за год), включая дипфейки и случаи кибербуллинга.
  1. Прогресс ИИ-агентов
    • В коротких задачах (2 часа) ИИ превосходит людей в 4 раза, но при увеличении времени до 32 часов люди демонстрируют вдвое лучшие результаты.
  1. Рекордные инвестиции в ИИ
    • 78% компаний внедрили ИИ в 2024 году (рост с 55% в 2023). Частные инвестиции США составили $109.1 млрд, Китая — $9.3 млрд.
  1. Медицинские устройства с ИИ
    • FDA одобрило 223 ИИ-устройства в 2023 году против 6 в 2015.
  1. Регуляторная активность в США
    • Число законов штатов, связанных с ИИ, выросло до 131 в 2024 году (в 2016 — 1).
  1. Региональный оптимизм
    • В Китае, Индонезии и Таиланде более 77% населения видят в ИИ больше пользы, чем вреда. В США, Канаде и Нидерландах этот показатель ниже 40%.
  1. Глобализация разработки ИИ
    • Модели создаются в новых регионах: Ближний Восток, Латинская Америка, Юго-Восточная Азия.

---

Синтез

Статья демонстрирует динамичное развитие ИИ в 2024 году:

  • Технологический прогресс: Малые модели стали эффективнее, а стоимость их использования резко снизилась, что делает ИИ доступнее .
  • Интеграция в общество: ИИ активно применяется в медицине, транспорте (например, 150 тыс. поездок Waymo в неделю) и бизнесе, где 78% компаний используют технологии для повышения продуктивности .
  • Инвестиции и геополитика: США сохраняют лидерство, но Китай усиливает позиции. Глобальные инвестиции в генеративный ИИ достигли $33.9 млрд .
  • Этические вызовы: Рост инцидентов и нехватка стандартов оценки безопасности ИИ требуют усиления регулирования. Правительства, включая ЕС и ООН, разрабатывают новые рамки .

---

Выводы

  1. Доступность и эффективность ИИ растут, но сохраняется разрыв между регионами в инфраструктуре и образовании (например, 81% учителей в США не готовы преподавать ИИ) .
  2. Регулирование отстает от технологий: несмотря на рост законов, стандарты оценки рисков остаются редкими .
  3. Оптимизм vs. скептицизм: В Азии выше доверие к ИИ, тогда как на Западе преобладают опасения, связанные с этикой и заменой рабочих мест .
  4. Будущее за гибридными решениями: ИИ-агенты уже превосходят людей в узких задачах, но для сложных когнитивных процессов требуется симбиоз с человеком .

Статья подчеркивает, что ИИ трансформирует общество, но для устойчивого развития необходимы глобальное сотрудничество, инвестиции в образование и прозрачные стандарты.

 No comments   1 mo   AI

Apache SeaTunnel MCP Server

SeaTunnel MCP Server – это интеллектуальный мост, соединяющий инструменты программирования ИИ и SeaTunnel. С помощью SeaTunnel MCP Server разработчики могут выполнять следующие задачи через помощников AI: реализовывать вызовы интерфейса RESTfulAPI V2 на основе взаимодействия с пользователем. Что касается более мощных задач, которые ИИ может выполнять через этот интерфейс данных документов, пожалуйста, используйте свое воображение и воображение вашей команды 😜.

Earlier Ctrl + ↓