Синтез “The Big Book of MLOps – 2nd Edition”:

2023-10-eb-big-book-of-mlops-2nd-edition-v2-final.pdf

1. Основы MLOps
   MLOps объединяет DataOps, DevOps и ModelOps для управления жизненным циклом ML-моделей. Ключевые принципы:
• Разделение сред (разработка, тестирование, продакшн).
• Автоматизация CI/CD для ускорения вывода моделей в продакшн.
• Управление данными, кодом и моделями через единую платформу (Databricks Lakehouse).

2. Ключевые обновления в версии 2
   • Unity Catalog: Централизованное управление данными и моделями с трекингом происхождения, безопасностью и доступом.
   • Model Serving: Серверное решение для развертывания моделей в реальном времени с интеграцией MLflow и автоскейлингом.
   • Lakehouse Monitoring: Мониторинг данных и моделей с автоматической записью метрик в Delta-таблицы.

3. Рекомендации по проектированию
   • Организация данных и моделей в Unity Catalog через каталоги (`dev`, `staging`, `prod`), схемы (`bronze`, `silver`, `gold`) и алиасы моделей (например, “Champion” и “Challenger”).
   • Тестирование инфраструктуры перед деплоем (нагрузочное тестирование, проверки задержки).

4. Эталонная архитектура
   • Разработка: EDA, обучение моделей, валидация.
   • Тестирование: Интеграционные тесты в staging-среде.
   • Продакшн: Автоматизированные пайплайны обучения, валидации, деплоя и мониторинга.

5. LLMOps
   • Prompt Engineering: Оптимизация текстовых запросов для улучшения ответов LLM.
   • RAG (Retrieval-Augmented Generation): Комбинация LLM с векторными базами данных для доступа к актуальным данным.
   • Тонкая настройка (Fine-tuning): Адаптация LLM под специфические задачи с использованием параметрически эффективных методов (LoRA).
   • Оценка и мониторинг: Использование LLM как оценщиков, интеграция человеческой обратной связи.
   • Управление затратами: Оптимизация размера моделей, квантование, распределенные вычисления.

6. Заключение
   MLOps и LLMOps требуют модульности, автоматизации и ориентации на данные. Databricks предоставляет единую платформу для управления данными, моделями и мониторингом, что ускоряет внедрение AI-решений.

---

Обработано страниц: 78 (с 1 по 78, включая оглавление, главы и иллюстрации). DeepSeek

Будущие компоненты и архитектура MLOps на основе документа

Архитектура строится на принципах data-centric AI, автоматизации и унифицированного управления данными, моделями и кодом.
Ниже представлены ключевые компоненты и их взаимодействие:

---

1. Управление данными и моделями (Data & Model Governance)

• Unity Catalog:
  • Централизованный каталог для данных, моделей, функций и объемов.
  • Структура:
    • Каталоги по средам (`dev`, `staging`, `prod`).
    • Схемы: `bronze` (сырые данные), `silver` (очищенные), `gold` (обогащенные), `use_case` (фичи/модели).
  • Функции:
    • Трекинг происхождения (lineage) между данными и моделями.
    • Управление доступом (RBAC) и версионирование моделей через MLflow.
    • Алиасы моделей (например, `Champion` для продакшна).

---

2. Разработка и обучение моделей (Model Development)

• Среда разработки:
  • Интерактивные notebooks (EDA, прототипирование).
  • AutoML для генерации базовых моделей и анализа данных.
  • Интеграция с MLflow Tracking для записи экспериментов.
• Обучение моделей:
  • Пайплайны обучения с использованием Databricks Workflows.
  • Параметризация гиперпараметров и данных (из `gold` или `prod` каталогов).
  • Логирование артефактов, метрик и зависимостей в MLflow.

---

3. Тестирование и CI/CD (Continuous Integration/Deployment)

• Среда тестирования (staging):
  • Интеграционные тесты (проверка совместимости компонентов).
  • Нагрузочное тестирование Model Serving:
    • Проверка задержки (latency), пропускной способности (QPS).
  • Тестирование инфраструктуры (например, обновление алиасов моделей).
• CI/CD:
  • Автоматизация через Git (ветки `dev` → `main` → `release`).
  • Unit-тесты на CI-раннерах, интеграционные тесты в staging.
  • Развертывание через Databricks Asset Bundles.

---

4. Продакшн-развертывание (Model Deployment)

• Batch/Streaming Inference:
  • Пакетная обработка через Spark, публикация в Delta-таблицы или key-value хранилища.
• Real-time Inference:
  • Model Serving:
    • REST API для онлайн-предсказаний.
    • Поддержка A/B-тестов, канареечных развертываний и shadow-режима.
    • Автоматическое логирование запросов/ответов в `inference tables`.
  • Обновление моделей:
    • Сравнение `Champion` (текущая) vs. `Challenger` (новая) моделей.
    • Алгоритмы постепенного переноса трафика (gradual rollout).

  ---

  5. Мониторинг и управление (Monitoring & Maintenance)

  • Lakehouse Monitoring:
    • Автоматический сбор метрик (дрейф данных, точность моделей).
    • Интеграция с Databricks SQL для дашбордов и алертов.
  • Ретрейнинг:
    • Триггеры на основе мониторинга (например, дрейф данных).
    • Периодическое обновление моделей по расписанию.
  • Управление затратами:
    • Оптимизация ресурсов (автоскейлинг Model Serving).
    • Квантование моделей, использование PEFT для LLM.

  ---

  6. LLMOps (специфика для больших языковых моделей)

  • Компоненты:
    • Векторные базы данных (Chroma, Milvus) для RAG.
    • Prompt Engineering:
      • Шаблоны запросов, версионирование через MLflow.
      • Интеграция с LangChain для сложных цепочек.
    • Fine-tuning:
      • Использование PEFT (LoRA) для эффективной настройки.
      • Инструменты: Hugging Face Transformers, MosaicML.
    • Оценка LLM:
      • Автоматическая оценка через LLM-судьи (например, GPT-4).
      • Сбор человеческой обратной связи через UI.
    • Архитектурные изменения:
      • Модель Serving с поддержкой GPU для самохостатых LLM.
      • Интеграция с MLflow AI Gateway для управления сторонними API (OpenAI, Anthropic).

    ---

    Ключевые инновации будущего

    1. Полная автоматизация жизненного цикла с AI-driven триггерами (например, авторетрайнинг при дрейфе).
    2. Гибридные пайплайны для совместной работы классических ML и LLM.
    3. Унифицированная аналитика данных и моделей через Lakehouse.
    4. Безопасность и compliance:
       • Шифрование данных/моделей.
       • Аудит через Unity Catalog.

    ---

    Архитектура обеспечивает масштабируемость, воспроизводимость и управляемость ML-решений, адаптируясь как к классическим задачам, так и к вызовам Generative AI. DeepSeek