Запись [Яндекс Практикум] ИИ-инженер

​

Научитесь создавать и внедрять ИИ-продукты: от LLM и RAG до агентных архитектур и продакшен-инфраструктуры.

ИИ-инженер превращает мощь нейросетей в рабочие бизнес-решения.

Сегодня любой бизнес хочет использовать ИИ, но просто подключить LLM уже недостаточно. Компаниям нужны полноценные ИИ-решения, которые встроены в процессы компании и становятся частью продукта: работают с данными, отвечают на запросы и выполняют задачи.

Именно это и делает ИИ-инженер — проектирует и внедряет надёжные, управляемые и масштабируемые решения на основе LLM: от точной генерации и RAG до агентов с доступом к инструментам и интернету.

Чему научитесь:

• Научитесь превращать LLM в работающие ИИ‑продукты
• Настроите и оптимизируете LLM под бизнес‑условия
• Построите RAG-систему с точным поиском и оценкой релевантности
• Разработаете AI-агентов с инструментами, памятью и контролем поведения
• Организуете оркестрацию ИИ-компонентов и асинхронную обработку запросов
• Выведете ИИ-сервис в продакшн с мониторингом и версионированием

Курс подойдёт тем, у кого есть опыт работы с данными, Machine Learning и Deep Learning:

• ML-инженеры
  • Научитесь проектировать и внедрять ИИ-системы на базе LLM: от управления качеством генерации до построения полноценных сервисов. Расширьте классический ML-подход в сторону современных ИИ‑продуктов
• DL-инженеры и NLP-специалисты
  • Разберётесь, как превращать модели и эксперименты в работающие ИИ-решения: строить системы поиска и генерации, проектировать поведение агентов и интегрировать их в продукты
• MLOps специалисты
  • Освоите специфику эксплуатации LLM-систем: научитесь управлять стабильностью, производительностью и качеством генерации в продакшен-среде и поддерживать ИИ-продукты на всех этапах их жизненного цикла

Программа курса:

Спринт 1. LLM в ИИ-продукте: управление генерацией, качеством и контекстом
3 недели — 6 тем — 1 проект Модуль посвящён использованию LLM как управляемого генеративного компонента в продуктах.

Вы разберётесь, как устроена генерация текста, длинный контекст и инференс. Научитесь управлять качеством, стабильностью и стоимостью генерации, а также выбирать оптимальные настройки моделей под бизнес-ограничения.

• Тема 1. Архитектура LLM и генерация текста. Разбор decoder-only архитектуры, механизма attention и автогрессивной генерации. Как проходит один шаг генерации токена и из каких этапов складывается инференс модели.
• Тема 2. Управление генерацией и качеством ответов. Temperature, top-p, top-k, repetition penalty и другие параметры генерации. Как они влияют на стиль ответов, устойчивость и воспроизводимость результатов в продукте.
• Тема 3. Длинный контекст как продуктовая проблема. Проблемы генерации на длинных последовательностях: деградация качества, рост latency и ошибки внимания. Подходы к проверке стабильности и качества вывода на длинных входах.
• Тема 4. Позиционное кодирование и масштабирование контекста. RoPE, ALiBi и YaRN: как разные способы кодирования позиций влияют на доступный контекст, качество генерации и совместимость с готовыми моделями.
• Тема 5. Инференс LLM в реальных системах. Онлайн-инференс, batching и работа с KV-cache. Использование vLLM, flash-attention и квантизации для ускорения инференса и снижения стоимости.
• Тема 6. Когда не нужно дообучение. Инженерный взгляд на адаптацию LLM: почему в большинстве продуктовых задач fine-tuning избыточен. Как отличить проблему генерации, которую решает настройка инференса, от задачи, где действительно требуется отдельная модель.
• Практическая работа по спринту
• Соберёте LLM-сервис для генерации текстов по конкретному бизнес-кейсу, оцените качество и производительность модели на реальном наборе данных, настроите оптимальные параметры генерации для продакшен-сценария.

Спринт 2. Путь от данных до ответа в RAG
3 недели — 5 тем — 1 проект

Модуль посвящён построению систем поиска и генерации на основе RAG и векторных представлений. Вы разберётесь, как устроены внутренние механизмы поиска, ранжирования и генерации, а также освоите эффективное использование готовых библиотек и инструментов для быстрого внедрения решений в продуктах.

• Тема 1. Подготовка данных для RAG. Очистка, нормализация, создание чанков и обработка pdf, txt, html.
• Тема 2. Эмбеддинги и векторное представление. Создание векторов с помощью трансформеров и OpenAI API, применение снижения размерности через PQ, понимание различий bi- и cross-encoder.
• Тема 3. Векторные базы и индексы. FAISS (IVF, HNSW, IndexFlat), Chroma, Qdrant, настройка поиска и ранжирования, выбор стратегии под бизнес-задачу.
• Тема 4. Архитектура RAG. Построение полного retrieval и генеративного пайплайна, интеграция поиска и генерации, гибридные подходы для повышения качества и скорости.
• Тема 5. Оценка качества RAG. Метрики retrieval и генерации, эксперименты с ранжированием, использование LLM-as-judge для проверки релевантности и точности ответов.
• Практическая работа по спринту
• Создадите рабочий RAG-пайплайн: подготовите данные, создадите векторную базу, реализуете поиск и генерацию ответов с помощью LLM, проведёте оценку качества и протестируете систему на реальных данных.

Спринт 3. Агентные системы и их оркестрация
3 недели — 5 тем — 1 проект

Модуль посвящён созданию и координации AI-агентов: от single-agent систем до мультиагентных архитектур с инструментами и внешними сервисами. Вы научитесь проектировать агенты, организовывать их взаимодействие и управлять их поведением в продуктах, обеспечивая согласованную работу нескольких сервисов.

• Тема 1. Function calling и внешние инструменты. Использование функций OpenAI и LangChain, structured output, настройка безопасных вызовов и обработка ошибок.
• Тема 2. ReAct и агентные системы. Построение ReAct-агента с набором инструментов, создание мультиагентных систем, LLM-as-judge для оценки качества и релевантности ответов.
• Тема 3. AI guardrails и контроль поведения. Фильтрация действий агента, предотвращение галлюцинаций, ограничение и проверка корректности поведения.
• Тема 4. Интеграция с интернетом. Взаимодействие с веб-контентом, реализация функций на примере Wikipedia и Deep Research, использование API внешних сервисов.
• Тема 5. Оркестрация LLM. Chaining, пайплайны, управление последовательностью вызовов и интеграция нескольких агентов через LangChain и LangGraph.
• Практическая работа по спринту
• Разработаете AI-агента, который выполняет цепочку задач с внешними инструментами и интернетом, оценивает свои ответы и интегрируется в рабочий сервис.

Спринт 4. Продакшен и MLOps ИИ-систем
4 недели — 6 тем — 1 проект

Вы изучите, как собрать ML/LLM-пайплайн в продакшен, включая оркестрацию моделей, API-интеграции, асинхронные вычисления и мониторинг. Модуль направлен на практическое внедрение LLM-решений, fine-tuning, оценку качества и эксплуатацию систем в реальных бизнес-кейсах.

• Тема 1. Деплой и контейнеризация. Создание API, упаковка моделей в Docker, настройка параметров инференса, подготовка модели к боевому использованию.
• Тема 2. Асинхронность и батчинг. Ускорение обработки запросов, управление нагрузкой и latency, оптимизация потоков данных.
• Тема 3. MLOps и мониторинг. Контроль версий моделей, MLflow для трекинга экспериментов, Prometheus и Grafana для мониторинга метрик и ошибок.
• Тема 4. Интеграция внешних сервисов. Вызовы API, пайплайны LLM + RAG + агенты, обработка ошибок, контроль корректности и качества.
• Тема 5. Безопасность и надёжность LLM-систем. Prompt injection и джейлбрейк, утечки данных через контекст, контроль рисков ИИ-систем.
• Тема 6 Оценка и улучшение. Метрики качества генерации, RAG и агента, оптимизация производительности под реальные бизнес-кейсы.
• Практическая работа по спринту
• Соберёте продакшен-сервис AI, объединяющий LLM, RAG и агента, с мониторингом, версионированием и асинхронной обработкой реальных запросов.

Финальный проект
2 недели — 1 дипломный проект

Вы создадите AI-ассистента для службы поддержки компании с LLM, RAG, агентом и продакшен-инфраструктурой: от данных до мониторинга.