Запись [Deep School] LLM Start. Создайте свой первый LLM-сервис

​

Вы хотите создать собственную AI-систему, но...

• Не знаете с чего начать, так как в интернете слишком много не структурированной информации
• RAG и Агенты не работают, хотя вы всё делаете по туториалу из статьи или видео
• Неясно, как учить LLM, чтобы адаптировать большие модели под свои данные

Чтобы создать приложение с LLM, важно уметь:

1. Дообучать модели на своих данных (Tuning, Alignment)
   Большинство моделей обучены так, чтобы понемногу разбираться в различных областях: юриспруденции, кулинарии, спорте и т. д. Но если вам необходимо улучшить качество ответов модели в узкой области, например, медицине, её надо дообучить на соответствующих данных. Дообучение также снижает число галлюцинаций и помогает придать модели определённый стиль общения
2. Использовать в ответах свою базу данных (RAG)
   Чтобы модель опиралась в ответах на актуальные данные, а не прошлогодние, надо использовать Retrieval Augmented Generation. RAG — это когда по вопросу пользователя система находит в базе актуальную информацию и использует её для формирования ответа
3. Подключать к LLM сторонние инструменты (Tools, Agents)
   Чтобы LLM не только отвечала на вопросы, но и сама в нужный момент отправила сообщение в мессенджер, добавила новое событие в календарь или просто сложила два числа, ей надо дать доступ к инструментам (Tools): к чату, календарю или калькулятору. LLM-системы, которые уместно используют такие инструменты называют агентами (Agents)

Именно этому вы научитесь на курсе LLM Start под кураторством опытных LLM-инженеров.

Это курс для разработчиков и руководителей, у которых нет опыта в области машинного обучения

• Разработчики. Научатся создавать собственные LLM-сервисы
• Руководители. Узнают, на что способны LLM и какие задачи можно ставить команде
• Менеджеры. Поймут, как устроены LLM и научатся верно оценивать задачи

Программа

Модуль 1. Выбираем LLM под задачу
Разберемся, как устроены LLM, основные техники промптинга, механизмы сэмплирования при генерации, а также поймём, как подобрать модель под свою задачу.

Темы лекции:

• Задача языкового моделирования и LLM
• Разберемся, как устроены LLM, основные техники промптинга, механизмы сэмплирования при генерации, а также поймём, как подобрать модель под свою задачу.
• Этапы обучения LLM
• Промптинг: few/zero-shot, CoT
• Генерация текста и сэмплирование
• Типы задач и ограничения LLM
• Обзор современных моделей

Модуль 2. Подключаем свою базу данных (RAG)
Научимся строить RAG систему для обогащения LLM внешней информацией, подробно познакомимся с алгоритмами поиска, реранкером и чанкированием.

Темы лекции:

• Обзор схемы RAG
• Научимся строить RAG систему для обогащения LLM внешней информацией, подробно познакомимся с алгоритмами поиска, реранкером и чанкированием.
• Чанкирование
• Векторный поиск и векторные БД
• Классический и гибридный поиск
• Реранкер и его задачи
• Бенчмарки и замер качества

Модуль 3. Создаём агентов на основе LLM
Погрузимся в концепции tools, function calling и агентных систем. Поймём, как строить мультиагентные архитектуры и какие библиотеки использовать. Узнаем, что такое Agentic RAG и Model Context Protocol.

Темы лекции:

• Погрузимся в концепции tools, function calling и агентных систем. Поймём, как строить мультиагентные архитектуры и какие библиотеки использовать. Узнаем, что такое Agentic RAG и Model Context Protocol.
• Концепция tools и function calls
• Агентные системы и Agentic RAG
• Model Context Protocol
• Мультиагентные системы
• Обзор библиотек и бенчмарков

Модуль 4. Дообучаем LLM под свои данные
Узнаем, когда и зачем дообучать LLM. Разберем, как работают сервисы по дообучению моделей и как можно дообучать модели локально самостоятельно.

Темы лекции:

• Когда дообучение поможет, а когда нет
• Сервисы для обучения по API
• Локальное дообучение
• Продвинутые техники дообучения

05. Собираем собственное приложение
Разберём путь от идеи до готового продукта: как спроектировать и задеплоить LLM-приложение. Узнаем, какие фреймворки, железо и подходы к ускорению использовать, как обеспечить стабильную работу и мониторинг.

Темы лекции:

• Этапы разработки LLM-приложений
• Разберём путь от идеи до готового продукта: как спроектировать и задеплоить LLM-приложение. Узнаем, какие фреймворки, железо и подходы к ускорению использовать, как обеспечить стабильную работу и мониторинг.
• Деплой моделей: vllm, sglang, llama.cpp, ollama
• Ускорение работы моделей
• Как выбрать сервер и железо
• Мониторинг работы модели

Финальный проект
В финале курса вы создадите собственный LLM-сервис для задачи, которая вам интересна. Можно взять свою идею или взять проект из нашего списка. Спикеры помогут с реализацией, дадут обратную связь по решению и подскажут, как доработать проект.

QA-сессия
Также после всех лекций мы проведём дополнительную встречу в Zoom со спикерами, чтобы разобрать ваши вопросы голосом.