ai-agent-book/chapter8/README.ru.md

Глава 8 · Постобучение модели

Четыре части — предобучение, Mid-training, SFT и RL: программа длинного контекста и данные, закрепление протокола через SFT, среды и награды RL, эффективность выборки от одного раунда к многим.

← К оглавлению · 📖 Читать главу

Как читать эксперименты

В основном тексте короткие скелеты механизмов объясняют поток управления; в каталогах экспериментов находятся полные адаптеры SDK, журналы, тесты и приёмочные доказательства. Читать каждый файл построчно не требуется.

• Starter: Начните с цели, минимальной команды и условий приёмки; начните с cot-distillation;
• Builder: Проследите точку входа, основной цикл, схему состояния/сообщений, инструменты и проверяющий модуль.
• Maintainer: Затем изучите тесты, манифесты доказательств, обработку сбоев, откат и адаптеры провайдеров.

При первом чтении можно пропустить ключи, слой представления и совместимость провайдеров; вернитесь при воспроизведении чисел.

Сопутствующие проекты

Эксп.	Проект	Тип	Описание
7-1, 7-2	learning-from-experience	✅	Запускает Q-learning и LLM-агента в одной среде поиска сокровищ для обучения на опыте.
7-8	prompt-distillation	✅	Дистиллирует примеры учителя в prompt ученика и сравнивает качество и стоимость.
7-3, 7-4	MiniMind-pretrain	📖	Предобучает малую языковую модель с нуля, чтобы понять полный процесс предобучения и ключевые технологии.
7-5	continued-pretraining	✅	Выполняет продолженное предобучение на доменных данных для повышения качества модели в целевой области.
7-6	sesame	✅	Sesame CSM speech SFT: дообучение 1B TTS-модели методом LoRA, управление выразительностью паралингвистическими тегами <laugh>, <sigh>
7-6	orpheus	✅	Orpheus 3B speech SFT: дообучение TTS-модели методом LoRA, клонирование голоса по референсному аудио с сохранением тембра между фразами
7-7	MultilingualReasoning	✅	Обучает рассуждения модели в многоязычной среде, повышая качество на кросс-язычных задачах.
7-9	cot-distillation	✅	Дистиллирует CoT-траектории из передовых моделей вроде Claude через OpenRouter; проверяет правилами и превращает в данные для SFT (сопровождает эксперимент 7-9).
7-10	AdaptThink	📖	Учит рассуждающие модели адаптивно выбирать режим рассуждения (Thinking или NoThinking) в зависимости от сложности задачи. Через оптимизацию с ограничениями и importance sampling значительно снижает стоимость рассуждений (45–69%) при росте точности. На базе модели DeepSeek-R1-Distill-Qwen, обучение алгоритмом DAPO.
7-11	SFTvsRL/	📖	Систематически сравнивает эффективность обучения с учителем (SFT) и обучения с подкреплением (RL) на разных задачах, анализируя сильные и слабые стороны и подходящие сценарии обоих методов.
7-12	SpatialReasoning	📖	Сфокусирован на обучении пространственных рассуждений модели для задач с пространственными отношениями — положением, направлением, расстоянием.
7-13	SimpleVLA-RL	📖	Объединяет зрение, язык и действие в обучении с подкреплением, позволяя моделям понимать визуальный вход и выполнять соответствующие действия.
7-14	retool	📖	Использует многораундовый диалог и песочницу кода для усиления математических рассуждений больших языковых моделей. Через двухэтапное обучение SFT и RL модель учится применять среду исполнения кода при решении математических задач. На базе Qwen2.5-32B-Instruct, обучение на AIME 2024 алгоритмом DAPO и песочницей SandboxFusion.
7-15	AWorld/ · AWorld-train	📖	Обучает воплощённых агентов на базе фреймворка AWorld, позволяя им выполнять сложные задачи в виртуальной среде и учиться на опыте.
7-16	RLVP	📖	Исследование постобучения по принципу «награждаем результат, штрафуем путь» (RLVP) (сопровождает эксперимент 7-16); полный код обучения/оценки находится в отдельном репозитории статьи 19PINE-AI/rlvp, его нужно клонировать самостоятельно
7-17	premature-completion-dpo	✅	DPO-исправление bad case преждевременного завершения на GPU.
7-18	curly-quote-sft	✅	Аудированный scope-sensitive SFT китайских кавычек: 1024/256/256 train/holdout/boundary, 10 типов статей и 9 языков программирования; Qwen3-8B даёт exact 96,9%/97,7% и 100% сохранения защищённых областей на GPU.
7-19	exact-copy-sft	✅	Аудированный byte-exact SFT специальных строк: 1024/256/256 примеров; Qwen3-8B даёт 78,9% holdout и 80,1% boundary, с аудитом токенизаторов Qwen3/Qwen2.5/Mistral.
—	verl/	📖	verl — эффективный фреймворк обучения с подкреплением, специально созданный для RLHF-обучения больших языковых моделей, поддерживает алгоритмы PPO, GRPO, DAPO и др.
—	Intuitor	✅	Обучает интуитивные рассуждения модели, позволяя ей делать быстрые обоснованные суждения без развёрнутой цепочки рассуждений.
—	tinker-cookbook/	📖	Собирает практические приёмы и лучшие практики обучения моделей.

Типы проектов

Значок	Тип	Значение
✅	Автономный	Полный код в этом репозитории, запускается после настройки API-ключа
📖	Гайд по воспроизведению	Подробный документ, зависящий от внешних репозиториев через git clone
🚧	Проектный документ	Только архитектура/план реализации, рабочий код ещё в разработке