# Глава 6 · Взаимодействие: расширение пространства наблюдений и пространства действий

> Расширяет восприятие и действие с текста на голос, GUI и физический мир. Три голосовые парадигмы (каскадная / сквозная полномодальная / полнодуплексная), потоковое восприятие и синтез речи, Computer Use и манипуляции роботов.

← [К оглавлению](../docs/ru/README.md) · 📖 [Читать главу](../book-ru/chapter6.md)

## Как читать эксперименты

В основном тексте короткие скелеты механизмов объясняют поток управления; в каталогах экспериментов находятся полные адаптеры SDK, журналы, тесты и приёмочные доказательства. Читать каждый файл построчно не требуется.

- **Starter:** Начните с цели, минимальной команды и условий приёмки; начните с [live-audio](live-audio/);
- **Builder:** Проследите точку входа, основной цикл, схему состояния/сообщений, инструменты и проверяющий модуль.
- **Maintainer:** Затем изучите тесты, манифесты доказательств, обработку сбоев, откат и адаптеры провайдеров.

При первом чтении можно пропустить ключи, слой представления и совместимость провайдеров; вернитесь при воспроизведении чисел.

## Сопутствующие проекты

| Эксп. | Проект | Тип | Описание |
| :--: | --- | :--: | --- |
| 6-1 | [agent-with-event-trigger](agent-with-event-trigger/) | ✅ | Современный событийно-управляемый агент на FastAPI, по умолчанию интегрирующий все инструменты первых трёх MCP-серверов. Использует нативную асинхронную архитектуру для чистой загрузки MCP-инструментов и принимает события из разных источников (Web, мессенджеры, GitHub, таймеры и т. д.) через HTTP API. Даёт автоматическую документацию API (Swagger UI) и фоновый мониторинг. |
| 6-2 | [async-agent](async-agent/) | ✅ | Реализует ядро событийно-управляемого асинхронного фреймворка агента (Flux) на однопоточной модели asyncio: очередь событий-«входящих» распределяет задачи по срочности (прерывание/немедленно/очередь), поддерживает параллельное исполнение асинхронных инструментов, позволяет прерывать текущий раунд во время исполнения и даёт отмену и запрос статуса для имитируемых долгих задач. Решения принимает настоящий LLM (function calling). |
| 6-3 | [live-audio](live-audio/) | ✅ | Демо голосового чата в реальном времени, объединяющее распознавание речи, диалог с ИИ и синтез речи. Поддерживает несколько провайдеров ИИ-сервисов (OpenAI, OpenRouter, ARK, Siliconflow), обеспечивая диалог с низкой задержкой. |
| Add-on | [phone-agent](phone-agent/) | 🚧 | Пути direct/ReAct официального SDK `pine-voice` реализованы, но нет согласованного и авторизованного адресата E.164. Preflight фиксирует отсутствие звонка и transcript; test double не считается приёмкой. |
| 6-4 | [streaming-speech](streaming-speech/) | ✅ | Демонстрирует ключевой компромисс потокового восприятия речи: непрерывное аудио режется на сегменты растущей длины и подаётся в ASR. Каждый полученный сегмент даёт «текущий частичный результат распознавания», обеспечивая крайне низкую задержку первого фрагмента для раннего вывода текста. Плата за это — ранние фрагменты без контекста второй половины фразы могут быть ошибочны, постепенно сходясь по мере накопления аудио. Это контрастирует с высокоточным, но высоколатентным подходом «дождаться всей фразы перед распознаванием». |
| 6-5 | [end-to-end-speech](end-to-end-speech/) | ✅ | MiniCPM-o 4.5 с закреплённой revision реально запущен локально на одной RTX PRO 6000; end-to-end и self-cascade дали по 3/4 с взаимодополняющими семантическими/паралингвистическими ошибками, сохранены 24kHz-аудио и доказательства приёмки. |
| 6-6 | [controllable-tts](controllable-tts/) | 🚧 | Реальная библиотека Fish Audio S1 4×3×2 и A/B/C-медиа проходят структурные gate; не завершены качественное прослушивание и оценка «почти как живой оператор». |
| 6-7 | `claude-quickstarts/computer-use-demo/` | 📖 | Внешний `anthropics/claude-quickstarts` зафиксирован на `9bcc95e…`; текст относится к контейнерному Ubuntu desktop＋Claude agent loop Computer Use demo, а не ко всему quickstarts. |
| 6-8 | `browser-use/` | 📖 | Внешний `browser-use/browser-use` зафиксирован на `ec9277c…`; visual CLI (`use_vision=True`) ищет погоду San Francisco в Google и сохраняет траекторию действий/скриншотов. |
| 6-9 | [xlerobot-teleoperation](xlerobot-teleoperation/) | 📖 | Дистанционное управление реальным XLeRobot для одной задачи уборки стола: красную чашку в поднос, жёлтую бумагу в урну, затем повторно наблюдать и проверить состояние. |
| 6-10 | [gemini-xlerobot-navigation](gemini-xlerobot-navigation/) | 📖 | В симуляторе измеряется верхняя граница идеального управления для той же задачи; это не означает запуска реального робота. |
| 6-11 | [gemini-xlerobot-navigation](gemini-xlerobot-navigation/) | 📖 | Gemini Robotics-ER 1.5 автономно управляет реальным XLeRobot в той же задаче уборки стола. |
| 6-12 | [gemini-xlerobot-navigation](gemini-xlerobot-navigation/) | 📖 | В симуляторе сравниваются открытый цикл, пошаговая проверка и предиктивный замкнутый цикл для той же задачи. |
| 6-13 | [rgb-sim2real-grasping](rgb-sim2real-grasping/) | 📖 | RGB-тест между средами для той же задачи с изменением фона, внешнего вида предметов, освещения и визуального шума. |

## Типы проектов

| Значок | Тип | Значение |
| :--: | --- | --- |
| ✅ | **Автономный** | Полный код в этом репозитории, запускается после настройки API-ключа |
| 📖 | **Гайд по воспроизведению** | Подробный документ, зависящий от **внешних репозиториев** через `git clone` |
| 🚧 | **В работе** | Реализация есть, но не завершены требуемый живой запуск, авторизация участника, оборудование или доказательства приёмки текста |