ai-agent-book 精选快照(<2MB 代码与文档,来自 github.com/bojieli/ai-agent-book)
Build latest book artifacts / build (push) Canceled after 0s
dependency resolution / resolve (3.11) (push) Canceled after 0s
dependency resolution / resolve (3.13) (push) Canceled after 0s
deploy-pages / build (push) Canceled after 0s
deploy-pages / deploy (push) Canceled after 0s
i18n consistency check / check (push) Canceled after 0s
provider adoption tests / test (chapter2/context-compression) (push) Canceled after 0s
provider adoption tests / test (chapter2/prompt-injection) (push) Canceled after 0s
provider adoption tests / test (chapter2/system-hint) (push) Canceled after 0s
provider adoption tests / test (chapter3/log-sanitization) (push) Canceled after 0s
web-search-agent tests / test (push) Canceled after 0s
web-search-agent tests / agentbook (push) Canceled after 0s
Build latest book artifacts / build (push) Canceled after 0s
dependency resolution / resolve (3.11) (push) Canceled after 0s
dependency resolution / resolve (3.13) (push) Canceled after 0s
deploy-pages / build (push) Canceled after 0s
deploy-pages / deploy (push) Canceled after 0s
i18n consistency check / check (push) Canceled after 0s
provider adoption tests / test (chapter2/context-compression) (push) Canceled after 0s
provider adoption tests / test (chapter2/prompt-injection) (push) Canceled after 0s
provider adoption tests / test (chapter2/system-hint) (push) Canceled after 0s
provider adoption tests / test (chapter3/log-sanitization) (push) Canceled after 0s
web-search-agent tests / test (push) Canceled after 0s
web-search-agent tests / agentbook (push) Canceled after 0s
This commit is contained in:
@@ -0,0 +1,42 @@
|
||||
# Глава 6 · Взаимодействие: расширение пространства наблюдений и пространства действий
|
||||
|
||||
> Расширяет восприятие и действие с текста на голос, GUI и физический мир. Три голосовые парадигмы (каскадная / сквозная полномодальная / полнодуплексная), потоковое восприятие и синтез речи, Computer Use и манипуляции роботов.
|
||||
|
||||
← [К оглавлению](../docs/ru/README.md) · 📖 [Читать главу](../book-ru/chapter6.md)
|
||||
|
||||
## Как читать эксперименты
|
||||
|
||||
В основном тексте короткие скелеты механизмов объясняют поток управления; в каталогах экспериментов находятся полные адаптеры SDK, журналы, тесты и приёмочные доказательства. Читать каждый файл построчно не требуется.
|
||||
|
||||
- **Starter:** Начните с цели, минимальной команды и условий приёмки; начните с [live-audio](live-audio/);
|
||||
- **Builder:** Проследите точку входа, основной цикл, схему состояния/сообщений, инструменты и проверяющий модуль.
|
||||
- **Maintainer:** Затем изучите тесты, манифесты доказательств, обработку сбоев, откат и адаптеры провайдеров.
|
||||
|
||||
При первом чтении можно пропустить ключи, слой представления и совместимость провайдеров; вернитесь при воспроизведении чисел.
|
||||
|
||||
## Сопутствующие проекты
|
||||
|
||||
| Эксп. | Проект | Тип | Описание |
|
||||
| :--: | --- | :--: | --- |
|
||||
| 6-1 | [agent-with-event-trigger](agent-with-event-trigger/) | ✅ | Современный событийно-управляемый агент на FastAPI, по умолчанию интегрирующий все инструменты первых трёх MCP-серверов. Использует нативную асинхронную архитектуру для чистой загрузки MCP-инструментов и принимает события из разных источников (Web, мессенджеры, GitHub, таймеры и т. д.) через HTTP API. Даёт автоматическую документацию API (Swagger UI) и фоновый мониторинг. |
|
||||
| 6-2 | [async-agent](async-agent/) | ✅ | Реализует ядро событийно-управляемого асинхронного фреймворка агента (Flux) на однопоточной модели asyncio: очередь событий-«входящих» распределяет задачи по срочности (прерывание/немедленно/очередь), поддерживает параллельное исполнение асинхронных инструментов, позволяет прерывать текущий раунд во время исполнения и даёт отмену и запрос статуса для имитируемых долгих задач. Решения принимает настоящий LLM (function calling). |
|
||||
| 6-3 | [live-audio](live-audio/) | ✅ | Демо голосового чата в реальном времени, объединяющее распознавание речи, диалог с ИИ и синтез речи. Поддерживает несколько провайдеров ИИ-сервисов (OpenAI, OpenRouter, ARK, Siliconflow), обеспечивая диалог с низкой задержкой. |
|
||||
| Add-on | [phone-agent](phone-agent/) | 🚧 | Пути direct/ReAct официального SDK `pine-voice` реализованы, но нет согласованного и авторизованного адресата E.164. Preflight фиксирует отсутствие звонка и transcript; test double не считается приёмкой. |
|
||||
| 6-4 | [streaming-speech](streaming-speech/) | ✅ | Демонстрирует ключевой компромисс потокового восприятия речи: непрерывное аудио режется на сегменты растущей длины и подаётся в ASR. Каждый полученный сегмент даёт «текущий частичный результат распознавания», обеспечивая крайне низкую задержку первого фрагмента для раннего вывода текста. Плата за это — ранние фрагменты без контекста второй половины фразы могут быть ошибочны, постепенно сходясь по мере накопления аудио. Это контрастирует с высокоточным, но высоколатентным подходом «дождаться всей фразы перед распознаванием». |
|
||||
| 6-5 | [end-to-end-speech](end-to-end-speech/) | ✅ | MiniCPM-o 4.5 с закреплённой revision реально запущен локально на одной RTX PRO 6000; end-to-end и self-cascade дали по 3/4 с взаимодополняющими семантическими/паралингвистическими ошибками, сохранены 24kHz-аудио и доказательства приёмки. |
|
||||
| 6-6 | [controllable-tts](controllable-tts/) | 🚧 | Реальная библиотека Fish Audio S1 4×3×2 и A/B/C-медиа проходят структурные gate; не завершены качественное прослушивание и оценка «почти как живой оператор». |
|
||||
| 6-7 | `claude-quickstarts/computer-use-demo/` | 📖 | Внешний `anthropics/claude-quickstarts` зафиксирован на `9bcc95e…`; текст относится к контейнерному Ubuntu desktop+Claude agent loop Computer Use demo, а не ко всему quickstarts. |
|
||||
| 6-8 | `browser-use/` | 📖 | Внешний `browser-use/browser-use` зафиксирован на `ec9277c…`; visual CLI (`use_vision=True`) ищет погоду San Francisco в Google и сохраняет траекторию действий/скриншотов. |
|
||||
| 6-9 | [xlerobot-teleoperation](xlerobot-teleoperation/) | 📖 | Дистанционное управление реальным XLeRobot для одной задачи уборки стола: красную чашку в поднос, жёлтую бумагу в урну, затем повторно наблюдать и проверить состояние. |
|
||||
| 6-10 | [gemini-xlerobot-navigation](gemini-xlerobot-navigation/) | 📖 | В симуляторе измеряется верхняя граница идеального управления для той же задачи; это не означает запуска реального робота. |
|
||||
| 6-11 | [gemini-xlerobot-navigation](gemini-xlerobot-navigation/) | 📖 | Gemini Robotics-ER 1.5 автономно управляет реальным XLeRobot в той же задаче уборки стола. |
|
||||
| 6-12 | [gemini-xlerobot-navigation](gemini-xlerobot-navigation/) | 📖 | В симуляторе сравниваются открытый цикл, пошаговая проверка и предиктивный замкнутый цикл для той же задачи. |
|
||||
| 6-13 | [rgb-sim2real-grasping](rgb-sim2real-grasping/) | 📖 | RGB-тест между средами для той же задачи с изменением фона, внешнего вида предметов, освещения и визуального шума. |
|
||||
|
||||
## Типы проектов
|
||||
|
||||
| Значок | Тип | Значение |
|
||||
| :--: | --- | --- |
|
||||
| ✅ | **Автономный** | Полный код в этом репозитории, запускается после настройки API-ключа |
|
||||
| 📖 | **Гайд по воспроизведению** | Подробный документ, зависящий от **внешних репозиториев** через `git clone` |
|
||||
| 🚧 | **В работе** | Реализация есть, но не завершены требуемый живой запуск, авторизация участника, оборудование или доказательства приёмки текста |
|
||||
Reference in New Issue
Block a user