Ограниченные циклы ИИ-агентов: проверки, повторы и правила остановки
Table of Contents
Вернуться к практическому курсу по рабочим процессам ИИ
Цикл цели повторяет работу, пока заданный результат не пройдет проверку или не сработает правило остановки. Полезный цикл считывает текущее состояние, выполняет одно ограниченное действие, проверяет результат и записывает, что произошло. Открытая инструкция «продолжай пробовать» не задает надежного правила завершения.
Результат обучения: вы выполните ограниченный цикл лабораторной работы с заранее известной неудачной проверкой и запишете решение об остановке.
Главное
- Цель: результат, сформулированный в наблюдаемых терминах.
- Состояние: текущие файлы, выводы, ошибки и ревизия исходного кода.
- Проверка: тест или обзор, связанный с целью.
- Бюджет повторов: максимальное число попыток для одной ошибки.
- Правило остановки: условие, требующее завершить работу или запросить решение человека.
Перед началом
Что понадобится: пакет задания , запись проверки результата и урок о делегировании . Выделите 45 минут. Сложность средняя. Используйте новую копию синтетической лабораторной работы, чтобы заранее знать, какая первая проверка завершится неудачно.
Составьте контракт цикла
Для запроса на фильтрацию по статусу задайте контракт до любого повтора:
Цель: поддержать --status open|done без изменения вывода по умолчанию.
Источник: docs/requirements.md, ревизия 1.
Разрешённые файлы: task_report.py и целевые тесты.
Проверки: модульные тесты, числа 4/2/2, для недопустимого значения нужен ненулевой код выхода.
Лимит повторов: не более двух правок после первой попытки.
Немедленно остановиться: конфликт источников, неожиданное изменение файла, раскрытие секрета,
или сбой базовой проверки, не связанный с этим запросом.
Передача: сообщить итоговый diff, команды, выводы, попытки и нерешённую проблему.
Бюджет задает правило задачи, а не настройку продукта по умолчанию. Двух повторов достаточно, чтобы диагностировать небольшую лабораторную задачу и не скрыть повторяющиеся ошибки. Для производственной задачи нужно отдельно выбрать уровень риска и способ проверки.
Используйте таблицу состояния
| Шаг | Что записать | Решение |
|---|---|---|
| Прочитать | Ревизию исходного кода и начальный результат | Остановиться, если начальное состояние отличается |
| Действовать | Измененные файлы и выполненное действие | Отклонить изменения за пределами задачи |
| Проверить | Точный тест и ручной результат | Принять или диагностировать |
| Повторить | Причину ошибки и новую гипотезу | Продолжать только в пределах бюджета |
| Передать | Итоговое состояние и следующего ответственного | Остановиться после успеха или блокировки |
Записывайте попытки, а не только последнее сообщение. Тест, прошедший после трех скрытых правок, не объясняет, что изменилось. Ведите краткий журнал с описанием ошибки, пересмотренной гипотезы и новых подтверждений.
Разберите ошибку
Пример первой попытки: агент добавляет фильтрацию и тесты. open выводит 2, но --status invalid выводит 0 и завершается успешно. Требование указывает, что для недопустимого значения нужен ненулевой код завершения. Отметьте проверку как не пройденную.
Диагностика: изучите проверку аргументов. Агент обработал неизвестное значение как пустое совпадение вместо ошибки. Запросите ограниченную правку, которая проверяет допустимые значения до подсчета. Повторно выполните проверку для недопустимого значения и все предыдущие проверки.
Попытка 1: недопустимый статус завершился успешно, поэтому проверка приёмки провалена.
Причина найдена: допустимые значения не проверяются.
Запрос для попытки 2: отклонять неподдерживаемые значения и сохранить числа 4/2/2.
Нужные доказательства: полный запуск тестов и код выхода недопустимой команды.
Ожидаемый результат второй попытки: понятная ошибка и ненулевой код завершения для invalid, при этом допустимые счетчики не меняются. Если вторая попытка снова завершится неудачно, используйте последнюю только после определения новой причины. Повтор того же запроса не является диагностикой.
Обрабатывайте неоднозначные результаты
Остановка процесса без результата не означает успех. Если инструмент завершился по тайм-ауту после возможной записи, проверьте файлы и состояние Git до повторного запуска. Если подключенный сервис сообщает о неизвестном результате, прочитайте его текущее состояние до повтора внешнего действия. За пределами лабораторной работы дублирующие отправки, публикации или записи создают реальный риск.
Остановитесь для проверки человеком, если требование конфликтует с другим утвержденным источником, разрешение блокирует действие, бюджет повторов исчерпан или запрошенное действие пересекает границу публикации. В передаче укажите точное состояние и нерешенный вопрос.
Разделяйте циклы и мониторы
Цикл редактирования работает в рамках ограниченной задачи и проверяет результат после каждого действия. Запланированный монитор запускается позже, чтобы проверить условие. Для монитора нужны собственная частота, порог изменений, правило уведомления и условие остановки. Не превращайте цикл редактирования в лаборатории в повторяющееся задание. Следующий урок посвящен оценке постоянно работающих систем до их включения.
Выполните контролируемый цикл
Начните с нетронутой лаборатории. Два исходных теста проходят. В новой распакованной копии создайте tests/test_loop_contract.py с приведенной ниже проверкой. Этот файл описывает нужную функцию, которой нет в стартовом проекте. Он не входит в поддерживаемый стартовый ZIP-архив.
"""One controlled failing check for the status-filter exercise."""
import subprocess
import sys
import unittest
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
class LoopContractTests(unittest.TestCase):
def test_open_status_count(self):
result = subprocess.run(
[sys.executable, str(ROOT / "task_report.py"),
str(ROOT / "tasks.json"), "--status", "open"],
capture_output=True, text=True, check=False,
)
self.assertEqual(result.returncode, 0, result.stderr)
self.assertEqual(result.stdout.strip(), "Total tasks: 2")
if __name__ == "__main__":
unittest.main()
Запустите python3 -m unittest discover -s tests -v. Два исходных теста должны пройти, а новый контрактный тест должен завершиться неудачно, поскольку стартовый проект не поддерживает --status. Запишите фактическую ошибку. Если вы инициализировали Git, как показано в уроке 0, запишите также результат git status --short. Иначе сравните измененные файлы с нетронутой распаковкой. В Windows используйте py -3, если ваша настройка использует launcher.
Установите бюджет в три попытки: первая правка и не более двух исправлений. Передайте агенту приведенный выше контракт цикла и запросите одно ограниченное изменение. После каждой попытки проверяйте измененные файлы, повторно запускайте все тесты и команды по умолчанию, open, done и с недопустимым значением. Перед следующей попыткой запишите причину ошибки. Остановитесь, если проверка прошла, обнаружилась не связанная с задачей ошибка базового состояния, появилось изменение вне области задачи или провалилась третья попытка.
Учебный маршрут: после записи красного теста примените полный разбор урока 5 в этой новой копии. Повторите те же проверки и отметьте, что правка агента не выполнялась. Сохраните контролируемый контрактный тест. Не ослабляйте и не удаляйте его, чтобы добиться успешного результата.
| Попытка | Состояние и наблюдение | Решение |
|---|---|---|
| До правки | Два исходных теста проходят, новая проверка open завершается неудачно |
Продолжить с одной ограниченной правкой |
| После каждой правки | Записать точные тесты, счетчики, ненулевой код для недопустимого значения и измененные файлы | Принять, диагностировать или остановиться |
| После исчерпания бюджета | Записать оставшуюся ошибку и текущую разницу | Передать задачу без еще одной попытки |
Практика и проверка
Ваш артефакт: контролируемый неудачный тест, наблюдаемый вывод до и после, журнал попыток и итоговое решение принять результат или остановиться. Если первая правка прошла, запишите одну попытку. Не придумывайте вторую ошибку ради заполнения журнала.
Проверка завершения: в контракте указаны источник, границы файлов, наблюдаемые проверки, лимит повторов, как минимум одно условие немедленной остановки и передача задачи. В журнале есть настоящий красный тест, результаты последующих проверок и успешный итог либо остановка из-за бюджета. Во второй попытке указана новая причина, и она отличается от первой.
Проверьте понимание
- Вопрос: что доказывает первый красный контрактный тест? Ответ: в стартовом проекте нет запрошенного фильтра по статусу, что подтверждается тестом, написанным до правки.
- Вопрос: когда цикл должен остановиться, хотя попытки еще остались? Ответ: при изменении вне области задачи, неясном разрешении или конфликтующем требовании.
Устранение неполадок
- Цикл повторяет ту же ошибку: остановитесь и сформулируйте новую гипотезу о причине.
- Проверки становятся слабее: восстановите исходные критерии приемки.
- Неясный внешний результат: проверьте текущее состояние перед новой попыткой.
- Бюджет исчерпан: передайте журнал ошибок, а не скрывайте их.
Что дальше
Продолжите с необязательной оценкой специализированных агентов или сразу перейдите к итоговому проекту курса по рабочим процессам ИИ . Другие варианты среды выполнения описаны в руководстве по средам для агентов .
Навигация по курсу: Предыдущий урок: делегирование агентам , План курса .