Plan, draft, critique: improve the answer in loops
Split complex work, separate creating from checking and turn feedback into a controlled iteration.
Lesson content is currently available in Russian.
What you will learn
- →Декомпозировать сложную задачу на результаты с точками проверки.
- →Запрашивать критику по рубрике без требования раскрывать скрытые рассуждения.
- →Сравнивать версии на фиксированном наборе тестов.
Один большой запрос скрывает ошибки
Задача «изучи отзывы, найди причины оттока, придумай стратегию и напиши презентацию» смешивает исследование, вывод и коммуникацию. Если первая стадия ошиблась, красивый финал маскирует проблему. Разбейте работу на артефакты: извлечённые наблюдения → сгруппированные темы → гипотезы с опорой на наблюдения → варианты действий → финальный материал.
После каждого этапа ставьте checkpoint. Например: «Покажи таблицу тем и цитат. Не предлагай решения, пока я не подтвержу классификацию». Человек проверяет дешёвый промежуточный результат до того, как ошибка размножится.
Декомпозиция не означает микроменеджмент каждого предложения. Делите там, где меняется тип работы, источник истины или цена ошибки.
Критика по рубрике, а не “сделай лучше”
Отделите автора от редактора хотя бы двумя проходами. Первый создаёт черновик. Второй оценивает его по рубрике: точность, полнота, ясность, соответствие аудитории, соблюдение формата и безопасность. Попросите привести наблюдаемое свидетельство для каждой оценки.
Не нужно просить модель раскрывать внутреннюю цепочку рассуждений. Достаточно краткого обоснования, списка найденных проблем и исправленной версии. Такой формат полезнее для проверки и не создаёт иллюзию, что длинное объяснение гарантирует истину.
Хорошая команда редактору: «Оцени черновик по шести критериям от 0 до 2. Для каждого балла укажи одну проверяемую причину. Сначала верни таблицу оценки, затем исправленный текст, затем список нерешённых вопросов».
Маленький eval вместо любимого примера
Prompt нельзя оценить по одному удачному ответу. Соберите 5–10 типичных тестов: короткий ввод, длинный, неполный, пограничный, чувствительный. Зафиксируйте ожидаемые свойства результата, а не обязательно единственную формулировку.
Меняйте за раз один элемент prompt и прогоняйте тот же набор. Иначе непонятно, что улучшило или ухудшило поведение. OpenAI рекомендует строить цикл evals → prompt/model changes → повторная оценка, а не полагаться на впечатление.
Сохраняйте не только средний балл, но и провалы. Для рабочего prompt один опасный ответ на чувствительном тесте может быть важнее девяти красивых обычных ответов.
Practice
Трёхпроходная мастерская
Возьмите задачу подготовки недельного статуса. Проход 1: план и список недостающих данных. Проход 2: черновик после вашего подтверждения. Проход 3: оценка по рубрике и исправление. Затем проверьте prompt ещё на трёх разных проектах.
Deliverable
Три промежуточных артефакта, рубрика из шести критериев и таблица результатов минимум по четырём тестам.
Checkpoint
Где поставить checkpoints в задаче «исследовать проблему и предложить решение»?
- ✓ Факты и наблюдения проверяются до генерации гипотез.
- ✓ Гипотезы связываются с источниками до выбора решений.
- ✓ Финал оценивается по заранее заданной рубрике.
Check yourself
Sources