Урок 6. Проверка результата нейросети
Что проверять в первую очередь, как быстро отличить факт от выдумки и какой чек-лист использовать перед публикацией или отправкой.
Цель урока
Получить работающую процедуру проверки, которая занимает минуты, а не часы.
Принцип: проверяйте не всё, а рисковое
Проверять каждое слово нереально и не нужно. Эффективная проверка начинается с вопроса: что произойдёт, если конкретное утверждение окажется неверным?
Разделите ответ модели на три части:
- Формулировки и структура — переписать, объяснить, оформить. Проверять почти нечего: вы и так видите результат.
- Утверждения о мире — факты, цифры, даты, имена, нормы, ссылки. Проверять обязательно.
- Выводы и рекомендации — здесь важна не истинность, а применимость к вашей ситуации. Проверяется здравым смыслом и знанием контекста.
Основное время уходит на вторую часть, и она же обычно занимает меньшую долю текста.
Что проверять всегда
Безусловный список, независимо от задачи:
- Любая ссылка, название книги, статьи, закона
- Любое число, полученное расчётом
- Даты, сроки, периоды
- Имена людей и названия организаций
- Цены, тарифы, лимиты
- Утверждения со словами «обычно», «в большинстве случаев», «исследования показывают»
Последний пункт коварнее прочих: обобщение звучит безобидно, но именно в нём чаще всего прячется выдуманная статистика.
Приёмы быстрой проверки
Переспросить иначе
Задайте тот же вопрос другой формулировкой в новом чате. Расхождение ответов — сигнал, что модель не уверена.
Попросить обосновать
Откуда эта цифра? Если ты не уверен в источнике, скажи прямо.
Модель часто «сдаётся» на прямом вопросе и признаёт неуверенность — это дешевле, чем проверять вручную.
Попросить аргументы против
Приведи три аргумента против этого вывода.
Если контраргументы сильнее исходного вывода, вывод стоит пересмотреть.
Проверить через поиск
Самый надёжный способ для фактов: скопировать утверждение в поисковик. На это уходят секунды, а результат однозначен.
Чек-лист перед публикацией или отправкой
- ☐ Все цифры перепроверены в источнике или пересчитаны
- ☐ Все ссылки открыты и ведут туда, куда заявлено
- ☐ Названия, имена и даты сверены
- ☐ Нет обещаний, которых вы не сможете выполнить
- ☐ Нет утверждений о людях и компаниях, которые вы не можете подтвердить
- ☐ Текст прочитан целиком, а не просмотрен по диагонали
- ☐ В тексте нет оборотов, по которым видно машинную речь
Последний пункт можно автоматизировать: проверка текста на штампы подсвечивает обороты, которые выдают машинную или казённую речь.
Отдельно про чужие данные
Если в ответе есть утверждения о конкретных людях, компаниях или продуктах, планка проверки поднимается: ошибка здесь бьёт не по вам, а по третьим лицам, и может иметь юридические последствия. Подробнее — в гайде про право.
Сколько это занимает на практике
Для статьи на 1500 слов с десятком фактических утверждений проверка занимает 15–25 минут. Это примерно вдвое меньше времени, чем заняло бы написание того же текста с нуля, — поэтому связка «черновик от модели плюс проверка человеком» всё равно выигрывает.
Проигрывает она только в одном случае: когда проверку пропускают.
Практическое задание
Возьмите последний текст, который вы получили от нейросети и использовали. Пройдите по нему чек-листом. Посчитайте, сколько пунктов требовали правки. Это ваша персональная оценка того, насколько внимательно нужно проверять в вашей задаче.
Главное из урока
- Проверять нужно утверждения о мире, а не формулировки
- Обобщения вида «исследования показывают» — частое место выдуманной статистики
- Прямой вопрос «откуда эта цифра» часто заставляет модель признать неуверенность
- Связка «черновик от модели плюс проверка» выигрывает, только если проверку не пропускают
Проверьте себя
5 вопросов по материалу урока. Ответы сохраняются в вашем браузере.
1.Какую часть ответа модели нужно проверять в первую очередь?
2.Почему обобщения вида «исследования показывают» требуют особого внимания?
3.Что даёт вопрос «откуда эта цифра, если не уверен — скажи прямо»?
4.Когда планка проверки должна подниматься?
5.В каком случае связка «черновик от нейросети плюс проверка» проигрывает написанию с нуля?