Урок 5. Ошибки нейросетей и галлюцинации

Почему модель врёт

Модель не различает «знаю» и «не знаю». Она всегда выдаёт наиболее вероятное продолжение текста — и когда информация есть в её данных, и когда её там нет. Во втором случае получается правдоподобная выдумка.

Это явление называют галлюцинациями. Важно понимать: это не сбой, который починят в следующей версии, а свойство самой технологии. Новые модели галлюцинируют реже, но не перестают.

Пять типов ошибок и как их узнавать

1. Выдуманные источники

Самый частый и самый опасный тип. Модель генерирует ссылки, названия книг, номера законов и научных статей, которые выглядят абсолютно достоверно: реальные фамилии, правдоподобные названия журналов, убедительные годы.

Признак: источник выглядит идеально подходящим под ваш запрос.

Что делать: проверять каждую ссылку. Для научной работы — использовать сервисы, которые ищут по реальным базам публикаций.

2. Арифметические ошибки

Модель считает не как калькулятор, а как человек в уме: примерно и с ошибками. Особенно страдают длинные вычисления, проценты и многошаговые расчёты.

Признак: любое число, полученное вычислением, а не скопированное из ваших данных.

Что делать: просить формулу и считать самому. Для сложных расчётов — вычислительные сервисы, а не чат.

3. Устаревшие данные

Модель знает мир до даты окончания обучения. Цены, версии, состав команд, законы, актуальные модели нейросетей — всё это может быть неверным.

Признак: вопрос касается чего-то, что меняется.

Что делать: включать поиск в интернете или проверять на первоисточнике.

4. Уверенное додумывание контекста

Вы не указали важную деталь — модель подставила правдоподобную. Она не спросит и не предупредит.

Признак: в ответе есть детали, которых вы не давали.

Что делать: прямо просить: «если данных не хватает — скажи, каких именно, вместо того чтобы догадываться».

5. Согласие вместо возражения

Модели склонны соглашаться с пользователем. Если вы сформулировали вопрос с уже заложенным ответом, вы, скорее всего, получите его подтверждение — даже если он неверен.

Признак: модель согласилась с вами слишком легко.

Что делать: спрашивать нейтрально и отдельно просить аргументы против вашей позиции.

Как снизить вероятность ошибок

Что действительно помогает, в порядке эффективности:

1. Дать данные вместо того, чтобы спрашивать по памяти. Загруженный документ модель искажает гораздо реже, чем воспроизводит факты из обучающих данных.
2. Включить поиск для всего, что меняется.
3. Прямо запретить выдумывать и требовать помечать непроверенное.
4. Просить ссылки на конкретные места документа — страницу, раздел, цитату.
5. Использовать режим рассуждения для задач, где важна цепочка выводов.
6. Задать один вопрос дважды в разных формулировках: расхождение ответов — сигнал, что модель не уверена.

Чего не стоит ждать от детекторов

Сервисы проверки текста на ИИ-генерацию не решают эту проблему: они оценивают, машина ли писала, а не правду ли она написала. Отредактированный человеком машинный текст они почти не ловят, а сухой человеческий часто помечают как сгенерированный. Подробнее — в категории детекторов.

Простое правило

Чем выше цена ошибки, тем меньше можно полагаться на модель без проверки.

Практическое задание

Задайте модели вопрос по теме, в которой вы хорошо разбираетесь, и попросите привести три источника. Проверьте каждый. Это упражнение делает отношение к ссылкам от нейросетей осознанным быстрее любой теории.