Главная / Словарь / Галлюцинации нейросети

Галлюцинации нейросети

Галлюцинация - это уверенно поданный вымысел: модель выдаёт факт, которого не было, ссылку, которая не открывается, цифру, которую никто не считал. Это не сбой, а следствие устройства: языковая модель продолжает текст по вероятности, и правдоподобное продолжение для неё ничем не отличается от правдивого.

Почему модель не говорит «не знаю»?

Потому что молчание для неё маловероятное продолжение. В обучающих текстах на вопросы обычно отвечают, а не признаются в незнании, и модель воспроизводит эту привычку. Прямая инструкция возвращать пустое значение вместо догадки помогает, но не отменяет проверку результата.

Где галлюцинации опаснее всего?

Там, где ответ уходит дальше без человека. Придуманный моделью телефон в карточке CRM выглядит как настоящий, и ошибка обнаружится только когда менеджер по нему позвонит. Поэтому в автоматизации извлечённые данные валидируются формально: телефон проверяется на формат, отсутствующее поле должно быть пустым, а не выдуманным.

Как снизить количество галлюцинаций?

Тремя приёмами: дать модели источник в промпте вместо опоры на память, потребовать строгий формат ответа вместо свободного текста и проверять результат кодом до записи в систему. Не прошло проверку - в ручную очередь, а не в базу.