Урок 4 · 6 минут

Галлюцинации: почему ИИ выдумывает

Галлюцинация — это уверенно поданный вымысел: несуществующая статья закона, выдуманная цифра, ссылка, которой нет. Она возникает не от сбоя, а от самой природы предсказания текста: если факта нет, модель достраивает правдоподобное. Ловится это тремя приёмами, и все они дешёвые.

Где выдумки появляются чаще всего

Точные числа: цены, проценты, сроки, объёмы рынка.
Реквизиты: номера законов и статей, ГОСТы, даты вступления в силу.
Ссылки и источники: адреса страниц, названия исследований, фамилии авторов.
Локальная специфика: правила конкретного города, особенности отрасли, внутренние регламенты.

Три приёма проверки

Разделение. Попросить модель разложить свой ответ на подтверждаемое, выведенное и достроенное. Третья группа — зона риска.
Источник рядом с фактом. Требовать, чтобы каждое число сопровождалось названием документа и формулировкой оттуда. Отсутствие источника — сигнал.
Встречная проверка. Задать тот же вопрос в новом разговоре, сформулировав его иначе. Совпадение выдумок при разных формулировках маловероятно.

Чего делать не стоит

Просить модель «поклясться, что это правда» бессмысленно: заверение генерируется тем же способом, что и сам ответ. Точно так же не работает вопрос «ты уверен?» — он часто заставляет модель менять верный ответ на неверный, потому что сомнение читается как указание переписать.

Коротко

Выдумки концентрируются в цифрах, реквизитах и ссылках.
Проверка должна быть процедурой, а не просьбой быть точным.
Вопрос «ты уверен?» ухудшает ответ чаще, чем улучшает.

Вопросы по уроку

Помогает ли доступ в интернет?

Сильно снижает риск по свежим и проверяемым фактам, но не убирает его: модель может неверно понять найденное или сослаться на ненадёжный источник. Ссылки всё равно стоит открывать.

Можно ли вообще доверять ИИ в юридических вопросах?

Как черновику — да, как заключению — нет. Формулировки и структура получаются полезными, но номера статей и сроки проверяются по первоисточнику. Цена ошибки здесь выше выигрыша во времени.