Метод · 6 минут
Как проверять ответы ИИ, если вы не эксперт в теме
Проверять можно и без экспертизы: достаточно смотреть не на содержание, а на структуру ответа. Четыре приёма — разделение фактов и выводов, требование источника рядом с фактом, встречный вопрос в новом чате и проверка на «слишком гладко» — ловят большую часть ошибок за пару минут.
Приём 1. Разделить факты и выводы
Попросите разложить ответ на три части: что подтверждается источником, что выведено самой моделью и что дописано по образцу. Третья часть — то, что нужно проверять в первую очередь, и обычно она короче, чем кажется.
Приём 2. Источник рядом с каждым фактом
Требуйте, чтобы возле каждого числа и каждой ссылки стояло название документа и точная цитата. Это не гарантия, но резко снижает количество выдумок: модель вынуждена «показать руку».
Приём 3. Встречный вопрос в чистом чате
Тот же вопрос, заданный иначе и в новом разговоре, даёт независимый ответ. Совпали ключевые цифры — уже неплохо. Разошлись — вы нашли слабое место, не будучи специалистом.
Приём 4. Насторожиться, когда слишком гладко
Реальность обычно с оговорками: исключения, спорные случаи, «зависит от». Ответ без единой оговорки чаще всего означает, что модель усреднила картину. Попросите отдельно перечислить исключения и случаи, когда сказанное неверно.
Когда проверки недостаточно
Если цена ошибки — деньги, здоровье или юридические последствия, никакая процедура самопроверки не заменяет специалиста. Разумная роль ИИ здесь: подготовить вопросы к специалисту и структурировать материалы, а не выдать заключение.