Главная опасность ИИ — не в том, что он ошибается, а в том, что ошибается уверенно. Выдуманный номер закона или цитата выглядят ровно так же, как настоящие. Вот как защититься.
Что проверять всегда
Цифры, даты, имена, законы, цены, медицинские и юридические утверждения, ссылки и цитаты. Всё, где ошибка дорого стоит.
Приёмы
Просите обоснование. «На чём основан этот вывод? Укажи, откуда». Если модель начинает юлить — верить нельзя.
Спросите об уверенности. «Насколько ты уверена в этом? Что здесь может быть неточно?». Модель нередко сама признаёт слабые места.
Перепроверьте формулировкой наоборот. Задайте тот же вопрос иначе. Если ответ «поплыл» — это признак выдумки.
Сверяйтесь с первоисточником. Для важного — официальный сайт, закон, документация. ИИ хорош, чтобы понять и сформулировать, а не чтобы быть последней инстанцией.
Где риск выше
Свежие события (у модели есть предел знаний по дате), узкие факты, точные ссылки. Чем конкретнее и «свежее» запрос, тем выше шанс галлюцинации.
Правило простое: ИИ отвечает за форму и логику, вы — за факты. Как только начинаете доверять ему факты вслепую, начинаются проблемы.