Разбор

Почему нейросеть ошибается и выдумывает факты

Нейросеть может с полной уверенностью назвать несуществующую книгу, неверную дату или придуманную статью закона. Это называют галлюцинациями. Разбираемся, откуда они берутся и как от них защититься.

Обновлено 27 октября 20266 мин чтенияРаздел: Чат-боты и ИИ-ассистенты

Почему так происходит

Языковая модель обучена продолжать текст так, как это обычно делают люди. Она не сверяется с базой фактов, а генерирует правдоподобный ответ. Если точных знаний нет, модель всё равно выдаст гладкий текст — иногда с выдуманными деталями.

Где ошибки чаще всего

  • Точные цифры, даты, суммы.
  • Цитаты и источники — книги, статьи, ссылки.
  • Законы и их статьи.
  • Биографии малоизвестных людей.
  • Свежие события после даты обучения модели.
  • Арифметика в длинных расчётах.
  • Узкие темы и местная информация.

Как снизить риск

  1. Давайте исходник. «Ответь по этому документу» надёжнее «ответь по памяти».
  2. Разрешите не знать: «Если не уверен, так и скажи».
  3. Просите источники и проверяйте их — поиск с источниками.
  4. Просите цитату-подтверждение для каждого тезиса.
  5. Сравнивайте ответы двух нейросетей.
  6. Пересчитывайте цифры на калькуляторе.
Ответь только на основе приложенного текста. Для каждого утверждения укажи цитату из текста. Если в тексте нет ответа — напиши «в тексте этого нет».

Что проверять всегда

  • Медицина, право, финансы — у специалиста или в официальных источниках.
  • Всё, что пойдёт в публикацию, учебную работу или договор.
  • Источники и ссылки — открывайте каждую.

Примеры из учёбы — реферат с нейросетью, из текстов — краткое содержание.

Коротко

Нейросеть генерирует правдоподобный, а не обязательно верный текст. Давайте ей исходники, разрешайте говорить «не знаю», просите источники и всегда проверяйте важное.

Частые вопросы

Почему нейросеть врёт уверенно?

Языковая модель не «знает» факты, а предсказывает правдоподобное продолжение текста. Правдоподобно звучащий ответ может быть неверным, а уверенный тон — это просто стиль.

Какие нейросети не ошибаются?

Таких нет. Новые модели ошибаются реже, а поиск с источниками помогает проверять, но полностью исключить ошибки нельзя.

Как заставить нейросеть меньше выдумывать?

Давайте ей исходные материалы, просите ссылаться на них и разрешите говорить «не знаю». Важные факты всё равно проверяйте.