Я смотрю на нейросети как на рабочий инструмент, у которого есть реальная цена ошибки. Ошибки ИИ стоят денег, клиентов и репутации. Если тема «ИИ под контролем» вам близка, оставайтесь на связи. Дальше по этой линии будет много прикладного.
Что такое «галлюцинация» ИИ и почему нейросети врут даже в исправном состоянии
Галлюцинация нейросети - это уверенный ответ, который звучит правдоподобно, но не соответствует фактам. И это не редкий сбой отдельной модели, так они устроены изнутри. Они предсказывают правдоподобное продолжение текста и не сверяются с базой проверенных фактов, поэтому выдуманное выходит таким же гладким, как настоящее.
В сентябре 2025 года OpenAI впервые официально объяснила механику в работе «Why Language Models Hallucinate». Смысл там простой, потому что отличить правду от неправды модели проще, чем сгенерировать заведомо верный текст. Когда вы просите модель «верно или неверно», она нередко угадывает правильно. Когда она пишет ответ с нуля, стандартное обучение поощряет уверенное угадывание, а не признание «я не знаю». В исследовании это сформулировано так. Если ложные утверждения статистически неотличимы от фактов, галлюцинации в обученной модели неизбежны.
Отсюда вывод, с которого стоит начать любую работу с ИИ. Модель врёт не по злому умыслу и не из-за плохой настройки. Просто так устроена её работа, ведь она складывает правдоподобный текст, и уверенный тон у выдуманного факта ровно такой же, как у настоящего. Проверять приходится вам.
Нейросеть оптимизирована под правдоподобие ответа, а не под его правдивость. Уверенность в тоне ничего не говорит о верности содержания.
Насколько часто нейросети реально ошибаются
Ошибаются заметно чаще, чем кажется по рекламным презентациям, и на сложных задачах процент только растёт. Разброс большой, ведь на простой задаче хорошая модель врёт в единицах процентов случаев, на длинных документах по праву, медицине и финансам даже топовые модели уходят за 10%.
Самый цитируемый независимый замер - Vectara Hallucination Leaderboard. Он проверяет одну узкую вещь, а именно насколько точно модель пересказывает документ, не добавляя того, чего в нём нет. Вот порядок цифр на 2026 год.
| Модель | Доля ошибок | Задача |
|---|---|---|
| GPT-5.4-nano | 3,1% | простая суммаризация |
| Claude Haiku 4.5 | 9,8% | та же задача |
| Топовые reasoning-модели | больше 10% | длинные документы по праву и медицине |
Источник данных, Vectara Hallucination Leaderboard, HHEM-2.3, 2026.
Здесь два неудобных факта. Первый в том, что в ноябре 2025 Vectara усложнила тест, взяв документы до 32 тысяч токенов по сложным темам, и на этой выборке даже самые сильные reasoning-модели пробивают порог в 10% ошибок. То есть точнее модели становятся на лёгких задачах, а на длинных и сложных задачах, где чаще всего работают маркетологи и фрилансеры, ошибка растёт.
Второй факт OpenAI признала сама, ведь новые reasoning-модели поколения o3 и o4-mini галлюцинируют чаще предыдущих, и в компании прямо говорят, что до конца не понимают, почему. Так что привычная логика «модель умнее, значит врёт меньше» на практике не работает. Если хотите ориентироваться в моделях по свежим данным, у меня есть отдельный разбор про актуальные нейросети и их сильные стороны, но ни одна из них не отменяет проверку результата.
Что говорят вендоры об ошибках ИИ, и почему им не стоит верить на слово
Вендоры признают проблему, но у них есть структурный интерес приуменьшать её масштаб, ведь это их продукт. Поэтому официальные формулировки звучат мягче, чем показывают независимые замеры и реальные инциденты. Сверять слова компаний с практикой приходится самому, и ниже я свожу три типичных заявления вендоров против того, что показывает практика по каждому из них.
Показательно, что даже сами руководители иногда честнее собственного маркетинга. Вот что сказал глава OpenAI Сэм Альтман на подкасте компании в июне 2025. «Люди испытывают очень высокую степень доверия к ChatGPT, что любопытно, ведь ИИ галлюцинирует. Это как раз та технология, которой не стоит так уж доверять». Редкий случай, когда вендор публично просит не верить его же продукту вслепую.
Глава Anthropic Дарио Амодеи на девелоперском ивенте в мае 2025 высказался иначе. «Смотря как мерить, но я подозреваю, что ИИ-модели галлюцинируют реже людей - просто более неожиданными способами». Звучит успокаивающе, но проверить это тяжело, ведь бенчмарки сравнивают модели друг с другом, а не с людьми. И тут же, в том же разборе, всплыл реальный контрпример. Одному юристу пришлось извиняться в суде из-за выдуманных нейросетью судебных цитат с несуществующими именами.
Сама Anthropic в документации не прячет проблему и пишет прямо. «Даже самые продвинутые языковые модели, такие как Claude, иногда генерируют текст, который фактически неверен или не согласуется с контекстом». И добавляет ключевое, что приёмы снижения галлюцинаций «не устраняют их полностью. Всегда проверяйте критически важную информацию, особенно для ответственных решений».
Сведём позиции в таблицу.
| Что говорит вендор | Что показывает практика |
|---|---|
| Anthropic говорит, что модели галлюцинируют реже людей | Сравнение некорректно (бенчмарки меряют модели между собой), плюс реальный кейс юриста с выдуманными цитатами в суде |
| Google заявляет точность ответов ИИ в поиске «на уровне» обычных сниппетов | Анализ для The New York Times (2026) насчитал десятки миллионов сомнительных ответов в час при заявленных 90% точности, плюс иск за прямую ложь о компании |
| OpenAI обещает, что reasoning-модели точнее за счёт «размышления» | Сама OpenAI признаёт, что o3 и o4-mini врут чаще прошлого поколения, причина не установлена |
Вывод тут простой. Официальный оптимизм вендора отражает позицию стороны, которая продаёт. Цифры берите из независимых замеров, а решения принимайте по проверке на своих задачах.
Как проверять ИИ, прежде чем пускать его в трафик и к клиентам, я как раз разбираю в своём Telegram-канале «The Maslov», где держу нейросети под контролем, а не на вере. Там же выкладываю рабочие связки, промпты и чек-листы, которые можно забрать и внедрить у себя за один вечер.
Чек-листы и разборы - в Telegram-канале
Подписаться на «The Maslov»5 показательных факапов ИИ, которые дорого стоили бизнесу
Ниже пять задокументированных случаев за 2025-2026 год, где ошибка нейросети привела к реальным потерям: деньгам, клиентам, репутации и судебным искам. Все они публичные, с признанием со стороны компаний. Я специально собрал случаи из разных зон, от поддержки и разработки до поиска и права, чтобы было видно, как галлюцинация бьёт везде, где ответ модели уходит дальше без проверки.
1. Cursor. Бот поддержки выдумал политику компании (апрель 2025). ИИ-бот сервиса для разработчиков от имени сотрудника «Сэма» сообщил пользователям, что разлогин при смене устройства стал новой политикой безопасности «одно устройство на подписку». Такой политики не существовало, бот её сочинил. Новость разлетелась по Hacker News и Reddit, часть пользователей начала отменять подписки. Сооснователь Cursor публично извинился и признал «неверный ответ фронтового ИИ-бота поддержки». Урок в том, что автоматизация поддержки без прозрачности бьёт по доверию сильнее, чем сама ошибка.
2. Replit. ИИ-агент удалил боевую базу и соврал об этом (июль 2025). Основатель одного SaaS-сервиса тестировал ИИ-агента для «вайб-кодинга». На девятый день, несмотря на прямую инструкцию и объявленный «code freeze», агент выполнил деструктивные команды и снёс продакшн-базу с записями о 1206 руководителях и 1196 компаниях. Хуже другое. Агент попытался скрыть содеянное и сгенерировал около 4000 фейковых пользователей, сфабриковал отчёты и соврал про результаты тестов. Предприниматель написал публично: «Он удалил нашу боевую базу без разрешения. И что, возможно, хуже - он скрыл это и соврал». Глава Replit признал инцидент словами «недопустимо и не должно быть возможным в принципе», после чего команда экстренно развела dev и prod окружения.
3. Klarna. Откат ИИ-поддержки после падения качества (2025-2026). В 2024 году финтех Klarna посадил ИИ на часть поддержки и получил 2,3 млн диалогов за первый месяц, среднее время обработки упало с 11 минут до 2. Но к маю 2025 глава компании признал, что стоимость стала слишком доминирующим критерием при оценке, а на выходе получилось качество ниже, и начал возвращать людей. Модель не тянула «длинный хвост» нестандартных обращений, где нужны эмпатия и суждение. В финале получился гибрид, где рутина на ИИ, сложные случаи на людях, а стоимость обращения за два года всё же упала примерно на 40%.
4. Google AI Overviews. Миллионы неверных ответов и судебный иск (2025-2026). Классику про «добавьте клей в пиццу» и совет беременным «курить пару сигарет в день» вы наверняка видели. Есть история свежее и серьёзнее. В 2025 году солнечная компания из США подала иск против Google после того, как ИИ-ответ в поиске сообщил, будто её судит генеральный прокурор штата за недобросовестные практики. Такого не было. Иск подан на сумму от 110 до 210 млн долларов. По анализу, опубликованному The New York Times в 2026 году, при заявленной точности «9 из 10» и объёме свыше 5 трлн запросов ИИ-ответы физически выдают десятки миллионов сомнительных ответов в час. Как это бьёт по вашему трафику из поиска, я подробно разбирал в статье про ИИ-ответы и падение кликов.
5. Юридические факапы с выдуманными прецедентами (регулярно, включая 2026). Это давний устойчивый паттерн, который отслеживают юридические издания. Свежий пример такой. В начале 2026 года адвокат из США подал апелляцию, где из 63 ссылок на прецеденты 57 оказались дефектными. Три дела были полностью выдуманы, ещё в 20 случаях цитаты оказались сфабрикованными или некорректными. Суд отстранил его от практики. Параллельно суд в Германии впервые чётко постановил, что компания отвечает за слова своего чат-бота. Речь шла о боте, который выдумал квалификацию врачей. Ответственность за галлюцинацию несёт тот, кто пустил ИИ к клиенту.
Как ошибки ИИ бьют по маркетингу и лидогенерации конкретно
По маркетингу ИИ бьёт тем, что выдуманная цифра или несуществующая ссылка выглядят так же убедительно, как настоящие, и спокойно уходят клиенту или в паблик. Это не гипотеза, ведь неверный ИИ-контент уже доходит до публикации у трети маркетологов. Цена у такой ошибки вполне конкретная, это подорванное доверие клиента, а иногда и судебный иск.
Крупное маркетинговое агентство в феврале 2026 года прогнало 600 промптов на точность по шести большим моделям и опросило 565 digital-маркетологов. Две цифры оттуда стоит запомнить. Почти половина, 47,1%, ловят неточности ИИ несколько раз в неделю. А 36,5% признались, что галлюцинированный или просто неверный контент от ИИ у них уже уходил в публикацию, то есть к клиенту или в паблик до того, как ошибку замечали.
Дальше по цепочке всё логично. Агентство, которое отдаёт клиенту ИИ-рекомендации без проверки, рискует доверием клиента вплоть до потери аккаунта. И спотыкаются об это не только новички. У одного отчёта крупной консалтинговой компании около половины фактических утверждений оказались ложными, неподтверждёнными или указаны со ссылкой не на тот источник. Выдуманные сноски нашли ещё в нескольких отчётах других консалтинговых компаний, включая PwC, EY и Deloitte. То есть даже те, кто продаёт консалтинг по «правильному ИИ», ловят галлюцинации в собственных документах.
Для тех, кто гонит трафик и собирает заявки, вывод предметный. За любую цифру, факт или ссылку из нейросети, которая идёт в объявление, лендинг, отчёт или к клиенту, отвечаете вы, а не модель. Как встроить ИИ в связки так, чтобы он ускорял, а не подставлял, я разбираю в материале про арбитраж трафика с ИИ.
Почему автопилоту нельзя доверять вслепую
Потому что автопилот на ИИ работает ровно до того момента, пока задача типовая, а потом ломается тихо и без предупреждения, и узнаёте вы об этом уже по последствиям. Автономность без контроля работу не ускоряет, она лишь переносит цену ошибки на вас.
У меня к нейросетям подход из мастерской, а не из храма. Стек - это броня и турбина, но решает человек внутри костюма. ИИ добавляет мощность вашим рукам и мозгам, но без человека внутри костюм просто мощно ошибается. Отсюда моё правило по любой новой модели или тулзе, меньше магии и больше метрик. Прежде чем что-то встаёт в работу, оно проходит короткий чек-лист: что с рисками галлюцинаций, как контролируется качество вывода, сколько рутины реально снимает и что это даёт по деньгам и скорости.
Кейсы Replit и Klarna выше показывают одно и то же с двух сторон. Автономный агент с доступом к продакшену без барьеров способен не просто ошибиться, он заметает следы поддельными данными. А полная замена людей ИИ ради экономии ломает клиентский опыт там, где нужны суждение и эмпатия. Разницы между «алгоритм в рекламе» и «алгоритм в нейросети» тут немного, и то и другое меняется без спроса. Про делегирование задач ИИ-агентам и границы этого доверия у меня есть отдельный разбор, кому и что можно доверить ИИ-агенту.
Может ли ошибка ИИ стать уязвимостью в вашем коде или инструментах
Может, и это отдельный тихий риск для фрилансеров, которые собирают продукты через ИИ. Нейросеть уверенно советует установить несуществующий пакет, а злоумышленник заранее регистрирует пакет с таким именем и кладёт туда вредоносный код. Скопировали команду не глядя и подтянули заражённую зависимость.
У этой атаки есть название, slopsquatting, по аналогии с тайпсквоттингом, и есть цифры. Исследование, представленное на конференции USENIX Security, прогнало 2,23 млн сгенерированных фрагментов кода по 16 моделям и показало, что открытые модели придумывают несуществующие пакеты в среднем в 21,7% случаев, коммерческие - в 5,2%, а у отдельных сборок доля переваливает за 33%. Самое неприятное в том, что 43% выдуманных названий повторяются, если задать один и тот же запрос десять раз подряд. То есть атака предсказуема, её можно готовить заранее.
Практический смысл для тех, кто вайб-кодит. Любой пакет или библиотеку из ответа ИИ проверяйте на существование и происхождение перед установкой, особенно если ставите по копипасту. Как собирать продукты через ИИ и не подставляться, я разбираю в статье про вайб-кодинг для маркетолога.
Как на практике проверять результат нейросети, прежде чем пускать в работу
Проверять стоит по одному принципу, меньше магии и больше метрик. Смысл чек-листа простой, поймать выдумку до того, как она попадёт в объявление, отчёт или к клиенту, а не после. Любой ответ ИИ проходит через этот чек-лист, прежде чем становится «стандартом» и уходит в дело. Ниже тот, которым пользуюсь сам.
- Факт-база и сверка источников. Каждую цифру, дату, цитату и ссылку из ответа сверяйте с первоисточником. Красивая статистика без ссылки - кандидат на выдумку, пока не доказано обратное.
- Анти-галлюцинации в промпте. Прямо разрешите модели говорить «не знаю» и просите отмечать, где она не уверена. Просите приводить источник рядом с фактом, а не в конце.
- Тест на реальных данных. Не переносите готовый промпт из чужого гайда вслепую. Он почти наверняка не сработает на вашей задаче без адаптации, и это мой личный опыт, о нём чуть ниже.
- Контроль на длине. Помните, что на длинных документах ошибка растёт. Разбивайте большие задачи на куски и проверяйте по частям, а не доверяйте одному длинному ответу целиком.
- ROI вместо «вау». Инструмент оправдывает место, только если экономит рубли и время. Если после всех проверок он отнимает больше, чем даёт, отправляйте его в архив, а не на обложку.
Посчитайте цену проверки по-простому. Если ваш рабочий час стоит 1500 рублей, то 40 минут ручной сверки отчёта обойдутся примерно в 1000 рублей. Это заметно дешевле, чем потом разбирать с клиентом одну выдуманную цифру, которая ушла в презентацию под вашим именем.
Что спасает, когда автопилот подводит без предупреждения
Спасает не вера в систему, а проверка результата на практике и своя рука на метриках. Алгоритм может измениться или сломаться без объяснений, и единственная защита тут ваши цифры, ведь сбой видно по ним раньше, чем по обещаниям вендора о стабильности.
Приведу аналогию не из мира ИИ, но по сути ту же. Когда Яндекс.Директ ввёл единую перфоманс-кампанию, у меня примерно 85% рабочих рекламных кампаний внезапно пошли вразнос, стоимость заявки выросла в два-три раза, часть кампаний просто встала. Никто не предупреждал. Помогла ручная проверка на практике, когда нащупываешь то, что работает сейчас, и перестраиваешь под новые правила.
С нейросетями механика ровно та же. Модель, промпт или сама платформа могут поменяться под вами в любой момент, и вчерашняя рабочая связка сегодня начнёт выдавать неверные ответы и тексты не по задаче. Поэтому я версионирую промпты и пайплайны, храню то, что сработало, и держу привычку сверять вывод с метриками. То, что работает, должно повторяться по инструкции другим человеком, а не держаться на одном волшебнике, которого сегодня есть настроение проверять, а завтра нет.
Автопилот не отменяет пилота. Автоматика ускоряет, но замечать сбой и держать руль всё равно человеку.
Какие сигналы говорят, что ответу ИИ не стоит верить на слово
Есть набор красных флагов, по которым видно, что ответ пора перепроверять до последней цифры. Ни один из них не доказывает ошибку сам по себе, но каждый становится поводом не пускать результат в дело без сверки. Чем больше таких сигналов совпало в одном ответе, тем выше шанс, что модель где-то дорисовала недостающее.
- Подозрительно точная статистика без источника. Ровные проценты и «свежие данные исследований», которых модель не может назвать по имени.
- Ссылки, сноски и цитаты, которые вы не проверили. Именно на них горят и юристы, и консалтинг, ведь выдуманное дело или несуществующая сноска выглядят как настоящие.
- Уверенный тон на узкой или свежей теме. Чем нишевее вопрос и чем он новее, тем выше шанс, что модель дорисовывает недостающее.
- Названия продуктов, политик и пакетов, которых вы раньше не встречали. Cursor выдумал политику, ИИ-ассистенты выдумывают пакеты, поэтому проверяйте их существование.
- Длинный документ, отвеченный одним махом. Чем длиннее вход, тем выше процент ошибок, а внимание к концу текста у проверяющего падает.
- Ответ, который вам очень нравится. Когда результат идеально ложится в ожидание, соблазн не проверять максимальный, и это самая дорогая ловушка.
Что делать, если ошибка ИИ уже ушла в публикацию или к клиенту
Если ошибка уже наружу, работает одно правило, признать быстро и прозрачно, а не заметать. Скорость и прямота тут решают больше, чем то, насколько серьёзной была сама ошибка. Все разобранные выше компании, которые извинялись сразу, отделались репутационной царапиной. Те, чей ИИ пытался скрыть косяк, получили историю в разы громче.
Порядок действий простой. Сначала снимите или поправьте неверный материал у источника, а не спорьте, «сильно ли заметно». Затем сообщите клиенту или аудитории прямо, что было неверно и как исправлено. Разберите, на каком шаге проверка не сработала, и достройте её, чтобы тот же тип ошибки не прошёл снова. Ошибку, которую сразу закрыли правилом и процессом, стоит воспринимать как опыт. Если же её спрятать и она всплывёт позже, это уже потеря доверия, которую деньгами не всегда откупишь.
Отдельно про юридическую сторону. Немецкий прецедент 2026 года показал направление, ведь за слова чат-бота отвечает бизнес, который его поставил, а не «нейросеть вообще». Поэтому фраза «это ИИ ошибся» перед клиентом или судом не работает как оправдание.
Как встроить проверку ИИ в рабочий процесс, не теряя скорость
Встроить так, чтобы проверка стала частью конвейера, а не отдельным подвигом силы воли. Задача в том, чтобы держать ИИ под контролем и не терять при этом скорость, то есть скорость модели плюс вашу ответственность за результат. Возвращаться к полностью ручному труду смысла нет, вопрос в дисциплине проверки.
На практике это сводится к трём вещам. Первое, у каждого типа задач свой короткий чек-лист проверки, привязанный к риску, ведь у поста в блог он легче, а у отчёта клиенту или кода в продакшн строже. Второе, контрольные точки стоят там, где цена ошибки выше всего, то есть перед публикацией, перед отправкой клиенту и перед выкатом в прод. Третье, решение о том, оставлять инструмент или нет, принимается по цифрам, а не по ощущению, что стало быстрее.
Логика простая, ИИ разгоняет человека и не подменяет его собой. Модель врёт ровно тогда, когда её пускают в дело без адаптации, без теста на реальных данных и без контроля результата. Поставьте между уверенным ответом нейросети и вашим клиентом одну процедуру проверки, и большинство дорогих ошибок ИИ останется в черновике, где им и место.
Источники
- OpenAI, «Why Language Models Hallucinate» - официальное объяснение вендором механики галлюцинаций, сентябрь 2025
- Anthropic, документация «Reduce hallucinations» - официальная позиция вендора, приёмы снижения галлюцинаций не устраняют их полностью
- Vectara Hallucination Leaderboard - независимый бенчмарк точности моделей (HHEM-2.3), источник цифр по доле ошибок в таблице выше
Если хотите видеть такие разборы нейросетей, связок и лидогенерации регулярно и с готовыми решениями, дальше нам по пути.

