Почему ИИ иногда выдумывает вещи [Видео и викторина]

Краткий ответ: ИИ иногда выдумывает что-то, потому что предсказывает правдоподобные следующие слова, а не проверенные факты — беглость речи не является доказательством. Когда тема узкоспециализированная, имеет высокие ставки или требует точных имен и чисел, пробелы заполняются уверенными предположениями, если вы не обоснуете ответ и не проверите конкретные утверждения.

Статьи, которые могут вас заинтересовать после этой:

🔗 Прекратите относиться к ИИ как к Google.
Узнайте, почему для достижения лучших результатов с помощью ИИ необходим другой подход.

🔗 Ваша первая полноценная подсказка для ИИ.
Создайте понятную и эффективную подсказку, используя простую структуру.

🔗 4 составляющие отличного запроса от ИИ.
Откройте для себя четыре важнейших элемента, которые улучшают качество запросов от ИИ.

🔗 Что такое ИИ на самом деле?
Разберитесь в искусственном интеллекте простыми, практичными и понятными терминами.

Основные выводы:

Предсказание при отсутствии знания: воспринимайте беглую прозу как завершение закономерности, а не как доказательство под присягой.

Ловушка самоуверенности: напористый тон — это стиль; точность требует отдельной проверки вне чата.

Поддельная упаковка: Прежде чем доверять аккуратно оформленным спискам литературы, самостоятельно проверьте заголовки цитируемых источников и цитаты.

Правильный ответ: вставляйте ссылки на источники и блокируйте вымышленные URL-адреса, исследования или статистические данные.

Проверка человеком: в первую очередь выборочно проверяйте наиболее рискованные утверждения, особенно в сфере здравоохранения, права или финансов.

Предсказание — это не то же самое, что знание

Вот если говорить прямо: большинство моделей чата — это машины по созданию шаблонов. Вы задаёте вопрос. Они генерируют ответ, который соответствует форме хорошего ответа. Эта форма включает в себя факты, тон, структуру — весь костюм. Иногда костюм скрывает реальные знания. Иногда — уверенное предположение, заполнившее пробел.

Думаю, ненавязчивая метафора поможет, а потом я немного вернусь к началу. Представьте себе джазового пианиста, который слышал миллион песен. Попросите его сыграть «ту, про синий чемодан», и он, возможно, придумает прекрасную мелодию, которой никогда не существовало, — потому что просьба звучала так, как должна была. Подождите, это преувеличение. Это скорее автозаполнение на стероидах. Модель дополняет правдоподобный абзац, а не открывает картотеку с надписью «Истина».

Итак, когда люди спрашивают, почему ИИ иногда что-то выдумывает, короткий ответ таков: пробелы заполняются тем, что кажется статистически верным. Отсутствие ссылки приводит к тому, что модель выдумывает цитату, которая выглядит академической. Не зная точных цифр, она предлагает аккуратную цифру. Не зная отчества человека, она выдумывает цитату, соответствующую эпохе и культуре. Поначалу это немного удивительно. Но как только вы увидите закономерность, уже не так уж и удивительно. 

• Цель создания текста — его плавность, а не его проверка на достоверность.
• В пробелы в знаниях по-прежнему вливают слова.
• Вероятность утверждения "звучит правдоподобно" может превзойти вероятность утверждения "верно" в рейтинге модели.

Уверенность против точности — неловкий разрыв

Люди склонны к уклончивости, когда не уверены. Мы говорим: «Думаю», «Возможно», «Мне нужно проверить». Модели тоже могут уклоняться от прямого ответа — если их об этом попросить, — но результаты по умолчанию часто выглядят как уверенный брифинг. Эта отточенность — особенность обучения, направленного на повышение полезности, а не признак того, что каждое утверждение было обоснованным.

Уверенность и точность — это разные вещи. Один можно выкрутить на максимум, а другой оставить почти на нуле. Вы тоже это чувствовали, когда дело касалось людей: коллега, который с абсолютной уверенностью объясняет неправильный процесс. Искусственный интеллект может делать то же самое, только быстрее и с более удобным форматированием.

Практический вывод: воспринимайте уверенные формулировки как стиль, а не как доказательство. Если в ответе нет источников, которые можно проверить, нет признания неуверенности, а вместо этого — множество конкретных имен или цифр, — не торопитесь. Конкретность без обоснования — классический признак несоответствия. 

• Уверенный тон не означает подтвержденное содержание.
• Попросите модель целенаправленно отметить неопределенность.
• Лучше уж сказать: «Вот в чём я не уверен», чем использовать поддельные герметичные трусы.

Сфабрикованные цитаты и детали, выглядящие правдоподобно

Этот пример раздражает, потому что выглядит слишком профессионально. Поддельные названия статей. Поддельные названия журналов. Поддельные URL-адреса, которые кажутся почти кликабельными. Поддельные цитаты, приписываемые известным людям. Форматирование часто идеально — курсив, намеренно избегаемые здесь заполнители в форме года, имена, звучащие как имена авторов, — и эта упаковка обманывает тех, кто бегло просматривает текст.

Это происходит по вполне понятной причине. Форма цитирования часто встречается в обучающих текстах. Когда вы запрашиваете «источники», модель может выдать форму научной работы, не найдя реального источника. Это как попросить кого-то нарисовать чек по памяти. Вы получите что-то, что выглядит как чек. Магазина, возможно, никогда и не существовало.

Однажды я наблюдал, как кто-то в черновике сочинял исследование о производительности удаленной работы с безупречно выглядящим списком авторов. Казалось, что оно прошло рецензирование. Но на самом деле это было ничто. В этом и заключается опасность: мозг расслабляется, когда упаковка выглядит дорого. Не расслабляйтесь. 

• Требуйте, чтобы вы могли самостоятельно найти нужные вам названия, — и тогда ищите их всерьез.
• С подозрением относитесь к аккуратным пакетам цитат и ссылок на источники, которые вам никогда не были нужны.
• Если источник информации не удается быстро найти, следует считать утверждение неподтвержденным.

Когда риск изобретения наиболее высок

Не каждый разговор одинаково опасен. В стихотворении о кофе можно свободно придумывать метафоры — в этом и суть. А вот доза лекарства, юридический срок, ценовая политика конкурента или историческое утверждение в опубликованной статье — это уже совсем другая история.

Риск возрастает, когда тема узкоспециализированная, новая или очень специфичная. Он также возрастает, когда вы требуете точных цифр, конкретных документов, внутренней информации частной компании или «перечислите десять рецензируемых исследований». Чем точнее запрос, тем больше у модели соблазна заполнить пробелы правдоподобными вставками.

Длинные, впечатляющие ответы могут быть рискованнее коротких, осторожных. Длина говорит о приложенных усилиях. Усилия говорят о заботе. Забота говорит о правдивости. Эта змеевидная цепочка впечатлений — вот как ложные факты проникают в презентации. 

• Высокий риск: здоровье, право, финансы, соответствие нормативным требованиям, безопасность, конкретные лица, точные статистические данные.
• Средний уровень риска: специфические отраслевые процессы, настройки инструментов, списки «лучших практик».
• Сниженный риск: мозговой штурм, составление плана, переписывание собственного черновика, редактирование тона.

Надежные и ненадежные выходные данные — краткое сравнение

Один разговор за столом лучше, чем другая ободряющая речь. Небольшие странности тоже присутствуют, потому что обычные беседы бывают странными.

Держите этот мысленный список результатов под рукой. Вы начнете замечать неуверенность в результатах так же, как замечаете слегка неестественную улыбку на фотографии — что-то неестественно.

Как распознать выдуманные ответы, не впадая в паранойю

Не нужно проверять каждое прилагательное. Однако необходима недорогая привычка для проверки действительно важных утверждений. Проверяйте наиболее важные моменты: номер, имя, условия полиса, цитату. Если этот момент не поддаётся проверке, остальная часть ответа остаётся под вопросом.

Ещё один признак: внутреннее противоречие. Модель утверждает, что инструмент «всегда» делает X, а затем описывает исключение как стандартное. Или она придумывает функцию, а затем объясняет, как её отключить — словно сон, который постоянно придумывает двери. Задайте уточняющие вопросы, которые заденут слабые места. Выдуманные миры, как правило, шатаются под давлением.

Также обращайте внимание на «слишком идеальную» упаковку. Каждый абзац одинаково отполирован. Каждая рекомендация одинаково уверена. Подлинная экспертиза обычно имеет свою специфику — оговорки, компромиссы, «зависит от обстоятельств». Безупречная идеальность заслуживает более тщательного анализа. 

• Сначала проверьте наиболее рискованное утверждение, а не всё эссе целиком.
• Спросите: «В чём вы наименее уверены?» и посмотрите, не сползёт ли маска.
• Проверьте имена, должности и номера телефонов вне чата.
• Отдавайте предпочтение ответам, основанным на скопированном тексте, а не на отдельных фактах.

Быстрые привычки, снижающие изобретательность

Галлюцинации нельзя устранить волшебной фразой — извините, — но можно уменьшить радиус взрыва. Хорошие подсказки ограничивают игру. Плохие подсказки провоцируют импровизацию.

Попробуйте такие привычки. Звучит скучно, но работает гораздо чаще, чем хитрые подсказки.

• Оцените объем знаний: «Используйте только те заметки, которые я вставлю. Если чего-то не хватает, скажите, что не знаете».
• Запретите использование фейковых источников: «Не выдумывайте цитаты, ссылки или URL-адреса».
• Метки неопределенности: «Пометьте каждый пункт: известно / предполагается / догадка».
• Предложите альтернативные варианты: «Назовите два варианта и объясните, почему каждый из них может быть неверным».
• Запросите разрешение на проверку знаний: «Перечислите сделанные вами предположения».
• Отдавайте предпочтение структуре, а не атмосфере: таблицы, контрольные списки и столбцы с утверждениями/доказательствами.

Удивительно, но указание модели на то, что можно сказать «Я не знаю», снижает социальное давление, заставляющее проявлять уверенность. Модели отражают суть задания. Если задание поощряет полноту любой ценой, вы получаете вымысел с форматированием. Если задание поощряет четкое обсуждение пробелов, вы получаете меньше блестящей лжи. 

И да, последующие сообщения важны. Первые ответы — это черновики. «Эта ссылка выглядит поддельной — удалите все, что вы не можете проверить» — это совершенно нормальное второе сообщение. Относитесь к чату как к редактированию, а не как к торговому автомату, который должен вам правду с первой же монеты.

Заземление, последующие действия и жизнь в условиях неопределенности

Обоснование означает привязку ответа к чему-то, выходящему за рамки импровизации модели: к вашему скопированному документу с политикой, электронной таблице, протоколам совещаний, известной общедоступной странице, которую вы проверите сами. Когда ответ должен оставаться в этих рамках, у изобретательности остается меньше места для творчества.

Последующие проверки — это второй барьер. «Откуда взялось это число?» «Какая часть является выводом?» «Перепишите, убрав названия исследований». Каждый вопрос — это небольшая проверка. Думаю, это взрослый способ использования этих инструментов — не поклонение, не паника, а просто проверка.

Неопределенность — это не ошибка в вашем рабочем процессе. Это погода. В одни дни модель идеально справляется с составлением краткого изложения вашего собственного текста. В другие дни она придумывает подкомитет, который так и не собрался. Ваша задача — решить, каким результатам нужен дождевик. 

• Вставляйте исходный материал, когда важна точность.
• Запросите метки достоверности на уровне утверждения.
• При принятии важных решений необходимо привлекать к процессу человека
• Оставьте "творческую свободу" для творческих задач, а не для соблюдения правил.

Что делать, если у вас случилась галлюцинация в разгар приступа?

Не зацикливайтесь на негативе. Не отказывайтесь от инструмента навсегда, как будто он вас предал, хотя такое желание может быть очень сильным. Исправьте ситуацию и продолжайте.

Простой цикл восстановления:

• Обратитесь к источнику: «По всей видимости, этот источник выдуман. Удалите неподтвержденные утверждения».
• Повторная привязка: вставьте реальный документ, цитату или данные.
• Перестраивать нужно узко: просить исправить раздел, а не писать целое новое эссе, лишне отполированное до блеска.
• Перепроверьте острые углы: названия, номера, этапы процесса.
• Определите уровень доверия: партнер по мозговому штурму, помощник при составлении черновика или "не подходит для этой темы".

Уловив одну галлюцинацию, можно улучшить остальную часть разговора — если ужесточить ограничения. Модель не «чувствует вины», но ваши более четкие инструкции меняют то, что она оптимизирует. Вы управляете процессом. Управляйте сильнее, когда проявляется изобретательность. 

Повседневные ситуации, где это незаметно имеет значение

Рабочие электронные письма: выдуманный «стандартный отраслевой график» может создать ожидания, которым вы не сможете соответствовать. Учеба и образование: ложное объяснение может засесть у вас в голове, прежде чем вы это заметите. Черновики документов службы поддержки клиентов: выдуманное правило возврата средств превращается в обещание. Творческое письмо: фантазируйте — это настоящая площадка для творчества.

Главная мысль здесь — последствия. Если неправильные слова стоят денег, доверия, оценок или безопасности, проверка — это не необязательная трата времени. Если неправильные слова приводят лишь к пожатию плечами, расслабьтесь. Сопоставление осторожности и последствий — вот что здесь является навыком взрослого человека, гораздо важнее, чем запоминание слова «галлюцинация»

Кроме того: командам следует воспринимать фразу «Я подтвердил это утверждение» так же, как и фразу «Проверка орфографии пройдена». В противном случае, один идеально написанный абзац в одночасье превратится в общеизвестный факт. Ужас.

Основные выводы

Итак, почему ИИ иногда выдумывает вещи, все сводится к следующему: эти системы предсказывают правдоподобные формулировки, заполняют пробелы, сопоставляя их с шаблонами, и часто при этом звучат уверенно. Такое сочетание приводит к уверенным неправильным ответам, сфабрикованным цитатам и аккуратным деталям, которых никогда не было.

Не стоит бояться этого инструмента. Вам нужны привычки. Проверяйте утверждения выборочно. Запрещайте использование вымышленных источников. Добавляйте конкретный контекст. Запрашивайте информацию о неопределенности. Используйте последующие проверки в качестве аудита. Оставьте импровизацию для творческой работы с низкими рисками.

Беглость речи — это не характеристика. Относитесь к ней как к талантливому стажёру, который невероятно быстро печатает, иногда выдумывает совещания, которых на самом деле не было, и при этом может преуспеть под руководством. Сохраняйте контроль. Сохраняйте остроумие. Сохраняйте лёгкий, но обоснованный скептицизм. Именно так вы получите положительный результат, не выдавая вымышленные истории за факты.

Практический пример: выявление вымышленных цитат в аналитическом обзоре конкурента

Галлюцинации кажутся абстрактными, пока тщательно подготовленный абзац почти не попадает в презентацию для клиента. Вот как британский аналитик по маркетингу использовал привычки, описанные в этом руководстве, чтобы перестать выпускать художественную литературу под видом исследования — не отказываясь при этом от чат-бота.

Сценарий

У Сэма есть два часа, чтобы составить одностраничный обзор конкурентов для стартовой встречи отдела продаж. Задача знакома: сильные стороны, ценовые сигналы и «несколько заслуживающих доверия источников». По старой привычке Сэм напечатал «краткое описание конкурента X с указанием источников» и получил аккуратный обзор с тремя академически выглядящими цитатами и точным процентом доли рынка. Он звучал как хорошо составленный обзор. Но по большей части он был выдуман. Один заголовок найти не удалось. Показатель доли рынка нигде не фигурировал на сайте конкурента.

Сэму не нужна модель, которая звучит лучше. Сэму нужен обоснованный рабочий процесс: вставлять примечания к источникам, запрещать фальшивые источники, принудительно присваивать метки неопределенности, выборочно проверять в первую очередь наиболее убедительное утверждение, а затем восстанавливать только поврежденный участок.

Цель состоит в том, чтобы составить для команды краткий обзор, которому можно доверять в качестве тезисов для обсуждения, а не распечатку, составленную по памяти и лишь внешне похожую на расписку.

Что нужно помощнику

• Исходные материалы, которые уже есть у Сэма: текст на главной странице, текст на странице с ценами, два недавних обращения в службу поддержки, заметки по сорванной сделке
• Строгое правило: используйте только вставленный текст для фактических утверждений; говорите «Я не знаю», если в примечаниях ничего не сказано
• Запрет на вымышленные цитаты, высказывания, URL-адреса и статистические данные
• Форма выходных данных, разделяющая известные, предполагаемые и вероятные значения
• Прежде чем показать презентацию, необходимо провести однократную проверку имен, номеров и любых должностей «источников» вручную
• Разрешение задавать до трех уточняющих вопросов вместо заполнения пробелов

Пример инструкции

Сообщение 1 — обоснованное описание конкурента: Используя только приведенные ниже заметки, составьте одностраничное описание конкурента для отдела продаж. Разделы: Что они заявляют / На что жалуются клиенты / Ценовые сигналы / Открытые вопросы. Не придумывайте цитаты, ссылки, URL-адреса или статистические данные. Если какой-либо факт отсутствует в заметках, напишите «неизвестно» и укажите его в разделе «Открытые вопросы». Пометьте каждый пункт тегом: известно / предполагается / догадка. Английский язык (Великобритания). Без преамбулы.

Сообщение 2 — исключение сомнений: перечислите все сделанные вами предположения. Удалите все, что помечено как «предположение», если вы не можете указать на скопированное предложение, подтверждающее его. Если вы ранее выдумали источник, удалите его и укажите это.

Сообщение 3 — перестройте узко: Эта линия рыночной доли не подтверждается. Перепишите только раздел «Ценовые сигналы», не добавляя цифр, если они не указаны в моих заметках. Остальные разделы оставьте.

Как это проверить

• Сформулируйте несложный запрос («кратко изложите суть конкурента X, используя три рецензируемых источника») и приведенное выше обоснованное задание. Сравните вымышленные заголовки и фальшивые статистические данные.
• В первую очередь проверяйте наиболее рискованное утверждение (номер или название исследования), а не всю страницу целиком.
• Спросите: «В чём вы наименее уверены?» Уверенный ответ указывает на пробелы в знаниях; неуверенный — лишь усугубляет ситуацию.
• Особый случай: удалите информацию о ценах из вставленных заметок и убедитесь, что в черновике указано «неизвестно», вместо того чтобы придумывать плановую цену.
• Проверка перед публикацией: (1) каждый «известный» пункт соответствует вставленной строке, (2) отсутствие сфабрикованных цитат, (3) открытые вопросы указывают на реальные пробелы, (4) вы самостоятельно проверили все оставшиеся заголовки, (5) никаких точных статистических данных без пояснения.

Результат

Иллюстративный результат (пример оценки для рабочего процесса одного аналитика по подготовке аналитических записок конкурентов, не опубликованное исследование): В рамках 8 задач по подготовке аналитических записок общее время от «начала заметок» до «черновика, готового к проверке фактов человеком» немного увеличилось со среднего значения около 12 минут (одноразовая отшлифованная художественная литература) до примерно 15 минут при использовании обоснованного подхода, но риск исправления ошибок и неловких ситуаций снизился. Проверка человеком неопровержимых утверждений сократилась со среднего значения около 18 минут (поиск фальшивых заголовков и переписывание) до примерно 6 минут, когда утверждения были предварительно помечены, а вымышленные источники были запрещены, поэтому общее время сократилось примерно на 9 минут на каждую аналитическую записку, или примерно на 72 минуты в целом. По контрольному списку принятия (отсутствие вымышленных цитат, отсутствие неподтвержденной статистики, наличие известных/предполагаемых/догадочных тегов, открытые вопросы, указывающие на пробелы), 7 из 8 обоснованных черновиков прошли первую проверку против 2 из 8 черновиков, подготовленных за один раз. Ограничения: небольшая выборка, один аналитик, один тип аналитической записки; Наличие лёгких конкурентов с прозрачной системой ценообразования сокращает разрыв; «время проверки» включало поиск подозрительных названий в интернете.

Чтобы измерить эффективность вашей собственной версии: выполните 5 брифов, используя вашу текущую привычку, и 5 — используя вставленные источники + запрещенные вымышленные цитаты + теги утверждений; запишите среднее время создания черновика, среднее время проверки и процент прохождения контрольного списка с указанным знаменателем.

Что может пойти не так?

• Склонность к беглости речи: безупречная грамматика и аккуратно оформленные маркированные списки заставляют вас пропускать выборочную проверку.
• Косплей на цитирование: запрос «источников» без вставленного материала подразумевает научную работу, не подкрепленную соответствующими документами.
• Чрезмерное заполнение списков: фраза "Дайте мне десять исследований" поощряет заполнение пропусков, когда в ваших заметках есть только три.
• Переписывание всего эссе: после одной неверной строчки попросите лишь незначительно переписать этот раздел, а не создавать сплошную, отполированную до совершенства картину.
• В таких важных областях, как здравоохранение, право, финансы и соблюдение нормативных требований, необходимы более тесные контакты с потенциальными клиентами, чем простое изложение тезисов для продажи.
• Отсутствие взаимодействия с человеком: помеченный черновик все еще может неправильно прочитать вставленное предложение. Сэм по-прежнему владеет кнопкой «Поделиться».

Практический вывод

Искусственный интеллект выдумывает факты, потому что предсказывает правдоподобные формулировки в пробелах, а не потому, что хочет вас обмануть. Воспринимайте беглость речи как стиль, а не как доказательство. Разграничивайте источники, исключайте фальшивые, отмечайте неопределенность, выборочно проверяйте самые убедительные утверждения и корректируйте нить повествования, когда что-то шатается. Именно так вы сохраните преимущества быстрого сотрудничества с партнером по написанию черновиков, не выпуская уверенный в себе рассказ, которого на самом деле не было.

Часто задаваемые вопросы

Почему искусственный интеллект иногда что-то выдумывает?

Большинство моделей чата — это машины по созданию шаблонов: они генерируют ответ, соответствующий форме хорошего ответа, а не проверенного документа с пометкой «Истина». Пробелы заполняются тем, что звучит статистически правильно — цитатой, выглядящей академично, аккуратной цифрой или деталью, соответствующей эпохе. Цель генерации текста — беглость изложения, поэтому «звучит правильно» может быть лучше, чем «является правильным». Именно поэтому придуманные ответы часто имеют безупречную грамматику и аккуратные маркированные списки.

Можно ли считать уверенность в эффективности ИИ тем же самым, что и точность?

Нет. Уверенность и точность — это разные вещи: один может быть высоким, а другой — близким к нулю. Результаты по умолчанию часто выглядят как уверенный брифинг, потому что обучение поощряет полезную отточенность, а не потому, что каждое утверждение было обосновано. Относитесь к уверенным формулировкам как к стилю, а не как к доказательствам. Если в ответе нет проверяемых источников, нет неопределенности, и много конкретных имен или цифр, не спешите.

Почему чат-боты придумывают цитаты и поддельные источники?

В учебных текстах часто используется цитирование, поэтому запрос «источников» может создать видимость научной работы без фактического подтверждения — это как цитировать по памяти. Поддельные названия статей, журналов, URL-адреса и цитаты с указанием источников часто выглядят достаточно профессионально, чтобы обмануть тех, кто бегло просматривает текст. Требуйте указания источников, которые вы можете найти самостоятельно; если источник не удается быстро найти, считайте утверждение неподтвержденным.

Когда риск, связанный с изобретением ИИ, наиболее высок?

Риск возрастает при работе с узкоспециализированными, актуальными или узкоспециализированными темами, а также при необходимости получения точных цифр, ссылок на документы, конфиденциальную информацию или длинные списки рецензированных исследований. К областям высокого риска относятся здравоохранение, юриспруденция, финансы, соблюдение нормативных требований, безопасность, указание конкретных лиц и точные статистические данные. Мозговой штурм, составление плана, переписывание черновика и редактирование тона обычно сопряжены с меньшим риском. Длинные, впечатляющие ответы также могут казаться более безопасными, чем они есть на самом деле.

Как распознать вымышленные ответы ИИ, не проверяя каждое слово?

В первую очередь проверьте наиболее спорный момент — номер, имя, политику или цитату. Если это не поможет, остальное отложите. Следите за внутренними противоречиями и «слишком идеальной» упаковкой без оговорок и компромиссов. Спросите, в чём модель наименее уверена, перепроверьте имена и должности вне чата и отдавайте предпочтение ответам, основанным на скопированном вами тексте, а не на случайно сгенерированных фактах.

Какие привычки, побуждающие к действию, снижают риск галлюцинаций, вызванных искусственным интеллектом?

Галлюцинации нельзя устранить одной волшебной фразой, но можно уменьшить радиус их воздействия. Ограничивайте знания скопированными заметками и говорите «Я не знаю», когда чего-то не хватает. Запрещайте вымышленные цитаты, ссылки и URL-адреса. Внедряйте теги типа «известно/предполагается/догадка», запрашивайте предположения и отдавайте предпочтение структуре «утверждение/доказательство». Утверждение модели о том, что можно говорить «Я не знаю», снижает давление на создание ложной уверенности.

Что означает "привязка к фактам" при использовании ИИ для работы с фактами?

Обоснование связывает ответ с чем-то, выходящим за рамки импровизации модели — вашим политическим документом, электронной таблицей, протоколом совещания или общедоступной страницей, которую вы проверите сами. Когда ответы должны оставаться в этих рамках, у изобретательности остается меньше места. Последующие вопросы выступают в качестве второго барьера: спросите, откуда взялась цифра, какая часть является выводом, или перепишите ответ, не указывая конкретные исследования. При принятии важных решений держите человека в курсе событий.

Что мне делать, если у меня возникли галлюцинации посреди разговора?

Укажите на проблему, перенаправьте внимание на реальный документ или данные и восстановите только поврежденный раздел, вместо того чтобы запрашивать совершенно новое, отполированное эссе. Перепроверьте острые углы — имена, числа, этапы процесса — а затем решите, подходит ли инструмент для мозгового штурма, помощи в написании черновиков или «не для этой темы». Более четкие ограничения меняют цели оптимизации модели; более жестко направляйте процесс, когда проявляется изобретательность.

Как предотвратить использование вымышленных ссылок в аналитическом обзоре конкурентов?

Вставляйте уже имеющиеся примечания к источникам, запрещайте фейковые источники и неподтвержденную статистику, а также требуйте тегов «известные/предполагаемые/догадочные» и списка открытых вопросов. Сначала выборочно проверяйте наиболее рискованное утверждение, проводите проверку на сомнения, которая удаляет предположения без подтверждения, и переписывайте только неработающий раздел, если число не подтверждается. Принятие означает, что каждый «известный» пункт соответствует вставленной строке, а любой оставшийся заголовок проверяется человеком.

Когда еще допустимо позволять ИИ свободно творить?

В творческом письме и других несложных задачах можно свободно придумывать метафоры — это и есть площадка для творчества. Соотносите осторожность с последствиями: если неправильные слова стоят денег, доверия, оценок или безопасности, проверка не является необязательной. Если же они приводят лишь к легкому пожатию плечами, можно расслабиться. Беглость речи не является характеристикой; относитесь к образцу как к быстро обучающемуся стажеру, которому еще нужен контроль за фактической работой.

Ссылки

1. OpenAI - openai.com
2. Anthropic - anthropic.com
3. NIST - nist.gov
4. IBM - ibm.com
5. Google AI - ai.google.dev
6. Google Cloud — Заземление — docs.cloud.google.com