Насколько надёжен ИИ? [Видео и викторина]

Краткий ответ: ИИ не является надежным свойством: он зависит от задачи, цикла обработки и наличия человека, который все еще находится на линии. Время безотказной работы определяется тем, был ли дан ответ; правдивость — тем, был ли ответ верным. Используйте его, когда ошибка обходится дешево или ее можно исправить; замедляйте работу, когда ошибка обходится дорого.

Основные выводы:

Ответственность: Укажите, кто проверяет, кто может это остановить и кто несет ответственность.

Прозрачность: осмотрите извлеченный фрагмент, иначе вы по-прежнему будете в тумане.

Возможность аудита: регистрируйте запросы, полученные фрагменты и отправленные данные, чтобы можно было отследить ошибки.

Неправильное использование сопротивления: проваливайте все вопросы, касающиеся денег; никогда не придумывайте цифры, окна или политику.

Иллюстративные результаты: рассматривайте тест из 20 вопросов как карту, а не как 95%-ное доказательство.

Статьи, которые могут вас заинтересовать после этой:

🔗 Как использовать ИИ в повседневной жизни.
Узнайте о практических способах, с помощью которых ИИ может упростить повседневные задачи и рутины.

🔗 Как использовать ИИ на работе.
Узнайте о практических способах повышения производительности и эффективности с помощью ИИ.

🔗 Может ли ИИ мыслить самостоятельно?
Изучите, действительно ли искусственный интеллект способен мыслить независимо и рассуждать.

🔗 Какие существуют типы ИИ?
Разберитесь в основных типах ИИ, их возможностях и ключевых различиях.

Что вообще означает "надежность", когда машина — это статистический попугай?

В повседневной речи надежность означает, что на что-то можно опереться.

В автоматизированных системах, которые говорят, под одним словом скрывается множество различных свойств. Фактичность. Последовательность. Калибровка — соответствует ли уверенность модели вероятности того, что она права, или же она просто... звучит уверенно. Безопасность. Время безотказной работы. Чувствительность к подсказкам. Поведение в крайних случаях. Поведение после изменения распределения, когда реальный мир отличается от мира обучения. Ни один из этих аспектов не дает сбоя одновременно. Именно этот момент люди часто упускают из виду.

Чат-бот может работать всю неделю, а во вторник днем ​​все равно ошибаться. Помощник программиста может отлично справляться с написанием шаблонного кода, а затем создать API, который будет выглядеть в точности как настоящий. Чаще всего используют метафору «младший коллега». Она не идеальна — младшие коллеги часто испытывают неловкость, — но ближе к истине, чем «оракул».

Тест в реальном времени надёжен в том, что, для когои с каким циклом. В противном случае вы оцениваете блендер по тому, умеет ли он обрабатывать налоги.

Показатель «надежность» — это не просто правдивость, а два разных вида «достоверности»

Люди, занимающиеся оперативной деятельностью, и люди, стремящиеся к правде, используют одно и то же слово и говорят, не понимая друг друга.

Время безотказной работы определяется фразой «ответила ли конечная точка». Правдивость определяется фразой «был ли ответ таким». Управление заботится и о том, и о другом, а модельный риск находится в неприглядном промежутке. У вас может быть сервис, который работает безупречно, и при этом вы можете отправлять клиенту наивную ложь в тикет. Надежность в смысле SRE (Self-Reliability Engineering). Ненадежность в смысле «пожалуйста, не придумывайте политику возврата средств».

Думаю, на бумаге это очевидно. Но в 4 часа дня, когда ответ приходит быстро, а очередь огромная, это не так очевидно. Скорость воспринимается как компетентность. Раньше медлительность означала, что кто-то думает. Теперь скорость — это признак того, что никто не думает.

Безопасность — это ещё один аспект. Модель, которая не поддаётся взлому, считается «надёжной» с точки зрения оценки безопасности, но всё же может исказить краткое изложение ваших собственных заметок.

Беглость и ошибка хуже, чем неуклюжесть и прямолинейность

Это проблема с уверенностью в себе, и именно она наиболее болезненна.

Точность и беглость речи разошлись, а беглость лишь укрепила позиции. Магистр права (LLM) даст вам чувство ритма, умение правильно расставлять кавычки, возможно, даже фальшивую, но красивую форму цитирования. Ваш мозг будет читать: «Этот человек знает». Но это не человек, и точность часто оказывается ужасной — высокая уверенность, посредственная правда, преподнесенная как выступление на конференции.

Неуклюжий неправильный ответ вызывает подозрение. Умный неправильный ответ заставляет перестать проверять. Это не просто небольшая разница; это вся история в одном слегка неприятном предложении.

Предвзятость тоже присутствует, не всегда в виде оскорбления, скорее как инстинктивное предпочтение того, кто находится в комнате и какой вариант английского языка считается нейтральным. Люди обманываются, потому что язык — это наш старейший интерфейс доверия. Если он звучит как краткое изложение, мы воспринимаем его как краткое изложение. Я всё собираюсь быть более циничным в этом отношении. Но потом я читаю ясное резюме, и мои плечи опускаются. Когда я иду на совещание, резюме выглядит законченным. Это предложение выполняет слишком много работы, и всё же: именно так ошибка попадает в презентацию.

Надежность определяется ситуацией, а не маркой

Бренды отвлекают. Главное — это сравнение, которое действительно оправдывает себя. Споры будут продолжаться, и это нормально.

В общем, если ваш любимый инструмент отлично подходит для черновиков, и вы ловите себя на мысли, что в полночь просите его о комфорте, близком к юридическому, это не улучшение. Это карта говорит о том, что вы от него отклонились.

Галлюцинации, рассеянность и тихие, незаметные неприятности

Галлюцинации попадают в заголовки новостей, потому что это что-то необычное: книга, которой не существует, функция, которая так и не была реализована, пункт в страховом полисе с цифрой, которая кажется официальной.

Дрейф менее кинематографичен. Мир движется. Остатки модели остаются. Вы задаете вопрос, требующий нового контекста, и получаете хорошо структурированный ответ, основанный на данных о предыдущей погоде. Я чуть было не написал «из другой эпохи», что является преувеличением, на которое эта тема легко может навлечь. Это не другая эпоха. Это просто не сейчас.

Больше всего меня волнует тихая неправота. Краткое изложение, отбрасывающее исключение. Перефразирование, превращающее «возможно» в «необходимость». Фактическая истина может быть «технически верной», но её смысл при этом теряется.

Чрезмерная чувствительность только усугубляет ситуацию. Измените обертку, и «факты» начнут мерцать. Спросите как скептик — получите уклончивые ответы. Спросите как спешащий начальник — получите преувеличенные ответы. Если ваша оценка основана только на одном костюме, ваша оценка немного лжива. Извините.

Фильмы о побегах из тюрьмы балансируют на грани, а мне не нужен фильм об ограблении. Если систему можно убедить отказаться от приличий, то надежность зависит не только от правдивости; важно и то, являются ли эти ограничения замкнутым кругом или просто плакатом.

Остатки обучения, устаревшие знания и почему заземление — не волшебная палочка

Генеративные модели обучаются на куче данных, а затем направляются на ваш вторник. Извлечение данных — это взрослая попытка прикрепить настоящее к этой куче. «Заземление» означает «ответ из этого, а не из тумана». Когда это не удаётся, это происходит вежливо.

Классическая ошибка: программа поиска получает документ, который почти не соответствует запросу. Генератор спокойно обрабатывает его. Вы видите объект, похожий на исходный код, и ваш инстинкт проверки отключается. Я так делаю. Вы, вероятно, тоже. Идея с цитированием верна; качество реализации зависит от точности поиска.

Ещё одна утечка — устаревшие знания. Для некоторых задач необходимо актуальное состояние — цены, запасы, текущая формулировка политики. Для других требуется стабильная методика, например, как составить служебную записку. Смешайте всё это, и вы получите очень точный ответ о мире, который уже изменился. Сдвиг в распределении — это более взрослое название: актуальное распределение — это не обучающее распределение, и граничные случаи существуют в этом промежутке.

Ещё одно, с ошибкой в ​​расстановке дефисов, потому что так выглядят мои записи: заземление — это пол, а не ореол. Если вы не можете осмотреть извлеченный кусок, вы всё ещё в тумане, просто с лучшим освещением.

Театр оценки: почему демоверсия — ужасный тест

Демонстрации — это просто освещение. Бенчмарки — это более откровенный подход, и всё равно это не ваша работа.

Четко сформулированная подсказка и задача, с которой модель сталкивалась тысячами раз — конечно, выглядит она отлично. Оценка, которая измеряет только это, — это оценка театральной постановки. В реальных рабочих процессах встречаются запутанные операции вставки, отсутствующие файлы и пользователь, который примет первый ответ, снижающий его тревожность.

Контрольные показатели важны. Просто они не так хорошо переносятся, как кажется. Рейтинг в таблице лидеров — это не калибровка ваших заданий. Риск, связанный с моделью в компании, — это «что произойдет, если это окажется неверным в больших объемах», а не «прошла ли она проверку на знание фактов». Необходимые вам тесты должны быть сухими: оставайтесь в рамках найденного фрагмента; отмечайте неопределенность вместо того, чтобы блефовать; будьте последовательны при перефразировании; терпите неудачу в закрытом режиме (отказ, вопрос, отсрочка), а не в открытом (изобретение).

Я наблюдал, как люди воспринимают одно впечатляющее выступление как доказательство. Это всё равно что считать ресторан «надёжным» только потому, что закуска была красивой. Может быть, так и есть. Может быть, у кухни было достаточно времени, чтобы всё обдумать.

Сейчас произойдёт небольшое противоречие: я по-прежнему использую демо-записи, чтобы составить впечатление. Просто я не принимаю решение о найме на основе этого впечатления.

Надежен ли ИИ? Только если кто-то по-прежнему несет ответственность

Единственный вариант конструкции, соответствующий характерам отказов, — это участие человека в процессе

Если никто не несёт ответственности, система будет использоваться так, как будто она подотчётна. Управление — это не слишком привлекательное название для обозначения того, «кто проверяет, кто может это остановить, что регистрируется, что происходит после ошибки». Агенты делают это более чётким, потому что они предпринимают действия, а не просто пишут абзацы. Черновик, который вы не отправляли, стоит дёшево. А вызов инструмента, который вы не имели в виду, — нет.

Назовите, кто несет ответственность. Если ответ — «модель», то у вас нет ответа. Модели не идут на встречу после инцидента. Идет человек, или пылесос, а затем адвокат.

Выберите проверки, соответствующие радиусу поражения. Проверка орфографии на уровне поста в социальных сетях. Проверка источника для всего, что утверждает факт. Профессиональная проверка для всего, что связано с медициной, юриспруденцией, кредитованием, операциями, критически важными для безопасности. В этих областях человек не «в курсе». Человек — это сам курс. Модель — это заглушка. Это не скептицизм как черта характера. Это вкус.

Сейчас в моде прятать чек за блестящей кнопкой отправки. В наши дни именно так можно случайно автоматизировать распространение слухов. В последнее время я стал более сдержанным в этом вопросе, и работа стала лучше.

Как задать вопрос так, чтобы его не поняли?

Вы можете исследовать эти системы, не становясь при этом профессиональным скептиком в отношении солнечного света.

• Намеренно задавайте вопросы о неопределенности. «Что может сделать это неправильным?» лучше, чем «сформируйте уверенность».

• По возможности разделяйте поиск и генерацию. Сначала просмотрите отрывки. Затем запросите текст.

• Измените костюм. Перефразируйте. Попросите его привести противоположные аргументы. Чувствительность к подсказкам — это фонарик, если использовать её таким образом.

• Ограничения по принуждению: «только из вставленного текста», «если отсутствует, указать, что отсутствует». Модели на удивление послушны этому... пока не перестанут. В любом случае, проверьте.

• Предпочтительнее задачи, требующие проверки. Компиляторы, линтеры, проверка схем, дополнительная пара глаз. Надежность требует проверки.

• Обратите внимание на отличительные признаки: излишняя конкретика. Точно выглядящая цифра, конкретно указанный случай, аккуратная нумерованная формулировка — вот где галлюцинации любят маскироваться.

• Оставляйте этап проверки на виду. Если интерфейс скрывает галочку, люди её пропускают. Это мелочь, а не моральный недостаток.

Ничто из этого не делает модель «истинной». Это делает цикл менее доверчивым. Что, я полагаю, и является результатом.

Куда вас приведет карта

Итак. Вопрос с ответом «да/нет» работает только как отправная точка.

Надежен ли ИИ? Не как характеристика. А как свойство задачи, набора данных, цикла поиска, оценки, которая не является демонстрацией, и человека, который все равно должен вкладывать в нее свои мысли. Беглость речи будет продолжать нас обманывать, потому что мы — существа, владеющие языком, а эти системы — языковые машины. Время безотказной работы будет продолжать путаться с истиной, потому что и то, и другое создает ощущение «все сработало». Второстепенные системы будут продолжать зарабатывать себе на жизнь в запутанной промежуточной зоне — черновики, краткие обзоры, код, который можно скомпилировать, — и станут небезопасными, когда мы передадим суждение на аутсорсинг абзацу, которому все равно.

Используйте их там, где промах легко исправить или поймать мяч. Притормозите там, где промах дорого обойдется. Это прямой ответ, и он стоит больше, чем просто лозунг.

Если вы усвоите один урок: перестаньте спрашивать модель, уверена ли она в своей правоте. Посмотрите, что произойдет, когда вы спросите ее, в чем она может ошибиться. А потом проверьте.

Пример из реальной жизни: создание ИИ-помощника для управления политикой членства

Сценарий

Прия отвечает за обмен знаниями в Harbour Membership, британской отраслевой организации, объединяющей 70 независимых фитнес-центров. На вопросы членов организации отвечают три человека. Источником достоверной информации является 180-страничное руководство, обновляемое ежеквартально, а также старые PDF-файлы на общем диске, которые никому не хочется удалять.

Руководство уже приобрело помощника для службы поддержки. Демоверсия была довольно хороша. Время работы системы было в порядке. На второй неделе в черновике Fluent сообщается, что пользователь может заморозить систему на 14 дней и получить полный возврат средств «по стандартной процедуре». Это не соответствует политике компании. Агент заметил это, потому что они по-прежнему открывают руководство пользователя, когда речь идет о деньгах. Вопрос руководства, заданный так, как будто это вопрос «да» или «нет», звучит так: надежен ли ИИ?

Прия не принимает вердикт. Она относится к нему как к карте. Задача не в том, чтобы «дать членам совета оракул». Задача в том, чтобы «составить ответ на основе действующего руководства, показать отрывок и закрыть вопрос, если отрывок отсутствует». Если второй пилот не может этого сделать, это игрушка для составления документов, а не стол для разработки политики.

Что нужно помощнику

• В качестве единственного допустимого корпуса используется справочник от апреля 2026 года, при этом номера разделов остаются неизменными

• Старый PDF-файл 2023 года был оставлен на диске намеренно, чтобы проверить, удастся ли его извлечь из архива в случае, близком к катастрофе

• Письменное правило: никакие персональные данные клиентов не должны передаваться через инструменты для пользователей; отправка заказов без участия человека запрещена; запрещено придумывать новые числа, окна или пункты «как стандартно»

• Разрешение на запись в журнал запросов, полученных фрагментов и окончательной отправки

• Указанная владелица (Прия), которая проверит тестовый набор и остановит второго пилота в случае неудачи, закрылась хуже, чем при подбрасывании монеты, в вопросах денежных расчетов

• Если инструмент поддерживает извлечение, извлеченный фрагмент должен быть виден рядом с черновиком. Если нет, они вставят фрагмент вручную. Заземление без доступного для осмотра прохода по-прежнему остается туманом.

Пример инструкции

Прия излагает это простым языком, а не в форме пьесы:

Отвечайте, опираясь только на выдержки из справочника за апрель 2026 года, которые вам предоставили. Укажите номер раздела. Если ответа нет в этих выдержках, скажите «нет в текущем справочнике» и остановитесь. Не придумывайте периоды заморозки, правила возврата средств или сборы. Не меняйте статус «по усмотрению спортзала» на «стандартный». Если две выдержки противоречат друг другу, покажите обе и укажите, какая из них актуальна. Вы составляете текст для человека, который откроет исходный код, прежде чем что-либо попадет к члену клуба.

Затем она оставляет себе второе указание, поскольку суть статьи заключается в цикле, а не в модели:

Перед отправкой откройте цитируемый раздел. Спросите себя: «Что здесь может быть неправильного?» Если в черновике есть число, которого нет в тексте, отклоните его. Если я задал вопрос как начальник в спешке, задайте его еще раз как скептик и сравните.

Хороший черновик выглядит так: «Не указано в действующем руководстве (апрель 2026 г., раздел 4.2). Замораживание членства осуществляется по усмотрению спортзала. Возврат средств не производится автоматически. Обращаться в вышестоящие инстанции». Плохой черновик выглядит так: «Члены клуба могут заморозить членство на 14 дней и получить полный возврат средств в соответствии со стандартными правилами. Подтверждено в руководстве». Тот же тон. Только одно из этих утверждений является правилом.

Как это проверить

Прия составляет 20 вопросов, прежде чем посмотреть на результаты работы второго пилота. Этот порядок имеет значение. Демонстрация — это зажигание. Это пробный тест.

Это не викторина. Это прямой эфир:

• Восемь вопросов, ответы на которые собраны в одном разделе (самые простые)

• Четыре случая, когда удалось избежать серьезных ошибок, причем формулировки в PDF-версии 2023 года ближе к апрельскому тексту

• Три вопроса, которых нет в руководстве (споры по поводу выставления счетов, вопрос, связанный с медициной, «безопасно ли это обучение», и корректировка контракта, связанная с юриспруденцией)

• Три вопроса о деньгах (замораживание, возврат, вступительный взнос)

• Два обычных вопроса от членов клуба (часы работы, страховка тренера)

Два из этих двадцати вопросов были также заданы повторно во втором костюме: один раз в образе торопливого начальника, а другой раз в образе скептика, в качестве проверки чувствительности к подсказкам. Эти повторные вопросы были зарегистрированы, но не включены в итоговый балл по 20 пунктам.

Критерии оценки, выставленные Прией с открытым руководством: для прохождения проверки необходимо правильное текущее правило, реальный номер раздела и отсутствие лишних придуманных предложений. «Тихий провал» — это технически корректное предложение, в котором исключение было отброшено или «возможно» превращено в «обязательно». «Открытый провал» — это придуманное число или PDF-файл, близкий к ошибке, который рассматривается как текущий. Время безотказной работы учитывается отдельно, поскольку «он ответил» — это не «так и было».

Допустимость дальнейшего продвижения: в финансовых вопросах лучше закрыть вопрос, чем открыть. Если второй пилот придумывает окно для возврата средств, он не создает заявки в режиме реального времени. Если никто не хочет открывать исходный код, он тоже не создает заявки в режиме реального времени.

Результат

Приведенные результаты являются иллюстративными и получены на основе вымышленного теста из 20 вопросов, а не опубликованных данных о количестве членов организации Harbour Membership.

Предположения: один помощник в службе поддержки; руководство за апрель 2026 года плюс оставшийся PDF-файл за 2023 год; Прия оценивалась по вышеуказанной рубрике; время измерялось секундомером на телефоне от момента вставки вопроса до фразы «Я бы это отправил»; время проверки включено в условие зацикливания и исключено в неотмеченное условие, намеренно, чтобы сравнение оставалось равномерным.

Неконтролируемый второй пилот, демонстрационный запрос: на 20 из 20 вопросов был дан развернутый ответ (время безотказной работы выглядело идеальным). 11 из 20 соответствовали критериям оценки. Пять были незаметными нарушениями. Четыре были явными нарушениями, включая 14-дневную заморозку. Два из четырех явных нарушений ссылались на фрагмент исходного кода из PDF-файла 2023 года. Среднее время создания черновика, пригодного для отправки, составило 1 минуту.

Те же 20 вопросов, ограниченные инструкции, видимый фрагмент текста: 15 из 20 были полностью правильными по апрельскому тексту. Три вопроса правильно гласили «нет в текущем руководстве» (пункты, касающиеся медицины и права, плюс один спор по поводу выставления счетов), поэтому 18 из 20 были приемлемыми. Два вопроса все еще не были решены: один прописал почти проваленный PDF-файл 2023 года, а другой придумал сумму вступительного взноса, которой не было в тексте. Среднее время на составление черновика по-прежнему составляло около 1 минуты.

Те же 20, плюс Прия открыла цитируемый раздел перед имитацией отправки: 19 из 20 были бы приемлемыми. Она заметила почти допущенную ошибку в PDF-файле. Оставшаяся ошибка заключалась в том, что рецензент бегло просмотрел связный абзац и не заметил выдуманную цифру вступительного взноса. Среднее время, включая рецензирование, составило 3 минуты.

Старый процесс, поиск только по руководству, без второго пилота: 20 из 20 приемлемых результатов. Медиана 9 минут.

В этой выборке, при помощи циклического управления, второй пилот справился на 6 минут быстрее, чем при поиске информации в руководстве (9 минус 3), или на 120 минут по 20 вопросам, получив 19 из 20 правильных ответов вместо 20. Второй пилот без проверки справился на 8 минут быстрее (9 минус 1) и допустил ошибки, тихие или громкие, в 9 из 20 случаев. Это не 67% экономии времени, которые можно было бы получить с помощью системы управления. Это 9 ошибок, которые можно было бы автоматизировать.

Обе версии двух повторяющихся вопросов, заданные в спешке, были преувеличены. Версии, заданные скептиками, были уклончивыми. Одна и та же модель, одно и то же руководство, но разный костюм. Прия зафиксировала это как наблюдение, а не как характеристику личности.

Эти цифры представляют собой примерную оценку, основанную на заявленном тесте, небольшом наборе данных, решениях, которые было проще принять, чем рассерженному участнику, и отзывах одного рецензента, уже знакомого с книгой. Они не показывают, что второй пилот «надежен на 95%» или что Харбору следует уволить сотрудника, работающего за столом. Они показывают, что вопрос не в времени безотказной работы, а в проверке.

Что может пойти не так?

• Руководство указывает время на черновик в 1 минуту и ​​пропускает 9 ошибок. Скорость по-прежнему воспринимается как компетентность в 16:00.

• PDF-файл 2023 года остается в индексе. Поиск продолжает его получать. Ситуация выглядит зрелой, но все еще остается опасной.

• Пользовательский интерфейс скрывает полученный фрагмент за блестящей кнопкой отправки. Люди перестают открывать руководство, и именно так ответ о заморозке доходит до участника.

• Прия оценивает только восемь простых вопросов, потому что на слайде они выглядят лучше. Театрализованная оценка, только с использованием электронной таблицы.

• Ответ на вопрос «безопасно ли это обучение?», близкий к медицинскому, может выглядеть как краткий инструктаж. Карта гласила: «Почти никогда». Тон же говорил: «Давайте».

• Записи в логах неверны, потому что "это показалось лишним". После ошибки никто не может увидеть, какой фрагмент был восстановлен.

• Они спрашивают модель, уверена ли она. Она уверена. Это никогда не было целью теста.

Практический вывод

Надежность — это не свойство второго пилота, которого купил Харбор. Это свойство 20 вопросов, актуального руководства, видимого фрагмента текста и человека, который по-прежнему открывает источник информации, даже когда речь идет о деньгах. Свободное владение языком будет и дальше проходить проверку на бесперебойную работу. Только замкнутый цикл проходит проверку на соответствие политике.

Часто задаваемые вопросы

Что вообще означает «надежность» в контексте генеративного ИИ?

Надежность в повседневной жизни означает, что вы можете на что-то опереться. В случае с автоматизированными системами, которые умеют говорить, под одним словом скрывается целый ряд свойств: достоверность, согласованность, калибровка, безопасность, время безотказной работы, чувствительность к запросам, граничные случаи и поведение после изменения распределения. Ни одно из этих свойств не дает сбоя одновременно. Тестирование в реальном времени надежно в том, что, для кого, с каким циклом. В противном случае вы оцениваете блендер по тому, может ли он обрабатывать налоги.

Насколько надёжен ИИ?

Не как черта характера. Магистр права может быть абсолютно надёжен на одной работе и тихонько развалиться на следующей, иногда за один присест, иногда из-за того, что вы передвинули запятую. Надёжность — это свойство задачи, набора данных, цикла поиска, оценки, которая не является демонстрацией, и человека, который всё равно должен быть в этом уверен. Используйте её там, где ошибка легко исправима или её можно легко исправить. Притормозите там, где ошибка дорого обойдётся.

Можно ли считать, что бесперебойная работа ИИ равнозначна правдивости?

Нет. Время безотказной работы определяется тем, ответил ли конечный пункт. Правдивость определяется тем, был ли ответ верным. У вас может быть сервис, который работает безупречно, и при этом отправлять клиенту невнятную ложь в тикете. Скорость воспринимается как компетентность, когда очередь огромна. Безопасность — это еще один аспект: модель, которая отказывается от взлома, все равно может исказить краткое изложение ваших собственных заметок.

Почему интеллектуальный ИИ, обладающий развитыми навыками, внушает доверие, даже когда ошибается?

Точность и беглость речи разошлись, но беглость сохранила всё. Магистр права (LLM) даст вам чувство ритма, умение увиливать, возможно, фальшивую, но красивую форму цитирования, и ваш мозг будет читать: «Этот человек знает». Калибровка часто ужасна: высокая уверенность, средняя доля правды, преподнесено как выступление на конференции. Неуклюжий неправильный ответ вызывает подозрение. Беглый неправильный ответ заставляет вас перестать проверять. Если текст написан как краткое изложение, мы воспринимаем его как краткое изложение, и именно так ошибка попадает в презентацию.

Насколько надёжен ИИ в медицинской, юридической сфере или сфере обслуживания клиентов?

Это зависит от работы, а не от бренда. Медицинские и юридические консультации почти никогда не бывают достаточно качественными как продукт: модель — это заготовка, а человек — профессионал. Служба поддержки клиентов может составить документ в рамках строгой политики, но человек должен отвечать за передачу денег и доверия, потому что выдуманная политика и вежливый неправильный отказ — это обычное дело. Черновики и резюме — это первый вариант текста, который вы уже знаете. Проверьте имена, номера и строку, которая может навредить.

Почему ИИ галлюцинирует, отклоняется от нормы или незаметно ошибается?

Галлюцинация — это пикантная неудача: книга, которой не существует, функция, которая так и не была выпущена, пункт политики с цифрой, которая кажется официальной. Дрейф менее кинематографичен: мир движется, остатки модели остаются, и вы получаете хорошо структурированный ответ на основе предыдущей погоды. Тихая неправильность — это резюме, которое отбрасывает исключение. Или перефразирование, которое превращает «возможно» в «необходимо». Фактичность может выглядеть технически безупречной, но смысл при этом теряется. Быстрая чувствительность заставляет факты сиять, когда вы меняете упаковку.

Обеспечивает ли заземление или извлечение надежную работу ИИ?

«Заземление» означает получение ответа из настоящего, а не из тумана. «Извлечение» закрепляет настоящее на подготовленной основе. Когда оно терпит неудачу, это происходит вежливо: документ, едва не попавший в беду, составленный отчет, и ваш инстинкт проверки отключается. «Заземление» — это основа, а не ореол. Если вы не можете осмотреть извлеченный фрагмент, вы все еще в тумане, просто с лучшим освещением. Сочетайте задачи, связанные с реальным состоянием, такие как цены или формулировки политики, со стабильным аппаратом, и вы получите очень точный ответ о мире, который уже изменился.

Почему демонстрационная версия — плохой способ проверки надежности ИИ?

Четко сформулированная подсказка и задача, с которой модель сталкивалась тысячами раз, будут выглядеть безупречно. В реальных рабочих процессах встречаются запутанные ошибки вставки, отсутствующие файлы и пользователь, который выберет первый ответ, снижающий его уровень тревоги. Рейтинг в таблице лидеров — это не калибровка ваших заданий. Риск модели заключается в том, что происходит, когда она ошибается в большом количестве случаев, а не в том, прошла ли она тест на знание основ. Необходимые тесты должны быть сухими: оставайтесь в рамках полученного фрагмента текста, отмечайте неопределенность вместо того, чтобы блефовать, будьте последовательны при перефразировании и закрывайте ошибки, а не выдумывайте.

Насколько надёжен ИИ, если никто не несёт за это ответственности?

Нет. Если никто не несёт ответственности, система будет использоваться так, как будто она подотчётна. Человек в процессе — единственная конструкция, которая соответствует сценариям отказов: кто проверяет, кто может это предотвратить, что регистрируется, что происходит после ошибки. Если ответ — «модель», то у вас нет ответа. Модели не участвуют в совещаниях после инцидента. В медицине, юриспруденции, кредитовании или критически важных с точки зрения безопасности операциях человек — это замкнутый цикл, а модель — это заглушка.

Как мне настроить ИИ так, чтобы он выявлял ошибки?

Намеренно задавайте вопросы о неопределенности: «Что может сделать это неправильным?» лучше, чем «сделайте это уверенно». Разделяйте процесс поиска и генерации информации, когда это возможно. Сначала просмотрите отрывки, затем попросите предоставить текст. Смените облик: перефразируйте или попросите привести противоположные аргументы. Навязывайте ограничения, такие как «только из текста, который я скопировал» или «если отсутствует, укажите, что отсутствует», и все равно проверяйте. Предпочитайте задачи с проверяющим и следите за дополнительной конкретизацией, потому что именно здесь галлюцинации любят проявляться.

Ссылки

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Найдите новейшие разработки в области ИИ в официальном магазине ИИ-помощников

О нас