В чём заключается ответственность разработчиков, использующих генеративный ИИ?

В чём заключается ответственность разработчиков, использующих генеративный ИИ?

Краткий ответ: Разработчики, использующие генеративный ИИ, несут ответственность за всю систему, а не только за результат работы модели. Когда ИИ влияет на решения, код, конфиденциальность или доверие пользователей, они должны выбирать безопасные приложения, проверять результаты, защищать данные, минимизировать вред и обеспечивать возможность проверки, отмены и исправления ошибок.

Основные выводы:

Проверка : Относитесь к отшлифованным результатам как к ненадежным до тех пор, пока источники, тесты или проверка человеком не подтвердят их достоверность.

Защита данных : минимизация запрашиваемых данных, удаление идентификаторов и обеспечение безопасности журналов, средств контроля доступа и поставщиков.

Справедливость : Проводите тестирование с учетом демографических характеристик и контекста, чтобы выявить стереотипы и неравномерные модели неудач.

Прозрачность : Четко обозначайте области применения ИИ, объясняйте его ограничения и предоставляйте возможность проверки или обжалования решения человеком.

Ответственность : Перед запуском четко определите ответственных за развертывание, инциденты, мониторинг и откат.

В чём заключается ответственность разработчиков, использующих генеративный ИИ? Инфографика

Статьи, которые могут вас заинтересовать после этой:

🔗 Лучшие инструменты ИИ для разработчиков программного обеспечения: лучшие помощники в программировании на основе ИИ
Сравните лучшие системы искусственного интеллекта для разработки программного обеспечения, чтобы ускорить и оптимизировать рабочие процессы.

🔗 Топ-10 инструментов ИИ для разработчиков, повышающих производительность
Рейтинговый список инструментов для разработчиков на основе ИИ, повышающих эффективность и скорость кодирования.

🔗 Почему ИИ может быть вреден для общества и доверия
В статье объясняются реальные негативные последствия: предвзятость, неприкосновенность частной жизни, проблемы с трудоустройством и риски, связанные с дезинформацией.

🔗 Не зашло ли слишком далеко в принятии важных решений с помощью ИИ?
Определяет, когда ИИ переходит все границы: слежка, дипфейки, убеждение, отсутствие согласия.

Почему ответственность разработчиков, использующих генеративный ИИ, важнее, чем кажется на первый взгляд

Множество программных ошибок раздражают. Сломалась кнопка. Страница загружается медленно. Что-то зависает, и все начинают ворчать.

Задачи генеративного ИИ могут быть разными. Они могут быть весьма сложными.

Модель может казаться уверенной, но при этом ошибаться. Профиль NIST GenAI. Она может воспроизводить предвзятость без очевидных предупреждающих знаков. Профиль NIST GenAI. При неосторожном использовании может раскрыть конфиденциальные данные. OWASP Top 10 для приложений LLM. Восемь вопросов ICO для генеративного ИИ. Она может создавать код, который работает, пока не даст сбой в производственной среде каким-нибудь крайне неловким образом. OWASP Top 10 для приложений LLM. Это как нанять очень увлеченного стажера, который никогда не спит и время от времени выдумывает факты с поразительной уверенностью.

Именно поэтому ответственность разработчиков, использующих генеративный ИИ, выходит за рамки простой реализации. Разработчики больше не просто создают логические системы. Они создают вероятностные системы с нечеткими границами, непредсказуемыми результатами и реальными социальными последствиями. NIST AI RMF

Это означает, что в обязанности входит:

Вы же знаете, как это бывает — когда инструмент кажется волшебным, люди перестают задаваться вопросами о его эффективности. Разработчики не могут позволить себе быть такими расслабленными.

Что делает подходящую версию ответственности разработчиков при использовании генеративного ИИ удачной? 🛠️

Хорошая версия ответственности не является показной. Это не просто добавление оговорки внизу и называние этого этикой. Она проявляется в дизайнерских решениях, методах тестирования и поведении продукта.

Вот как обычно выглядит ответственности разработчиков, использующих генеративный ИИ

Если это звучит как слишком много, то... так оно и есть. Но таковы реалии работы с технологиями, способными влиять на решения, убеждения и поведение в больших масштабах. Принципы ОЭСР в области ИИ

Сравнительная таблица — основные обязанности разработчиков, использующих генеративный ИИ, вкратце 📋

Область ответственности Кого это затрагивает Ежедневная практика разработчиков Почему это важно
Точность и проверка пользователи, команды, клиенты Проанализируйте результаты, добавьте уровни проверки, протестируйте граничные случаи Искусственный интеллект может быть достаточно эффективным и при этом допускать множество ошибок — это довольно сложное сочетание, согласно профилю GenAI от NIST.
Защита конфиденциальности пользователи, клиенты, внутренний персонал Минимизируйте использование конфиденциальных данных, очищайте подсказки, контролируйте журналы Как только происходит утечка конфиденциальных данных, зубная паста выпадает из тюбика 😬 Восемь вопросов ICO для генеративного ИИ Топ-10 OWASP для приложений LLM
Предвзятость и справедливость недопредставленные группы, все пользователи в действительности Проведение аудита результатов, тестирование различных входных данных, настройка средств защиты Вред не всегда проявляется громко — иногда он носит систематический и скрытый характер. Профиль NIST GenAI. Руководство ICO по ИИ и защите данных.
Безопасность корпоративные системы, пользователи Ограничьте доступ к моделям, защититесь от мгновенного внедрения кода, изолируйте рискованные действия в «песочнице» Одна хитрая уловка может быстро подорвать доверие. OWASP Top 10 для приложений LLM. NCSC по искусственному интеллекту и кибербезопасности.
Прозрачность конечные пользователи, регулирующие органы, службы поддержки Чётко описывайте поведение ИИ, объясняйте ограничения, документируйте использование Люди заслуживают знать, когда машина помогает. принципов ОЭСР по маркировке и обозначению контента, созданного с помощью ИИ.
Подотчетность владельцы продукта, юристы, команды разработчиков Определите права собственности, порядок обработки инцидентов и пути эскалации «Это сделал искусственный интеллект» — незрелый ответ. Принципы ОЭСР в отношении ИИ.
Надежность все, кто прикасается к продукту Отслеживайте сбои, устанавливайте пороговые значения достоверности, создавайте логику резервного копирования Модели отклоняются от нормы, дают сбои неожиданным образом, и время от времени у них случаются драматические небольшие эпизоды (NIST AI RMF NCSC secure AI guidelines).
Благополучие пользователей особенно уязвимых пользователей Избегайте манипулятивного проектирования, ограничивайте вредные результаты, анализируйте сценарии использования с высоким риском Тот факт, что что-то можно сгенерировать, не означает, что это следует делать. Принципы ИИ ОЭСР, RMF ИИ NIST.

Таблица, конечно, немного неровная, но это подходит к теме. Настоящая ответственность тоже неравномерна.

Ответственность начинается еще до первого запроса — с выбора правильного варианта использования 🎯

Одна из важнейших задач разработчиков — решить, следует ли вообще использовать генеративный ИИ . NIST AI RMF

Это звучит очевидно, но это постоянно упускается из виду. Команды видят модель, приходят в восторг и начинают насильно внедрять её в рабочие процессы, которые лучше бы решались с помощью правил, поиска или обычной программной логики. Не для каждой проблемы нужна языковая модель. Для некоторых проблем нужна база данных и тихий полдень.

Перед началом разработки разработчикам следует задать себе следующие вопросы:

Ответственный разработчик спрашивает не просто: «Можно ли это построить?», а: «Следует ли это строить именно так?» (NIST AI RMF)

Сам по себе этот вопрос предотвращает множество блестящих глупостей.

Точность — это обязанность, а не дополнительная функция ✅

Давайте внесем ясность — одна из самых больших ловушек в генеративном ИИ заключается в том, чтобы принимать красноречие за истину. Модели часто выдают ответы, которые звучат отполированно, структурированно и очень убедительно. Это прекрасно, пока содержание не оказывается бессмыслицей, завуалированной уверенностью. Профиль NIST GenAI

Таким образом, ответственность разработчиков, использующих генеративный ИИ, включает в себя создание прототипов для проверки.

Это значит:

Это имеет огромное значение в таких областях, как:

  • здравоохранение

  • финансы

  • юридические рабочие процессы

  • образование

  • поддержка клиентов

  • автоматизация предприятия

  • генерация кода

Например, сгенерированный код может выглядеть аккуратно, скрывая при этом уязвимости безопасности или логические ошибки. Разработчик, который копирует его вслепую, неэффективен — он просто перекладывает риски на других, придавая им более привлекательный вид. OWASP Top 10 для приложений LLM. NCSC по ИИ и кибербезопасности.

Модель может помочь. Однако разработчик по-прежнему владеет результатом. Принципы ИИ ОЭСР

Конфиденциальность и ответственное управление данными не подлежат обсуждению 🔐

Вот тут-то всё и начинается по-настоящему серьёзно. Системы генеративного ИИ часто полагаются на подсказки, журналы, контекстные окна, слои памяти, аналитику и инфраструктуру сторонних разработчиков. Это создаёт множество возможностей для утечки, сохранения или повторного использования конфиденциальных данных способами, которые пользователи никогда не ожидали. Восемь вопросов ICO для генеративного ИИ. Топ-10 вопросов OWASP для приложений LLM.

Разработчики несут ответственность за защиту:

  • персональная информация

  • финансовые отчеты

  • медицинские подробности

  • внутренние данные компании

  • коммерческая тайна

  • токены аутентификации

  • коммуникации с клиентами

К ответственным практикам относятся:

Это одна из тех областей, где фраза «мы забыли об этом подумать» — это не просто мелкая ошибка. Это провал, подрывающий доверие.

А доверие, однажды подорванное, распространяется, как упавшее стекло. Возможно, это не самая удачная метафора, но вы поняли.

Предвзятость, справедливость и представительство — более тихие обязанности ⚖️

Предвзятость в генеративном ИИ редко бывает карикатурным злодеем. Обычно она гораздо сложнее. Модель может создавать стереотипные описания вакансий, принимать неравномерные решения по модерации, давать однобокие рекомендации или делать узкие культурные предположения, не вызывая при этом очевидных тревог. Профиль GenAI от NIST

Именно поэтому ответственность разработчиков, использующих генеративный ИИ, включает в себя активную работу по обеспечению справедливости.

Разработчикам следует:

Система может казаться в целом хорошо работающей, но при этом постоянно предоставлять одним пользователям худшие результаты, чем другим. Это недопустимо только потому, что средняя производительность хорошо выглядит на панели мониторинга. Руководство ICO по ИИ и защите данных Профиль NIST GenAI.

Да, справедливость сложнее, чем аккуратный контрольный список. Она включает в себя оценку. Контекст. Компромиссы. И определенную долю дискомфорта. Но это не снимает ответственности — это ее подтверждает. Руководство ICO по ИИ и защите данных.

Безопасность сегодня – это отчасти оперативное проектирование, отчасти инженерная дисциплина 🧱

Безопасность генеративного ИИ — это совершенно специфическая область. Традиционная безопасность приложений, конечно, по-прежнему важна, но системы ИИ добавляют необычные поверхности для атак: внедрение подсказок, косвенное манипулирование подсказками, использование небезопасных инструментов, утечка данных через контекст и неправомерное использование моделей через автоматизированные рабочие процессы. OWASP Top 10 для приложений LLM. NCSC по ИИ и кибербезопасности.

Разработчики несут ответственность за безопасность всей системы, а не только интерфейса. Рекомендации NCSC по обеспечению безопасности ИИ.

В число основных обязанностей здесь входят:

Неприятная правда заключается в том, что пользователи — и злоумышленники — обязательно будут пробовать то, чего разработчики не ожидали. Кто-то из любопытства, кто-то из злого умысла, а кто-то просто кликнул не туда в 2 часа ночи. Такое случается.

Обеспечение безопасности генеративного ИИ — это не столько возведение стены, сколько управление очень разговорчивым привратником, которого порой обманывают формулировками.

Прозрачность и согласие пользователей важнее, чем эффектный пользовательский интерфейс 🗣️

Когда пользователи взаимодействуют с ИИ, они должны об этом знать. Кодекс практических принципов ОЭСР

Не расплывчато. Не завуалированно. Ясно.

Ключевая задача разработчиков, использующих генеративный ИИ, — обеспечить понимание пользователями следующих аспектов:

Прозрачность — это не попытка запугать пользователей, а проявление уважения к ним.

К хорошей прозрачности могут относиться:

Многие продуктовые команды опасаются, что честность сделает функцию менее привлекательной. Возможно. Но ложная уверенность хуже. Плавный интерфейс, скрывающий риски, по сути, представляет собой отполированную неразбериху.

Разработчики остаются ответственными — даже когда модель «принимает решение» 👀

Эта часть имеет огромное значение. Ответственность нельзя перекладывать на поставщика модели, карточку модели, шаблон запроса или таинственную атмосферу машинного обучения. Принципы ИИ ОЭСР , RMF ИИ NIST

Разработчики по-прежнему несут ответственность. Принципы ОЭСР в области ИИ.

Это значит, что кто-то из команды должен взять на себя следующие обязанности:

На такие вопросы, как: должны быть четкие ответы

Без чувства причастности ответственность превращается в туман. Все предполагают, что этим занимается кто-то другой... а на самом деле это не так.

По правде говоря, эта тенденция существует еще до появления ИИ. Искусственный интеллект просто делает ее более опасной.

Ответственные разработчики стремятся к исправлению ошибок, а не к совершенству 🔄

Вот в чем тут небольшой подвох: ответственное развитие ИИ — это не притворство, что система будет идеальной. Это предположение о том, что она в какой-то степени потерпит неудачу, и разработка с учетом этой реальности. NIST AI RMF

Это означает создание продуктов, которые:

Вот как выглядит зрелость. Не блестящие демонстрации. Не восторженные маркетинговые тексты. Реальные системы с механизмами защиты, логами, подотчетностью и достаточной скромностью, чтобы признать, что машина — не волшебник. Руководящие принципы NCSC по безопасному ИИ. Принципы ИИ ОЭСР.

Потому что это не так. Это инструмент. Мощный инструмент, да. Но все же инструмент.

Заключительное размышление об ответственности разработчиков, использующих генеративный ИИ 🌍

Итак, какова ответственность разработчиков, использующих генеративный ИИ ?

Это значит строить с заботой. Задаваться вопросом, где система помогает, а где вредит. Защищать конфиденциальность. Проверять на наличие предвзятости. Проверять результаты. Обеспечивать безопасность рабочего процесса. Быть прозрачным с пользователями. Сохранять за человеком значимый контроль. Нести ответственность, когда что-то идет не так. NIST AI RMF OECD AI Principles

Это может звучать серьезно — и это действительно так. Но именно это отличает продуманную разработку от безрассудной автоматизации.

Лучшие разработчики, использующие генеративный ИИ, — это не те, кто заставляет модель выполнять как можно больше трюков. Это те, кто понимает последствия этих трюков и проектирует соответствующим образом. Они знают, что скорость важна, но настоящий продукт — это доверие. Как ни странно, эта старомодная идея по-прежнему актуальна. NIST AI RMF

В конце концов, ответственность не является препятствием для инноваций. Именно она не позволяет инновациям превратиться в дорогостоящий, бурный хаос с отполированным интерфейсом и проблемами с уверенностью в себе 😬✨

Возможно, это и есть самая простая версия.

Стройте смело, конечно, но стройте так, чтобы это могло повлиять на людей, потому что это действительно так. Принципы ОЭСР в области ИИ

Часто задаваемые вопросы

Какова ответственность разработчиков, использующих генеративный ИИ на практике?

Ответственность разработчиков, использующих генеративный ИИ, выходит далеко за рамки быстрой реализации функций. Она включает в себя выбор правильного сценария использования, тестирование результатов, защиту конфиденциальности, снижение уровня вредоносного поведения и обеспечение понятности системы для пользователей. На практике разработчики по-прежнему несут ответственность за то, как инструмент проектируется, контролируется, исправляется и управляется в случае сбоев.

Почему генеративный ИИ требует от разработчиков большей ответственности, чем обычное программное обеспечение?

Традиционные ошибки часто очевидны, но сбои в генеративном ИИ могут выглядеть безупречно, но при этом оставаться ошибочными, предвзятыми или рискованными. Это затрудняет обнаружение проблем и облегчает пользователям ошибочное доверие к системе. Разработчики работают с вероятностными системами, поэтому в их обязанности входит обработка неопределенности, минимизация вреда и подготовка к непредсказуемым результатам до запуска.

Как разработчики могут определить, когда не следует использовать генеративный ИИ?

Обычно отправной точкой является вопрос о том, является ли задача открытой или лучше решается с помощью правил, поиска или стандартной программной логики. Разработчикам также следует учитывать, какой вред может причинить неправильный ответ и может ли человек реально проверить результаты. Ответственное использование иногда означает решение вообще не использовать генеративный ИИ.

Как разработчики могут уменьшить количество галлюцинаций и неправильных ответов в системах генеративного искусственного интеллекта?

Точность должна быть заложена в основу, а не предполагаться. Во многих системах это означает использование надежных источников для обоснования результатов, отделение сгенерированного текста от проверенных фактов и применение рабочих процессов проверки для задач с высоким риском. Разработчики также должны тестировать подсказки, призванные запутать или ввести систему в заблуждение, особенно в таких областях, как программирование, поддержка, финансы, образование и здравоохранение.

Какова ответственность разработчиков, использующих генеративный ИИ, за конфиденциальность и защиту конфиденциальных данных?

Ответственность разработчиков, использующих генеративный ИИ, включает в себя минимизацию объема данных, поступающих в модель, и обработку запросов, журналов и выходных данных как конфиденциальной информации. Разработчики должны по возможности удалять идентификаторы, ограничивать срок хранения, контролировать доступ и тщательно проверять настройки поставщиков. Пользователи также должны иметь возможность понимать, как обрабатываются их данные, а не обнаруживать риски позже.

Как разработчикам следует обеспечивать справедливость и учитывать предвзятость в результатах работы генеративного ИИ?

Работа с предвзятостью требует активной оценки, а не предположений. Практический подход заключается в тестировании запросов в разных демографических группах, на разных языках и в разных контекстах, а затем в анализе результатов на предмет стереотипов, исключения или неравномерного характера сбоев. Разработчики также должны создать способы для пользователей или команд сообщать о вредоносном поведении, поскольку система может казаться в целом надежной, но при этом постоянно давать сбои определенным группам.

Какие риски безопасности следует учитывать разработчикам при использовании генеративного ИИ?

Генеративный ИИ создает новые уязвимости, включая внедрение подсказок, небезопасное использование инструментов, утечку данных через контекст и злоупотребление автоматизированными действиями. Разработчики должны проверять ненадежные входные данные, ограничивать права доступа инструментов, ограничивать доступ к файлам и сети, а также отслеживать закономерности злоупотреблений. Безопасность касается не только интерфейса; она распространяется на весь рабочий процесс, связанный с моделью.

Почему прозрачность важна при разработке с использованием генеративного ИИ?

Пользователи должны четко понимать, когда задействован ИИ, на что он способен и каковы его ограничения. Хорошая прозрачность может включать в себя такие обозначения, как «сгенерировано ИИ» или «с помощью ИИ», простые объяснения и четкие пути связи со службой поддержки. Такая откровенность не ослабляет продукт; она помогает пользователям оценить уровень доверия и принимать более взвешенные решения.

Кто несёт ответственность, если функция генеративного ИИ причиняет вред или допускает ошибки?

Разработчики и продуктовые команды по-прежнему несут ответственность за результат, даже если модель выдает ответ. Это означает, что должна быть четкая ответственность за утверждение развертывания, обработку инцидентов, откат, мониторинг и взаимодействие с пользователями. «Решение модели» недостаточно, поскольку ответственность должна оставаться за теми, кто разработал и запустил систему.

Как будет выглядеть ответственная разработка генеративного ИИ после запуска?

Ответственная разработка продолжается и после выпуска посредством мониторинга, обратной связи, анализа и исправления ошибок. Надежные системы подлежат аудиту, могут быть прерваны, восстановлены и имеют резервные пути на случай сбоя ИИ. Цель не в совершенстве; цель в создании чего-то, что можно безопасно изучать, улучшать и корректировать по мере возникновения реальных проблем.

Ссылки

  1. Национальный институт стандартов и технологий (NIST) - Профиль NIST GenAI - nvlpubs.nist.gov

  2. OWASP - OWASP Топ-10 для поступления на магистерские программы (LLM) - owasp.org

  3. Управление комиссара по информации (ICO) - Восемь вопросов ICO к генеративному искусственному интеллекту - ico.org.uk

Найдите новейшие разработки в области ИИ в официальном магазине ИИ-помощников

О нас

Вернуться в блог