Что представляют собой базовые модели в генеративном искусственном интеллекте?

Что представляют собой базовые модели в генеративном искусственном интеллекте?

Краткий ответ: Базовые модели — это большие, универсальные модели ИИ, обученные на обширных наборах данных, а затем адаптированные для решения множества задач (написание текстов, поиск, программирование, обработка изображений) посредством подсказок, тонкой настройки, инструментов или поиска информации. Если вам нужны надежные ответы, используйте их в сочетании с базовыми принципами (например, RAG), четкими ограничениями и проверками, а не позволяйте им импровизировать.

Основные выводы:

Определение : Одна широко обученная базовая модель, используемая повторно во многих задачах, а не одна задача на одну модель.

Адаптация : Используйте подсказки, тонкую настройку, LoRA/адаптеры, RAG и инструменты для управления поведением.

Генеративная совместимость : Они обеспечивают генерацию текста, изображений, аудио, кода и мультимодального контента.

Качественные сигналы : приоритет управляемости, меньшее количество галлюцинаций, мультимодальные способности и эффективное умозаключение.

Меры контроля рисков : разработка плана действий на случай галлюцинаций, предвзятости, утечки конфиденциальной информации и оперативного внедрения посредством управления и тестирования.

Что представляют собой базовые модели в генеративном искусственном интеллекте? Инфографика

Статьи, которые могут вас заинтересовать после этой:

🔗 Что такое компания, занимающаяся искусственным интеллектом?
Разберитесь, как компании, занимающиеся искусственным интеллектом, создают продукты, команды и модели получения дохода.

🔗 Как выглядит код искусственного интеллекта?
Ознакомьтесь с примерами кода для ИИ, от моделей на Python до API.

🔗 Что такое алгоритм искусственного интеллекта?
Узнайте, что такое алгоритмы искусственного интеллекта и как они принимают решения.

🔗 Что такое технология искусственного интеллекта?
Изучите основные технологии искусственного интеллекта, лежащие в основе автоматизации, аналитики и интеллектуальных приложений.

1) Базовые модели — четкое определение без запотевания 🧠

Базовая модель — это большая универсальная модель искусственного интеллекта, обученная на большом объеме данных (обычно тоннах), что позволяет адаптировать ее ко многим задачам, а не только к одной ( NIST , Stanford CRFM ).

Вместо того чтобы создавать отдельную модель для:

  • написание электронных писем

  • ответы на вопросы

  • суммирование PDF-файлов

  • создание изображений

  • классификация заявок в службу поддержки

  • перевод языков

  • внесение предложений по коду

…вы обучаете одну большую базовую модель, которая «познает мир» с помощью нечеткого статистического подхода, а затем адаптируете ее к конкретным задачам с помощью подсказок, тонкой настройки или дополнительных инструментов ( Bommasani et al., 2021 ).

Иными словами: это универсальный двигатель , которым можно управлять.

И да, ключевое слово здесь — «общий». В этом-то и вся хитрость.

2) Что такое базовые модели в генеративном ИИ? (Какова их конкретная роль) 🎨📝

Итак, что же представляют собой базовые модели в генеративном ИИ? Это модели, лежащие в основе систем, способных генерировать новый контент — текст, изображения, аудио, код, видео и, все чаще, смеси всего этого ( NIST , профиль генеративного ИИ NIST ).

Генеративный ИИ — это не просто предсказание таких меток, как «спам / не спам». Это создание результатов, которые выглядят так, будто их создал человек.

  • абзацы

  • стихи

  • описания товаров

  • иллюстрации

  • мелодии

  • прототипы приложений

  • синтетические голоса

  • а иногда и невероятно самоуверенную чепуху 🙃

базовые модели особенно хороши, потому что:

  • Они усвоили общие закономерности из огромных массивов данных ( Боммасани и др., 2021 ).

  • Они могут обобщать свои выводы на новые вопросы (даже на нестандартные) ( Браун и др., 2020 ).

  • Их можно использовать для десятков различных результатов без переобучения с нуля ( Bommasani et al., 2021 ).

Это «базовый слой» — как тесто для хлеба. Из него можно испечь багет, пиццу или булочки с корицей… не совсем удачная метафора, но вы меня поняли 😄

3) Почему они всё изменили (и почему люди не перестают о них говорить) 🚀

До появления базовых моделей большая часть ИИ была ориентирована на выполнение конкретных задач:

  • обучить модель для анализа настроений

  • обучить другого для перевода

  • обучить еще один алгоритм классификации изображений

  • обучить еще один алгоритм распознавания именованных сущностей

Это сработало, но было медленно, дорого и как-то… ненадежно.

В моделях Foundation все перевернулось с ног на голову:

  • Предварительное обучение один раз (значительные усилия)

  • повторное использование повсюду (большая отдача) ( Боммасани и др., 2021 )

Повторное использование — это множитель. Компании могут создавать 20 функций на основе одного семейства моделей, вместо того чтобы изобретать велосипед 20 раз.

Кроме того, пользовательский опыт стал более естественным:

  • Вы не "используете классификатор"

  • Вы разговариваете с моделью так, будто это отзывчивый коллега, который никогда не спит ☕🤝

Иногда это похоже на коллегу, который уверенно во всем ошибается, но что поделать. Рост.

4) Основная идея: предварительное обучение + адаптация 🧩

Практически все модели фундаментов следуют определенной схеме ( Stanford CRFM , NIST ):

Предварительная подготовка (этап «освоения интернет-технологий») 📚

Модель обучается на больших, обширных наборах данных с использованием самообучения ( NIST ). Для языковых моделей это обычно означает прогнозирование пропущенных слов или следующего токена ( Devlin et al., 2018 , Brown et al., 2020 ).

Цель состоит не в том, чтобы научить его одной конкретной задаче. Цель состоит в том, чтобы научить его общим представлениям :

  • грамматика

  • факты (в некотором роде)

  • модели рассуждений (иногда)

  • стили письма

  • структура кода

  • обычное человеческое намерение

Адаптация (этап «практической реализации») 🛠️

Затем вы адаптируете его, используя один или несколько из следующих способов:

  • Подсказки (инструкции, изложенные простым языком)

  • Настройка инструкций (обучение выполнению инструкций) ( Вэй и др., 2021 )

  • тонкая настройка (обучение на данных вашей предметной области)

  • LoRA / адаптеры (легковесные методы настройки) ( Ху и др., 2021 )

  • RAG (генерация с расширенным поиском — модель обращается к вашей документации) ( Lewis et al., 2020 )

  • Использование инструментов (вызов функций, просмотр внутренних систем и т. д.)

Вот почему одна и та же базовая модель может написать романтическую сцену… а через пять секунд помочь отладить SQL-запрос 😭

5) Что делает хорошую версию базовой модели? ✅

Это тот раздел, который люди пропускают, а потом жалеют.

«Хорошая» модель фундамента — это не просто «больше». Больший размер, конечно, помогает… но это не единственное, что имеет значение. Хорошая версия модели фундамента обычно включает в себя:

Сильное обобщение 🧠

Она хорошо справляется со многими задачами, не требуя переобучения для решения конкретных задач ( Bommasani et al., 2021 ).

Рулевое управление и управляемость 🎛️

Оно может надёжно выполнять такие инструкции, как:

  • «Будьте краткими»

  • «Используйте маркированные списки»

  • «Пишите в дружелюбном тоне»

  • «Не разглашайте конфиденциальную информацию»

Некоторые модели умные, но скользкие. Как попытка удержать кусок мыла в душе. Полезные, но непредсказуемые 😅

Низкая склонность к галлюцинациям (или, по крайней мере, откровенная неуверенность) 🧯

Ни одна модель не застрахована от галлюцинаций, кроме хороших:

  • галлюцинировать реже

  • чаще признавать неопределенность

  • При использовании методов поиска информации следует придерживаться предоставленного контекста ( Ji et al., 2023 , Lewis et al., 2020 ).

Хорошая мультимодальная ориентация (при необходимости) 🖼️🎧

Если вы создаёте голосовых помощников, которые считывают изображения, интерпретируют диаграммы или понимают аудио, мультимодальный подход имеет огромное значение ( Radford et al., 2021 ).

Эффективный вывод ⚡

Задержка и стоимость имеют значение. Модель, которая мощная, но медленная, — это как спортивный автомобиль со спущенной шиной.

Безопасность и соблюдение правил выравнивания 🧩

Не просто «отказываться от всего», а:

  • избегайте вредных инструкций

  • уменьшить предвзятость

  • Обращайтесь с деликатными темами с осторожностью

  • сопротивляться базовым попыткам взлома (в некоторой степени…) ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Документация + экосистема 🌱

Звучит скучно, но это правда:

  • инструмент

  • оценочные жгуты

  • варианты развертывания

  • корпоративный контроль

  • поддержка тонкой настройки

Да, «экосистема» — расплывчатое слово. Я тоже его ненавижу. Но оно имеет значение.

6) Сравнительная таблица — распространенные варианты базовых моделей (и для чего они подходят) 🧾

Ниже представлена ​​практичная, хотя и несколько несовершенная сравнительная таблица. Это не «единственно верный список», а скорее: то, что люди выбирают в реальной жизни.

тип инструмента / модели аудитория довольно дорогой почему это работает
Собственная программа магистратуры в области права (в формате чата) команды, стремящиеся к скорости и качеству на основе использования / подписки Отличное следование инструкциям, высокая общая производительность, обычно лучшие результаты достигаются «сразу после распаковки» 😌
Программа магистратуры с открытым доступом (с возможностью самостоятельного размещения) строители, которые хотят контролировать затраты на инфраструктуру (и головная боль) Настраиваемый, обеспечивающий конфиденциальность, может работать локально… если вам нравится возиться с настройками по ночам
Генератор диффузионных изображений креативные специалисты, дизайнерские команды от относительно бесплатного до платного Превосходный синтез изображений, разнообразие стилей, итеративные рабочие процессы (а также: пальцы могут быть не на месте) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Мультимодальная «визуально-языковая» модель приложения, которые считывают изображения и текст на основе использования Позволяет задавать вопросы об изображениях, скриншотах, диаграммах — на удивление удобно ( Рэдфорд и др., 2021 ).
Модель встраивания фундамента поиск + системы РАГ низкая стоимость звонка Преобразует текст в векторы для семантического поиска, кластеризации, рекомендаций — тихая энергия MVP ( Карпухин и др., 2020 , Дуз и др., 2024 ).
Базовая модель преобразования речи в текст колл-центры, создатели на основе использования / локальный Быстрая транскрипция, многоязычная поддержка, достаточно хорошо справляется с шумным аудио (обычно) 🎙️ ( Whisper )
Базовая модель преобразования текста в речь продуктовые команды, СМИ на основе использования Естественное формирование голоса, стили речи, повествование — всё это может создавать жутко реалистичное впечатление ( Шен и др., 2017 ).
Магистерская программа по программированию (LLM) разработчики на основе использования / подписки Лучше разбираюсь в шаблонах кода, отладке, рефакторинге… но всё ещё не умею читать мысли 😅

Обратите внимание, что термин «базовая модель» означает не только «чат-бот». Эмбеддинги и речевые модели также могут быть своего рода базовыми, поскольку они универсальны и могут использоваться в различных задачах ( Bommasani et al., 2021 , NIST ).

7) Более детальный взгляд: как обучаются модели на основе языковых основ (версия с учетом атмосферы) 🧠🧃

Модели языковой основы (часто называемые LLM) обычно обучаются на огромных массивах текста. Они учатся, предсказывая токены ( Brown et al., 2020 ). Вот и все. Никакой волшебной пыли.

Но вся прелесть в том, что предсказание токенов заставляет модель изучать структуру ( CSET ):

  • грамматика и синтаксис

  • тематические взаимосвязи

  • Закономерности, похожие на рассуждения (иногда)

  • общие последовательности мыслей

  • как люди объясняют вещи, спорят, извиняются, ведут переговоры, учат

Это как научиться имитировать миллионы разговоров, не «понимая» их так, как это делают люди. Звучит так, будто это не должно работать… и всё же это продолжает работать.

Одно небольшое преувеличение: это, по сути, как сжать человеческий текст в гигантский вероятностный мозг.
Хотя, с другой стороны, эта метафора немного странная. Но мы двигаемся дальше 😄

8) Более подробный анализ: модели диффузии (почему изображения работают по-разному) 🎨🌀

В моделях, лежащих в основе обработки изображений, часто используются методы диффузии Ho et al., 2020 , Rombach et al., 2021 ).

Примерная идея:

  1. Добавлять шум к изображениям, пока они не превратятся в телевизионные помехи

  2. обучить модель для пошагового устранения этого шума

  3. На этапе генерации начните с шума и «подгоните» изображение, руководствуясь подсказкой ( Ho et al., 2020 ).

Вот почему создание изображений похоже на «проявку» фотографии, только на фотографии изображен дракон в кроссовках в проходе супермаркета 🛒🐉

Диффузионные модели хороши, потому что:

  • они создают высококачественные визуальные материалы

  • Они могут в значительной степени руководствоваться текстом

  • Они поддерживают итеративное уточнение (вариации, заполнение пропущенных областей, масштабирование) ( Ромбах и др., 2021 ).

Иногда им также трудно справляться со следующими проблемами:

  • отображение текста внутри изображений

  • мелкие анатомические детали

  • Последовательная идентичность персонажей во всех сценах (ситуация улучшается, но всё ещё остаётся)

9) Более подробный обзор: мультимодальные базовые модели (текст + изображения + аудио) 👀🎧📝

Цель многомодальных базовых моделей — понимать и генерировать данные различных типов:

Почему это важно в реальной жизни:

  • Служба поддержки клиентов может интерпретировать скриншоты

  • Инструменты обеспечения доступности могут описывать изображения

  • Образовательные приложения могут объяснять диаграммы

  • Создатели могут быстро создавать ремиксы форматов

  • Бизнес-инструменты могут «считывать» снимок экрана панели мониторинга и подводить его итог

В основе мультимодальных систем часто лежит выравнивание представлений:

  • Преобразовать изображение в векторные представления (эмбеддинги)

  • Преобразовать текст в векторные представления

  • научитесь создавать общее пространство, где «кот» соответствует пикселям, обозначающим кота 😺 ( Рэдфорд и др., 2021 )

Это не всегда выглядит элегантно. Иногда всё сшито, как лоскутное одеяло. Но это работает.

10) Тонкая настройка против подсказок против RAG (как вы адаптируете базовую модель) 🧰

Если вы пытаетесь сделать базовую модель практичной для конкретной области (юридическая, медицинская, обслуживание клиентов, внутренние знания), у вас есть несколько рычагов:

Подсказка 🗣️

Самый быстрый и простой способ.

  • Плюсы: отсутствие необходимости в обучении, мгновенная итерация

  • Минусы: может быть непоследовательным, ограниченность контекста, ненадежность подсказок

Тонкая настройка 🎯

Продолжите обучение модели на ваших примерах.

  • Плюсы: более стабильное поведение, более понятный язык предметной области, возможность сокращения длины запроса

  • Минусы: стоимость, требования к качеству данных, риск переобучения, обслуживание

Облегченная настройка (LoRA / адаптеры) 🧩

Более эффективная версия тонкой настройки ( Hu et al., 2021 ).

  • Плюсы: дешевле, модульная конструкция, проще замена

  • Минусы: по-прежнему необходимы конвейер обучения и оценка

RAG (поколение, дополненное извлечением информации) 🔎

Модель извлекает релевантные документы из вашей базы знаний и отвечает, используя их ( Lewis et al., 2020 ).

  • Плюсы: актуальные знания, внутренние ссылки на источники (если вы их внедрите), меньше переобучения

  • Минусы: качество поиска может иметь решающее значение, требуется качественная сегментация и эмбеддинги

Честно говоря, многие успешные системы сочетают в себе подсказки и RAG. Тонкая настройка — мощный инструмент, но не всегда необходима. Люди слишком поспешно к ней прибегают, потому что это звучит впечатляюще 😅

11) Риски, ограничения и раздел «пожалуйста, не внедряйте это вслепую» 🧯😬

Базовые модели мощны, но они не так стабильны, как традиционное программное обеспечение. Они больше похожи на… талантливого стажера с проблемами уверенности в себе.

Основные ограничения, которые необходимо учитывать при планировании:

Галлюцинации 🌀

Модели могут изобретать:

  • фальшивые источники

  • неверные факты

  • правдоподобные, но неверные шаги ( Ji et al., 2023 )

Меры по смягчению последствий:

  • RAG с учетом контекста ( Lewis et al., 2020 )

  • Ограниченные выходные данные (схемы, вызовы инструментов)

  • четкое указание «не гадайте»

  • Уровни проверки (правила, перекрестные проверки, экспертная оценка)

Предвзятость и вредные модели поведения ⚠️

Поскольку обучающие данные отражают поведение людей, вы можете получить:

Меры по смягчению последствий:

  • настройка безопасности

  • красная команда

  • фильтры контента

  • Тщательно продуманные ограничения предметной области ( профиль генеративного ИИ NIST )

Конфиденциальность данных и утечка информации 🔒

Если вы передаете конфиденциальные данные в конечную точку модели, вам необходимо знать следующее:

  • как он хранится

  • используется ли он для обучения

  • Что такое ведение журналов?

  • Какие средства контроля необходимы вашей организации ( NIST AI RMF 1.0 )

Меры по смягчению последствий:

Быстрая инъекция (особенно с RAG) 🕳️

Если модель считывает ненадежный текст, этот текст может попытаться им манипулировать:

Меры по смягчению последствий:

  • инструкции по изоляции системы

  • очистить полученный контент

  • Используйте политики, основанные на инструментах (а не просто подсказки)

  • Тестирование с использованием состязательных входных данных ( шпаргалка OWASP , профиль генеративного ИИ NIST )

Я не пытаюсь вас напугать. Просто… лучше знать, где скрипят половицы.

12) Как выбрать базовую модель для вашего конкретного случая 🎛️

Если вы выбираете модель фундамента (или строите на её основе), начните с этих вопросов:

Укажите, что именно вы генерируете 🧾

  • только текст

  • изображения

  • аудио

  • смешанный мультимодальный

Установите свой стандарт достоверности 📌

Если вам необходима высокая точность (финансы, здравоохранение, юриспруденция, безопасность):

  • Вам понадобится RAG ( Lewis et al., 2020 ).

  • Вам потребуется подтверждение

  • Вам потребуется участие человека в процессе проверки (по крайней мере, иногда) ( NIST AI RMF 1.0 )

Определите целевое значение задержки ⚡

Чат работает мгновенно. Пакетное суммирование может быть медленнее.
Если вам нужен мгновенный ответ, размер модели и хостинг имеют значение.

Соответствие требованиям конфиденциальности и законодательства при составлении карты 🔐

Некоторым командам требуется:

  • развертывание в локальной сети / VPC

  • без хранения данных

  • строгие журналы аудита

  • Контроль доступа к каждому документу ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Сбалансируйте бюджет и запаситесь терпением в оперативной работе 😅

Самостоятельное размещение обеспечивает контроль, но добавляет сложности.
Управляемые API просты в использовании, но могут быть дорогими и менее настраиваемыми.

Небольшой практический совет: сначала создайте прототип на чем-нибудь простом, а затем дорабатывайте его. Начало с «идеальной» конфигурации обычно замедляет весь процесс.

13) Что такое базовые модели в генеративном ИИ? (Быстрая ментальная модель) 🧠✨

Давайте вернемся к этому вопросу. Что такое базовые модели в генеративном искусственном интеллекте?

Они есть:

  • Крупные, универсальные модели, обученные на обширных данных ( NIST , Stanford CRFM ).

  • Способен генерировать контент (текст, изображения, аудио и т. д.) ( профиль генеративного ИИ NIST ).

  • адаптируется ко многим задачам посредством подсказок, тонкой настройки и поиска информации ( Bommasani et al., 2021 ).

  • базовый уровень, лежащий в основе большинства современных продуктов генеративного искусственного интеллекта

Это не единая архитектура или бренд. Это категория моделей, которые функционируют как платформа.

Базовая модель больше похожа на кухню, чем на калькулятор. В ней можно приготовить много блюд. А ещё, если не обращать внимания, тосты могут подгореть… но кухня всё равно очень удобна 🍳🔥

14) Итоги и выводы ✅🙂

Базовые модели — это многократно используемые механизмы генеративного ИИ. Они проходят широкое обучение, а затем адаптируются к конкретным задачам посредством подсказок, тонкой настройки и поиска информации ( NIST , Stanford CRFM ). Они могут быть удивительными, неряшливыми, мощными, а иногда и нелепыми — всё это одновременно.

Краткое содержание:

  • Базовая модель = универсальная базовая модель ( NIST )

  • Генеративный ИИ = создание контента, а не просто классификация ( профиль генеративного ИИ NIST ).

  • Методы адаптации (подсказки, RAG, настройка) делают это практичным ( Lewis et al., 2020 , Hu et al., 2021 ).

  • Выбор модели — это компромисс между точностью, стоимостью, задержкой, конфиденциальностью и безопасностью ( NIST AI RMF 1.0 ).

Если вы создаёте что-либо с использованием генеративного ИИ, понимание базовых моделей — это не просто желательная составляющая. Это весь фундамент, на котором стоит здание… и да, иногда он немного шатается 😅

Часто задаваемые вопросы

Базовые модели, простыми словами

Базовая модель — это большая универсальная модель ИИ, обученная на обширных данных, что позволяет использовать её для решения множества задач. Вместо создания отдельной модели для каждой задачи, вы начинаете с сильной «базовой» модели и адаптируете её по мере необходимости. Эта адаптация часто происходит с помощью подсказок, тонкой настройки, поиска (RAG) или инструментов. Центральная идея — это широта плюс управляемость.

Чем базовые модели отличаются от традиционных моделей искусственного интеллекта, предназначенных для решения конкретных задач?

Традиционный ИИ часто обучает отдельную модель для каждой задачи, например, для анализа настроения или перевода. Базовые модели переворачивают эту схему: предварительное обучение проводится один раз, а затем модель используется для множества функций и продуктов. Это может уменьшить дублирование усилий и ускорить внедрение новых возможностей. Недостатком является то, что они могут быть менее предсказуемыми, чем классическое программное обеспечение, если не добавить ограничения и тестирование.

Базовые модели в генеративном искусственном интеллекте

В генеративном искусственном интеллекте базовые модели — это системы, способные создавать новый контент, такой как текст, изображения, аудио, код или мультимодальные выходные данные. Они не ограничиваются маркировкой или классификацией; они генерируют ответы, которые напоминают работу, выполненную человеком. Поскольку они изучают общие закономерности во время предварительного обучения, они могут обрабатывать множество типов и форматов запросов. Они являются «базовым слоем», лежащим в основе большинства современных генеративных приложений.

Как базовые модели обучаются в процессе предварительного обучения

Большинство моделей языковой теории обучаются, предсказывая ключевые слова, такие как следующее слово или пропущенные слова в тексте. Эта простая задача побуждает их усваивать структуру, такую ​​как грамматика, стиль и распространенные модели объяснения. Они также способны усваивать значительный объем знаний об окружающем мире, хотя и не всегда надежно. В результате получается надежное общее представление, которое впоследствии можно направлять на конкретные задачи.

Разница между подсказками, тонкой настройкой, LoRA и RAG

Подсказки — самый быстрый способ управлять поведением с помощью инструкций, но он может быть ненадежным. Тонкая настройка позволяет дополнительно обучить модель на ваших примерах для более стабильного поведения, но это увеличивает затраты и обслуживание. LoRA/адаптеры — более простой подход к тонкой настройке, который часто дешевле и более модульный. RAG извлекает релевантные документы и заставляет модель отвечать, используя этот контекст, что помогает поддерживать актуальность и стабильность.

Когда следует использовать RAG вместо тонкой настройки?

Метод RAG часто является оптимальным выбором, когда вам нужны ответы, основанные на имеющихся документах или внутренней базе знаний. Он позволяет уменьшить «угадывание», предоставляя модели соответствующий контекст во время генерации. Тонкая настройка лучше подходит, когда требуется согласованный стиль, формулировка предметной области или поведение, которое невозможно надежно воспроизвести с помощью подсказок. Во многих практических системах перед тонкой настройкой сочетаются подсказки и метод RAG.

Как уменьшить галлюцинации и получить более достоверные ответы

Распространенный подход заключается в том, чтобы привязать модель к контексту (RAG), чтобы она оставалась близкой к предоставленному контексту. Вы также можете ограничивать выходные данные схемами, требовать вызова инструментов для ключевых шагов и добавлять явные инструкции «не гадать». Важны и уровни верификации, такие как проверка правил, перекрестная проверка и проверка человеком для более ответственных случаев использования. По умолчанию рассматривайте модель как вероятностного помощника, а не как источник истины.

Наибольшие риски, связанные с моделями фундаментов в процессе производства

К распространенным рискам относятся галлюцинации, предвзятые или вредоносные шаблоны из обучающих данных и утечка конфиденциальной информации при ненадлежащем обращении с конфиденциальными данными. Системы также могут быть уязвимы для внедрения подсказок, особенно когда модель считывает ненадежный текст из документов или веб-контента. Меры по смягчению последствий обычно включают управление, тестирование на проникновение (red-teaming), контроль доступа, более безопасные шаблоны подсказок и структурированную оценку. Планируйте эти риски заранее, а не устанавливайте исправления позже.

Быстрое введение и почему это важно в системах RAG

Внедрение подсказок — это когда недоверенный текст пытается переопределить инструкции, например, «игнорировать предыдущие указания» или «раскрыть секреты». В RAG полученные документы могут содержать такие вредоносные инструкции, и модель может следовать им, если вы не будете осторожны. Распространенный подход заключается в изоляции системных инструкций, очистке полученного контента и использовании политик, основанных на инструментах, а не только на подсказках. Тестирование с использованием враждебных входных данных помогает выявить слабые места.

Как выбрать модель фундамента для вашего конкретного случая

Начните с определения того, что вам нужно сгенерировать: текст, изображения, аудио, код или мультимодальные выходные данные. Затем установите планку достоверности — высокоточные домены часто требуют привязки (RAG), проверки и иногда человеческой проверки. Учитывайте задержку и стоимость, поскольку медленная или дорогая модель может быть сложна в развертывании. Наконец, сопоставьте потребности в конфиденциальности и соответствии требованиям с вариантами развертывания и средствами контроля.

Ссылки

  1. Национальный институт стандартов и технологий (NIST) - Базовая модель (термин из глоссария) - csrc.nist.gov

  2. Национальный институт стандартов и технологий (NIST) - NIST AI 600-1: Профиль генеративного ИИ - nvlpubs.nist.gov

  3. Национальный институт стандартов и технологий (NIST) - NIST AI 100-1: Структура управления рисками в области ИИ (AI RMF 1.0) - nvlpubs.nist.gov

  4. Центр исследований фундаментальных моделей Стэнфордского университета (CRFM) - Отчет - crfm.stanford.edu

  5. arXiv - О возможностях и рисках моделей фундамента (Боммасани и др., 2021) - arxiv.org

  6. arXiv - Языковые модели обучаются с малым количеством примеров (Браун и др., 2020) - arxiv.org

  7. arXiv - Генерация с расширенными возможностями поиска для задач обработки естественного языка, требующих интенсивного использования знаний (Lewis et al., 2020) - arxiv.org

  8. arXiv - LoRA: Низкоранговая адаптация больших языковых моделей (Hu et al., 2021) - arxiv.org

  9. arXiv - BERT: Предварительное обучение глубоких двунаправленных трансформеров для понимания языка (Девлин и др., 2018) - arxiv.org

  10. arXiv - Тонко настроенные языковые модели являются моделями обучения без предварительного обучения (Wei et al., 2021) - arxiv.org

  11. Цифровая библиотека ACM — Обзор галлюцинаций в генерации естественного языка (Ji et al., 2023) — dl.acm.org

  12. arXiv - Обучение переносимых визуальных моделей на основе обучения с использованием естественного языка (Рэдфорд и др., 2021) - arxiv.org

  13. arXiv - Вероятностные модели диффузии с шумоподавлением (Хо и др., 2020) - arxiv.org

  14. arXiv - Синтез изображений высокого разрешения с использованием моделей скрытой диффузии (Ромбах и др., 2021) - arxiv.org

  15. arXiv - Поиск плотных фрагментов текста для ответов на вопросы в открытой предметной области (Карпухин и др., 2020) - arxiv.org

  16. arXiv — Библиотека Фейсса (Douze et al., 2024) — arxiv.org

  17. OpenAI — Представляем Whisper — openai.com

  18. arXiv - Естественный синтез TTS путем обусловливания WaveNet предсказаниями мел-спектрограмм (Шен и др., 2017) - arxiv.org

  19. Центр безопасности и новых технологий (CSET), Джорджтаунский университет — Удивительная сила прогнозирования следующего слова: объяснение больших языковых моделей (часть 1) — cset.georgetown.edu

  20. USENIX - Извлечение обучающих данных из больших языковых моделей (Карлини и др., 2021) - usenix.org

  21. OWASP - LLM01: Быстрая инъекция - genai.owasp.org

  22. arXiv - Больше, чем вы просили: Комплексный анализ новых угроз внедрения подсказок в интегрированные в приложения большие языковые модели (Грешейк и др., 2023) - arxiv.org

  23. Серия шпаргалок OWASP - Шпаргалка по предотвращению немедленных инъекций для студентов магистратуры - cheatsheetseries.owasp.org

Найдите новейшие разработки в области ИИ в официальном магазине ИИ-помощников

О нас

Вернуться в блог