Как можно использовать генеративный ИИ в кибербезопасности?

Введение

Генеративный ИИ — системы искусственного интеллекта, способные создавать новый контент или прогнозы — становится преобразующей силой в кибербезопасности. Такие инструменты, как GPT-4 от OpenAI, продемонстрировали способность анализировать сложные данные и генерировать текст, подобный человеческому, открывая новые подходы к защите от киберугроз. Специалисты по кибербезопасности и лица, принимающие бизнес-решения в различных отраслях, изучают, как генеративный ИИ может усилить защиту от развивающихся атак. От финансов и здравоохранения до розничной торговли и государственного управления, организации во всех секторах сталкиваются с изощренными попытками фишинга, вредоносным ПО и другими угрозами, которым генеративный ИИ может помочь противостоять. В этом документе мы рассматриваем, как генеративный ИИ может быть использован в кибербезопасности , выделяя реальные приложения, будущие возможности и важные соображения по его внедрению.

Генеративный ИИ отличается от традиционного аналитического ИИ не только тем, что выявляет закономерности, но и создаёт контент — будь то моделирование атак для обучения защитных механизмов или создание объяснений на естественном языке для сложных данных безопасности. Эта двойственная способность делает его палкой о двух концах: он предлагает мощные новые инструменты защиты, но и злоумышленники могут использовать его в своих целях. В следующих разделах рассматривается широкий спектр вариантов использования генеративного ИИ в кибербезопасности — от автоматизации обнаружения фишинга до повышения эффективности реагирования на инциденты. Мы также обсуждаем преимущества, которые сулят эти инновации в области ИИ, а также риски (такие как «галлюцинации» ИИ или злонамеренное использование в целях противодействия), которые необходимо контролировать организациям. Наконец, мы предлагаем практические рекомендации, которые помогут компаниям оценить и ответственно интегрировать генеративный ИИ в свои стратегии кибербезопасности.

Генеративный ИИ в кибербезопасности: обзор

Генеративный ИИ в кибербезопасности относится к моделям ИИ — часто большим языковым моделям или другим нейронным сетям — которые могут генерировать идеи, рекомендации, код или даже синтетические данные для помощи в задачах безопасности. В отличие от чисто прогностических моделей, генеративный ИИ может моделировать сценарии и выдавать понятные человеку выходные данные (например, отчеты, оповещения или даже примеры вредоносного кода) на основе своих обучающих данных. Эта возможность используется для прогнозирования, обнаружения и реагирования на угрозы более динамичными способами, чем раньше ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ). Например, генеративные модели могут анализировать обширные журналы или репозитории разведки угроз и создавать краткое резюме или рекомендуемые действия, функционируя почти как «помощник» ИИ для групп безопасности.

Ранние реализации генеративного ИИ для киберзащиты показали многообещающие результаты. В 2023 году Microsoft представила Security Copilot , помощника для аналитиков безопасности на базе GPT-4, который помогает выявлять нарушения и анализировать 65 триллионов сигналов, которые Microsoft обрабатывает ежедневно ( Microsoft Security Copilot — это новый помощник ИИ на базе GPT-4 для кибербезопасности | The Verge ). Аналитики могут подсказывать этой системе на естественном языке (например, «Кратко о всех инцидентах безопасности за последние 24 часа» ), а второй пилот создаст полезное повествовательное резюме. Аналогичным образом, ИИ для анализа угроз использует генеративную модель Gemini , чтобы обеспечить разговорный поиск в обширной базе данных Google по разведке угроз, быстро анализируя подозрительный код и суммируя результаты для помощи охотникам за вредоносными программами ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Эти примеры иллюстрируют потенциал: генеративный ИИ может обрабатывать сложные, масштабные данные о кибербезопасности и представлять информацию в доступной форме, ускоряя принятие решений.

В то же время генеративный ИИ способен создавать высокореалистичный фейковый контент, что является огромным преимуществом для моделирования и обучения (и, к сожалению, для злоумышленников, использующих методы социальной инженерии). Перейдя к конкретным примерам использования, мы увидим, что способность генеративного ИИ синтезировать и анализировать информацию лежит в основе его многочисленных приложений в сфере кибербезопасности. Ниже мы рассмотрим ключевые примеры использования, охватывающие всё: от предотвращения фишинга до разработки безопасного программного обеспечения, с примерами применения каждого из них в различных отраслях.

Ключевые области применения генеративного ИИ в кибербезопасности

Рисунок: Основные варианты использования генеративного ИИ в кибербезопасности включают в себя функции ИИ-второго пилота для групп безопасности, анализ уязвимостей кода, адаптивное обнаружение угроз, моделирование атак нулевого дня, улучшенную биометрическую безопасность и обнаружение фишинга ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ).

Обнаружение и предотвращение фишинга

Фишинг остается одной из самых распространенных киберугроз, обманом заставляя пользователей нажимать на вредоносные ссылки или раскрывать учетные данные. Генеративный ИИ используется как для обнаружения попыток фишинга , так и для повышения уровня обучения пользователей для предотвращения успешных атак. С точки зрения защиты, модели ИИ могут анализировать содержимое электронных писем и поведение отправителей, чтобы выявлять едва заметные признаки фишинга, которые могут пропустить фильтры на основе правил. Обучаясь на больших наборах данных о легитимных и мошеннических электронных письмах, генеративная модель может отмечать аномалии в тоне, формулировках или контексте, которые указывают на мошенничество — даже если грамматика и орфография больше не выдают этого. Фактически, исследователи Palo Alto Networks отмечают, что генеративный ИИ может выявлять «тонкие признаки фишинговых писем, которые в противном случае могли бы остаться незамеченными», помогая организациям оставаться на шаг впереди мошенников ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ).

Отделы безопасности также используют генеративный ИИ для имитации фишинговых атак в целях обучения и анализа. Например, компания Ironscales представила инструмент имитации фишинга на базе GPT, который автоматически генерирует поддельные фишинговые письма, адаптированные под сотрудников организации ( Как генеративный ИИ может быть использован в кибербезопасности? 10 примеров из реальной жизни ). Эти письма, созданные ИИ, отражают новейшие тактики злоумышленников, предоставляя сотрудникам реалистичную практику по выявлению фишингового контента. Такое персонализированное обучение критически важно, поскольку злоумышленники сами используют ИИ для создания более убедительных приманок. Примечательно, что, хотя генеративный ИИ может создавать очень качественные фишинговые сообщения (времена легко распознаваемого ломаного английского прошли), специалисты по безопасности обнаружили, что ИИ не непобедим. В 2024 году исследователи IBM Security провели эксперимент, сравнивая фишинговые письма, написанные человеком, с письмами, сгенерированными ИИ. «Удивительно, но письма, сгенерированные ИИ, всё равно было легко обнаружить, несмотря на их правильную грамматику» ( 6 примеров использования генеративного ИИ в кибербезопасности [+ примеры] ). Это говорит о том, что человеческая интуиция в сочетании с обнаружением с помощью ИИ всё ещё способна распознавать тонкие несоответствия или сигналы метаданных в мошеннических письмах, написанных ИИ.

Генеративный ИИ помогает защищаться от фишинга и другими способами. Модели могут использоваться для генерации автоматизированных ответов или фильтров , которые проверяют подозрительные письма. Например, система ИИ может отвечать на электронное письмо определенными запросами для проверки легитимности отправителя или использовать LLM для анализа ссылок и вложений в электронном письме в «песочнице», а затем суммировать любые вредоносные намерения. Платформа безопасности NVIDIA Morpheus демонстрирует мощь ИИ в этой области: она использует генеративные модели обработки естественного языка для быстрого анализа и классификации писем, и, как было обнаружено, улучшает обнаружение фишинговых писем на 21% по сравнению с традиционными инструментами безопасности ( 6 примеров использования генеративного ИИ в кибербезопасности [+ примеры] ). Morpheus даже профилирует шаблоны общения пользователей для выявления необычного поведения (например, пользователь внезапно отправляет электронные письма на множество внешних адресов), что может указывать на скомпрометированную учетную запись, отправляющую фишинговые письма.

На практике компании из разных отраслей начинают доверять ИИ для фильтрации электронной почты и веб-трафика от атак с использованием социальной инженерии. Финансовые компании, например, используют генеративный ИИ для сканирования сообщений на предмет попыток выдачи себя за другое лицо, которые могут привести к мошенничеству с использованием электронных средств связи, а поставщики медицинских услуг применяют ИИ для защиты данных пациентов от утечек, связанных с фишингом. Генеративный ИИ, генерируя реалистичные сценарии фишинга и выявляя характерные признаки вредоносных сообщений, добавляет мощный уровень к стратегиям предотвращения фишинга. Вывод: быстрее и точнее обнаруживать и нейтрализовывать фишинговые атаки

Обнаружение вредоносных программ и анализ угроз

Современное вредоносное ПО постоянно развивается — злоумышленники генерируют новые варианты или маскируют код, чтобы обойти антивирусные сигнатуры. Генеративный ИИ предлагает новые методы как для обнаружения вредоносного ПО, так и для понимания его поведения. Один из подходов заключается в использовании ИИ для создания «злых близнецов» вредоносного ПО : исследователи безопасности могут ввести известный образец вредоносного ПО в генеративную модель для создания множества мутировавших вариантов этого вредоносного ПО. Таким образом, они эффективно предугадывают возможные изменения, которые может внести злоумышленник. Эти сгенерированные ИИ варианты затем можно использовать для обучения антивирусных систем и систем обнаружения вторжений, чтобы даже модифицированные версии вредоносного ПО распознавались в реальных условиях ( 6 примеров использования генеративного ИИ в кибербезопасности [+ примеры] ). Эта проактивная стратегия помогает разорвать порочный круг, когда хакеры слегка изменяют свое вредоносное ПО, чтобы избежать обнаружения, а защитникам приходится каждый раз писать новые сигнатуры. Как отмечалось в одном отраслевом подкасте, эксперты по безопасности теперь используют генеративный ИИ для «симуляции сетевого трафика и создания вредоносных данных, имитирующих сложные атаки», проверяя свою защиту на прочность против целого семейства угроз, а не против отдельного экземпляра. Такое адаптивное обнаружение угроз означает, что инструменты безопасности становятся более устойчивыми к полиморфному вредоносному ПО, которое в противном случае не смогло бы его обнаружить.

Помимо обнаружения, генеративный ИИ помогает в анализе вредоносных программ и обратном проектировании , которые традиционно являются трудоемкими задачами для аналитиков угроз. Большим языковым моделям можно поручить изучение подозрительного кода или скриптов и объяснение на простом языке, для чего предназначен этот код. Реальным примером является VirusTotal Code Insight , функция VirusTotal от Google, которая использует генеративную модель ИИ (Google Sec-PaLM) для создания сводок на естественном языке о потенциально вредоносном коде ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). По сути, это «тип ChatGPT, предназначенный для кодирования безопасности», выступающий в качестве аналитика вредоносных программ на основе ИИ, который работает 24/7, чтобы помочь аналитикам-людям понять угрозы ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Вместо того чтобы изучать незнакомый скрипт или двоичный код, сотрудник службы безопасности может получить мгновенное объяснение от ИИ, например: «Этот скрипт пытается загрузить файл с сервера XYZ, а затем изменить системные настройки, что указывает на вредоносное поведение». Это значительно ускоряет реагирование на инциденты, поскольку аналитики могут сортировать и анализировать новые вредоносные программы быстрее, чем когда-либо.

Генеративный ИИ также используется для обнаружения вредоносных программ в больших наборах данных . Традиционные антивирусные движки сканируют файлы на наличие известных сигнатур, но генеративная модель может оценивать характеристики файла и даже предсказывать его вредоносность на основе изученных шаблонов. Анализируя атрибуты миллиардов файлов (вредоносных и безвредных), ИИ может обнаружить вредоносный умысел там, где явной сигнатуры нет. Например, генеративная модель может пометить исполняемый файл как подозрительный, потому что его профиль поведения «выглядит» как небольшая вариация программы-вымогателя, которую она видела во время обучения, даже если двоичный файл новый. Это обнаружение на основе поведения помогает противостоять новым или вредоносным программам нулевого дня. Сообщается, что ИИ Threat Intelligence AI от Google (часть Chronicle/Mandiant) использует свою генеративную модель для анализа потенциально вредоносного кода и «более эффективно и действенно помогает специалистам по безопасности бороться с вредоносными программами и другими типами угроз». ( Как может генеративный ИИ использоваться в кибербезопасности? 10 примеров из реальной жизни ).

С другой стороны, мы должны признать, что злоумышленники могут использовать генеративный ИИ и здесь — для автоматического создания вредоносного ПО, которое адаптируется. Фактически, эксперты по безопасности предупреждают, что генеративный ИИ может помочь киберпреступникам разрабатывать вредоносное ПО , которое сложнее обнаружить ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ). Модель ИИ может быть проинструктирована на многократное изменение фрагмента вредоносного ПО (изменение его файловой структуры, методов шифрования и т. д.), пока он не ускользнет от всех известных антивирусных проверок. Такое враждебное использование вызывает растущую озабоченность (иногда его называют «вредоносным ПО на базе ИИ» или полиморфным вредоносным ПО как услугой). Мы обсудим такие риски позже, но это подчеркивает, что генеративный ИИ — это инструмент в этой игре в кошки-мышки, используемый как защитниками, так и злоумышленниками.

В целом, генеративный ИИ усиливает защиту от вредоносных программ, позволяя службам безопасности мыслить как злоумышленники , самостоятельно создавая новые угрозы и решения. Будь то создание синтетического вредоносного ПО для повышения уровня обнаружения или использование ИИ для объяснения и локализации реальных вредоносных программ, обнаруженных в сетях, эти методы применимы в самых разных отраслях. Банк может использовать анализ вредоносных программ на основе ИИ для быстрого анализа подозрительного макроса в электронной таблице, а производственная компания может полагаться на ИИ для обнаружения вредоносных программ, нацеленных на промышленные системы управления. Дополняя традиционный анализ вредоносных программ генеративным ИИ, организации могут реагировать на вредоносные кампании быстрее и проактивнее, чем раньше.

Анализ угроз и автоматизация анализа

Каждый день организации получают огромное количество данных об угрозах — от потоков недавно обнаруженных индикаторов компрометации (IOC) до аналитических отчетов о новых тактиках хакеров. Задача служб безопасности — разобраться в этом потоке информации и извлечь из него ценную информацию. Генеративный ИИ оказывается бесценным инструментом для автоматизации анализа и использования данных об угрозах . Вместо того, чтобы вручную читать десятки отчетов или записей в базах данных, аналитики могут использовать ИИ для обобщения и контекстуализации данных об угрозах с машинной скоростью.

Threat Intelligence от Google , который объединяет генеративный ИИ (модель Gemini) с массивами данных об угрозах от Mandiant и VirusTotal. Этот ИИ обеспечивает «разговорный поиск по обширному репозиторию Google по данным об угрозах» , позволяя пользователям задавать естественные вопросы об угрозах и получать краткие ответы ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Например, аналитик может спросить: «Видели ли мы какое-либо вредоносное ПО, связанное с Threat Group X, нацеленное на нашу отрасль?», и ИИ извлечет соответствующую информацию, возможно, отметив: «Да, Threat Group X была связана с фишинговой кампанией в прошлом месяце с использованием вредоносного ПО Y» , а также предоставит сводку поведения этого вредоносного ПО. Это значительно сокращает время на сбор информации, которая в противном случае потребовала бы запроса нескольких инструментов или чтения длинных отчетов.

Генеративный ИИ также может сопоставлять и суммировать тенденции угроз . Он может прочесывать тысячи сообщений в блогах по безопасности, новости о взломах и обсуждения в даркнете, а затем генерировать сводку «главных киберугроз этой недели» для брифинга директора по информационной безопасности. Традиционно этот уровень анализа и отчетности требовал значительных человеческих усилий; теперь хорошо настроенная модель может составить ее за секунды, а люди только уточняют вывод. Такие компании, как ZeroFox, разработали FoxGPT , инструмент генеративного ИИ, специально предназначенный для «ускорения анализа и обобщения разведданных по большим наборам данных», включая вредоносный контент и данные о фишинге ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Автоматизируя тяжелую работу по чтению и перекрестным ссылкам на данные, ИИ позволяет группам по разведке угроз сосредоточиться на принятии решений и реагировании.

Другой вариант использования — разговорный поиск угроз . Представьте, что аналитик безопасности взаимодействует с помощником на основе ИИ: «Покажите мне какие-либо признаки утечки данных за последние 48 часов» или «Какие основные новые уязвимости используют злоумышленники на этой неделе?» ИИ может интерпретировать запрос, выполнять поиск во внутренних журналах или внешних источниках разведывательной информации и предоставлять четкий ответ или даже список соответствующих инцидентов. Это не надуманно — современные системы управления информацией и событиями безопасности (SIEM) начинают включать запросы на естественном языке. Например, пакет безопасности IBM QRadar добавляет функции генеративного ИИ в 2024 году, чтобы позволить аналитикам «задавать […] конкретные вопросы о суммированном пути атаки» инцидента и получать подробные ответы. Он также может автоматически «интерпретировать и суммировать весьма релевантную информацию об угрозах» Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). По сути, генеративный ИИ по запросу превращает горы технических данных в информацию размером с чат.

Это имеет серьёзные последствия для различных отраслей. Поставщик медицинских услуг может использовать ИИ, чтобы быть в курсе последних группировок программ-вымогателей, атакующих больницы, без необходимости выделять аналитика на полный рабочий день. Центр управления безопасностью (SOC) розничной компании может быстро обобщить новые тактики борьбы с вредоносным ПО для POS-терминалов во время инструктажа ИТ-персонала магазина. А в государственных учреждениях, где необходимо обобщать данные об угрозах из различных агентств, ИИ может создавать унифицированные отчёты, выделяющие ключевые предупреждения. Автоматизируя сбор и интерпретацию информации об угрозах , генеративный ИИ помогает организациям быстрее реагировать на возникающие угрозы и снижает риск пропуска критических предупреждений, скрытых в общем потоке информации.

Оптимизация Центра операций безопасности (SOC)

Центры управления безопасностью печально известны своей усталостью от оповещений и огромным объёмом данных. Типичный аналитик SOC может ежедневно обрабатывать тысячи оповещений и событий, расследуя потенциальные инциденты. Генеративный ИИ играет в SOC роль фактора повышения эффективности, автоматизируя рутинную работу, предоставляя интеллектуальные сводки и даже координируя некоторые меры реагирования. Цель — оптимизировать рабочие процессы SOC, чтобы аналитики-люди могли сосредоточиться на самых важных проблемах, в то время как ИИ-второй пилот занимался бы всем остальным.

Одним из основных применений является использование генеративного ИИ в качестве «второго пилота аналитика» . Security Copilot от Microsoft, упомянутый ранее, служит примером этого: он «предназначен для помощи в работе аналитика безопасности, а не для его замены», помогая в расследовании инцидентов и составлении отчетов ( Microsoft Security Copilot — новый помощник ИИ GPT-4 для кибербезопасности | The Verge ). На практике это означает, что аналитик может ввести необработанные данные — журналы брандмауэра, временную шкалу событий или описание инцидента — и попросить ИИ проанализировать их или суммировать. Второй пилот может вывести сообщение вроде: «Похоже, в 2:35 утра на сервере Y был успешно выполнен подозрительный вход с IP X, за которым последовали необычные передачи данных, что указывает на потенциальное нарушение этого сервера». Такая немедленная контекстуализация бесценна, когда время имеет решающее значение.

ИИ-вторые пилоты также помогают снизить нагрузку на сортировку уровня 1. Согласно отраслевым данным, команда безопасности может тратить 15 часов в неделю только на сортировку около 22 000 оповещений и ложных срабатываний ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). С генеративным ИИ многие из этих оповещений могут быть автоматически сортированы — ИИ может отклонить те, которые явно безвредны (с указанием причин) и выделить те, которые действительно требуют внимания, иногда даже указывая приоритет. Фактически, сила генеративного ИИ в понимании контекста означает, что он может перекрестно коррелировать оповещения, которые могут казаться безвредными по отдельности, но вместе указывают на многоэтапную атаку. Это снижает вероятность пропуска атаки из-за «усталости от оповещений».

Аналитики SOC также используют естественный язык с ИИ для ускорения поиска и расследований. Например, платформа Purple AI «задавать сложные вопросы по поиску угроз на простом английском языке и получать быстрые и точные ответы» ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Аналитик может набрать «Взаимодействовали ли какие-либо конечные точки с доменом badguy123[.]com в прошлом месяце?» , и Purple AI выполнит поиск в журналах для ответа. Это избавляет аналитика от необходимости писать запросы к базе данных или скрипты — ИИ делает это «под капотом». Это также означает, что младшие аналитики могут выполнять задачи, которые раньше требовали опытного инженера, владеющего языками запросов, эффективно повышая квалификацию команды с помощью ИИ . Действительно, аналитики сообщают, что генеративное руководство ИИ «повышает их навыки и профессионализм» , поскольку младший персонал теперь может получать по запросу поддержку по кодированию или советы по анализу от ИИ, что снижает зависимость от постоянных обращений за помощью к старшим членам команды ( 6 примеров использования генеративного ИИ в кибербезопасности [+ примеры] ).

Еще одна оптимизация SOC — автоматизированное суммирование и документирование инцидентов . После обработки инцидента кто-то должен написать отчет — задача, которую многие считают утомительной. Генеративный ИИ может взять криминалистические данные (системные журналы, анализ вредоносных программ, хронологию действий) и сформировать черновой вариант отчета об инциденте. IBM встраивает эту возможность в QRadar, чтобы «одним щелчком» можно было получить сводку инцидента для различных заинтересованных сторон (руководителей, ИТ-отделов и т. д.) ( Как можно использовать генеративный ИИ в кибербезопасности? 10 примеров из реальной жизни ). Это не только экономит время, но и гарантирует, что в отчете ничего не будет упущено, поскольку ИИ может последовательно включать все необходимые данные. Аналогично, для обеспечения соответствия требованиям и аудита ИИ может заполнять формы или таблицы доказательств на основе данных об инциденте.

Результаты в реальном мире убедительны. Первые пользователи SOAR (организация безопасности, автоматизация и реагирование) от Swimlane сообщают об огромном росте производительности. Например, компания Global Data Systems увидела, что их команда SecOps справляется с гораздо большей нагрузкой; один директор сказал: «То, что я делаю сегодня с 7 аналитиками, вероятно, заняло бы 20 сотрудников без» автоматизации на базе ИИ ( Как генеративный ИИ может быть использован в кибербезопасности ). Другими словами, ИИ в SOC может многократно увеличить пропускную способность . В различных отраслях, будь то технологическая компания, работающая с оповещениями о безопасности в облаке, или производственный завод, контролирующий системы ОТ, команды SOC могут добиться более быстрого обнаружения и реагирования, меньшего количества пропущенных инцидентов и более эффективной работы за счет использования помощников на основе генеративного ИИ. Речь идет о более умной работе — о том, чтобы позволить машинам выполнять повторяющиеся и объемные задачи, чтобы люди могли применять свою интуицию и опыт там, где это важнее всего.

Управление уязвимостями и моделирование угроз

Выявление и управление уязвимостями – слабыми местами в программном обеспечении или системах, которыми могут воспользоваться злоумышленники, – является ключевой функцией кибербезопасности. Генеративный ИИ улучшает управление уязвимостями, ускоряя их обнаружение, помогая в приоритизации исправлений и даже моделируя атаки на эти уязвимости для повышения готовности. По сути, ИИ помогает организациям быстрее находить и устранять уязвимости в своей защите, а также заблаговременно тестировать средства защиты до того, как это сделают настоящие злоумышленники.

Одним из важных применений является использование генеративного ИИ для автоматизированного анализа кода и обнаружения уязвимостей . Большие кодовые базы (особенно устаревшие системы) часто содержат уязвимости безопасности, которые остаются незамеченными. Модели генеративного ИИ можно обучить безопасным практикам кодирования и распространенным шаблонам ошибок, а затем запустить на исходном коде или скомпилированных двоичных файлах для поиска потенциальных уязвимостей. Например, исследователи NVIDIA разработали конвейер генеративного ИИ, который может анализировать устаревшие контейнеры программного обеспечения и выявлять уязвимости «с высокой точностью — до 4 раз быстрее, чем эксперты-люди». ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). ИИ по сути узнал, как выглядит небезопасный код, и смог сканировать устаревшее программное обеспечение, чтобы отметить рискованные функции и библиотеки, что значительно ускоряет обычно медленный процесс ручного аудита кода. Этот тип инструмента может стать переломным моментом для таких отраслей, как финансы или государственное управление, которые полагаются на большие старые кодовые базы — ИИ помогает модернизировать безопасность, выявляя проблемы, на поиск которых у сотрудников могут уйти месяцы или годы (если вообще когда-либо найдутся).

Генеративный ИИ также помогает в рабочих процессах управления уязвимостями , обрабатывая результаты сканирования уязвимостей и приоритизируя их. Такие инструменты, как ExposureAI , используют генеративный ИИ, чтобы аналитики могли запрашивать данные об уязвимостях на простом языке и получать мгновенные ответы ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). ExposureAI может «обобщить полный путь атаки в повествовании» для заданной критической уязвимости, объяснив, как злоумышленник может связать ее с другими уязвимостями, чтобы скомпрометировать систему. Он даже рекомендует действия по устранению и отвечает на последующие вопросы о риске. Это означает, что при объявлении новой критической CVE (Common Vulnerabilities and Exposures) аналитик может спросить ИИ: «Затронут ли какой-либо из наших серверов этой CVE, и какой наихудший сценарий будет, если мы не исправим?» и получить четкую оценку, основанную на собственных данных сканирования организации. Контекстуализируя уязвимости (например, эта уязвимость доступна через Интернет и находится на ценном сервере, поэтому она имеет высший приоритет), генеративный ИИ помогает командам разумно устранять уязвимости при ограниченных ресурсах.

Помимо поиска и управления известными уязвимостями, генеративный ИИ вносит свой вклад в тестирование на проникновение и моделирование атак , по сути, обнаруживая неизвестные уязвимости или тестируя средства контроля безопасности. Генеративные состязательные сети (GAN), тип генеративного ИИ, использовались для создания синтетических данных, имитирующих реальный сетевой трафик или поведение пользователя, которые могут включать скрытые шаблоны атак. Исследование 2023 года предложило использовать GAN для генерации реалистичного трафика атак нулевого дня для обучения систем обнаружения вторжений ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Предоставляя системе обнаружения вторжений сценарии атак, созданные ИИ (которые не сопряжены с риском использования реального вредоносного ПО в производственных сетях), организации могут обучать свои средства защиты распознавать новые угрозы, не дожидаясь реального столкновения с ними. Аналогичным образом ИИ может имитировать злоумышленника, зондирующего систему, например, автоматически пробуя различные методы эксплойта в безопасной среде, чтобы увидеть, увенчаются ли они успехом. Агентство перспективных исследовательских проектов Министерства обороны США (DARPA) видит в этом перспективу: его конкурс AI Cyber ​​Challenge 2023 года открыто использует генеративный ИИ (например, большие языковые модели) для «автоматического поиска и устранения уязвимостей в программном обеспечении с открытым исходным кодом» в рамках соревнования ( DARPA стремится разработать ИИ и автономные приложения, которым могут доверять бойцы > Министерство обороны США > Новости Министерства обороны ). Эта инициатива подчёркивает, что ИИ не просто помогает залатать известные уязвимости, но и активно обнаруживает новые и предлагает решения, что традиционно является задачей, доступной только опытным (и дорогостоящим) специалистам по безопасности.

Генеративный ИИ может даже создавать интеллектуальные приманки и цифровые двойники для защиты. Стартапы разрабатывают управляемые ИИ системы-приманки, которые убедительно эмулируют реальные серверы или устройства. Как объяснил один генеральный директор, генеративный ИИ может «клонировать цифровые системы, чтобы имитировать реальные и заманивать хакеров» ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ). Эти сгенерированные ИИ приманки ведут себя как реальная среда (например, поддельное устройство IoT, отправляющее обычную телеметрию), но существуют исключительно для привлечения злоумышленников. Когда злоумышленник нацеливается на приманку, ИИ по сути обманом заставляет его раскрыть свои методы, которые защитники затем могут изучить и использовать для усиления настоящих систем. Эта концепция, основанная на генеративном моделировании, обеспечивает дальновидный способ повернуть ситуацию против злоумышленников , используя обман, усовершенствованный ИИ.

В различных отраслях более быстрое и интеллектуальное управление уязвимостями означает меньше нарушений. Например, в сфере ИТ в здравоохранении ИИ может быстро обнаружить уязвимую устаревшую библиотеку в медицинском устройстве и предложить исправление прошивки до того, как злоумышленник ею воспользуется. В банковской сфере ИИ может имитировать внутреннюю атаку на новое приложение, чтобы гарантировать безопасность данных клиентов при любых сценариях. Таким образом, генеративный ИИ выступает одновременно в роли микроскопа и стресс-тестера для оценки состояния безопасности организаций: он выявляет скрытые уязвимости и подвергает системы нестандартным нагрузкам для обеспечения устойчивости.

Безопасная генерация кода и разработка программного обеспечения

Возможности генеративного ИИ не ограничиваются обнаружением атак — они также позволяют создавать более безопасные системы с самого начала . В разработке программного обеспечения генераторы кода на основе ИИ (такие как GitHub Copilot, OpenAI Codex и др.) могут помочь разработчикам быстрее писать код, предлагая фрагменты кода или даже целые функции. С точки зрения кибербезопасности, обеспечение безопасности предлагаемых ИИ фрагментов кода и использование ИИ для улучшения практики кодирования.

С одной стороны, генеративный ИИ может выступать в качестве помощника по кодированию, внедряющего лучшие практики безопасности . Разработчики могут подсказать инструменту ИИ «Сгенерировать функцию сброса пароля на Python» и в идеале получить код, который не только функционален, но и следует безопасным рекомендациям (например, правильная проверка входных данных, ведение журнала, обработка ошибок без утечки информации и т. д.). Такой помощник, обученный на обширных примерах безопасного кода, может помочь уменьшить количество человеческих ошибок, которые приводят к уязвимостям. Например, если разработчик забывает очистить пользовательский ввод (открывая путь для SQL-инъекции или подобных проблем), ИИ может либо включить это по умолчанию, либо предупредить его. Некоторые инструменты кодирования ИИ в настоящее время настраиваются с использованием данных, ориентированных на безопасность, чтобы служить именно этой цели — по сути, парное программирование ИИ с учетом безопасности .

Однако есть и обратная сторона: генеративный ИИ может так же легко вносить уязвимости, если не управлять им должным образом. Как отметил эксперт по безопасности Sophos Бен Вершаерен, использование генеративного ИИ для кодирования «хорошо для короткого, проверяемого кода, но рискованно, когда непроверенный код интегрируется» в производственные системы. Риск заключается в том, что ИИ может создавать логически правильный код, который небезопасен таким образом, что неспециалист может этого не заметить. Более того, злоумышленники могут намеренно влиять на общедоступные модели ИИ, внедряя в них уязвимые шаблоны кода (форма отравления данных), чтобы ИИ предлагал небезопасный код. Большинство разработчиков не являются экспертами по безопасности , поэтому, если ИИ предлагает удобное решение, они могут использовать его вслепую, не осознавая, что у него есть недостаток ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ). Эта обеспокоенность реальна — на самом деле, сейчас существует список OWASP Top 10 для LLM (больших языковых моделей), в котором перечислены распространенные риски, подобные этому, при использовании ИИ для кодирования.

Чтобы противостоять этим проблемам, эксперты предлагают «бороться с генеративным ИИ с помощью генеративного ИИ» в сфере кодирования. На практике это означает использование ИИ для проверки и тестирования кода , написанного другим ИИ (или людьми). ИИ может просматривать новые коммиты кода гораздо быстрее, чем человек-ревьюер кода, и отмечать потенциальные уязвимости или логические проблемы. Мы уже видим появление инструментов, которые интегрируются в жизненный цикл разработки программного обеспечения: код пишется (возможно, с помощью ИИ), затем генеративная модель, обученная на принципах безопасного кода, проверяет его и генерирует отчет о любых проблемах (например, использование устаревших функций, отсутствие проверок аутентификации и т. д.). Исследование NVIDIA, упомянутое ранее, которое достигло в 4 раза более быстрого обнаружения уязвимостей в коде, является примером использования ИИ для анализа безопасного кода ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ).

Кроме того, генеративный ИИ может помочь в создании безопасных конфигураций и скриптов . Например, если компании необходимо развернуть безопасную облачную инфраструктуру, инженер может поручить ИИ сгенерировать скрипты конфигурации (инфраструктура как код) со встроенными средствами контроля безопасности (такими как правильная сегментация сети, роли IAM с минимальными привилегиями). ИИ, обученный на тысячах таких конфигураций, может создать базовый набор параметров, который инженер затем корректирует. Это ускоряет безопасную настройку систем и снижает количество ошибок конфигурации, являющихся распространённой причиной инцидентов безопасности в облаке.

Некоторые организации также используют генеративный ИИ для ведения базы знаний о безопасных шаблонах кодирования. Если разработчик не уверен, как безопасно реализовать определенную функцию, он может обратиться к внутреннему ИИ, который извлек уроки из прошлых проектов компании и руководств по безопасности. ИИ может вернуть рекомендуемый подход или даже фрагмент кода, который соответствует как функциональным требованиям, так и стандартам безопасности компании. Этот подход использовался такими инструментами, как Questionnaire Automation от Secureframe , который извлекает ответы из политик и прошлых решений компании, чтобы обеспечить последовательные и точные ответы (по сути, генерируя безопасную документацию) ( Как можно использовать генеративный ИИ в кибербезопасности? 10 примеров из реальной жизни ). Эта концепция переводится как кодирование: ИИ, который «помнит», как вы безопасно реализовали что-то раньше, и направляет вас делать это снова.

Подводя итог, можно сказать, что генеративный ИИ влияет на разработку программного обеспечения, делая помощь в безопасном кодировании более доступной . Отрасли, разрабатывающие большое количество заказного ПО (технологии, финансы, оборона и т.д.), могут выиграть от наличия помощников на основе ИИ, которые не только ускоряют кодирование, но и выполняют функции бдительного контролера безопасности. При правильном управлении эти инструменты ИИ могут снизить риск появления новых уязвимостей и помочь командам разработчиков придерживаться передовых практик, даже если в команде нет эксперта по безопасности, участвующего на каждом этапе. В результате получается программное обеспечение, более устойчивое к атакам с первого дня.

Поддержка реагирования на инциденты

Когда происходит киберинцидент, будь то вспышка вредоносного ПО, утечка данных или сбой системы в результате атаки, время имеет решающее значение. Генеративный ИИ всё чаще используется для поддержки групп реагирования на инциденты (IR), позволяя им быстрее локализовать и устранить последствия инцидентов, имея в распоряжении больше информации. Идея заключается в том, что ИИ может взять на себя часть работы по расследованию и документированию инцидента, а также предложить или автоматизировать некоторые ответные действия.

Одна из ключевых ролей ИИ в IR - анализ инцидентов в режиме реального времени и обобщение . В разгар инцидента спасателям могут понадобиться ответы на такие вопросы, как «Как злоумышленник проник?» , «Какие системы затронуты?» и «Какие данные могут быть скомпрометированы?» . Генеративный ИИ может анализировать журналы, оповещения и криминалистические данные из затронутых систем и быстро предоставлять информацию. Например, Microsoft Security Copilot позволяет спасателю вводить различные доказательства (файлы, URL-адреса, журналы событий) и запрашивать временную шкалу или резюме ( Microsoft Security Copilot - новый помощник ИИ GPT-4 для кибербезопасности | The Verge ). ИИ может ответить: «Вероятно, нарушение началось с фишингового письма пользователю JohnDoe в 10:53 по Гринвичу, содержащего вредоносное ПО X. После запуска вредоносное ПО создало бэкдор, который был использован два дня спустя для горизонтального перемещения на финансовый сервер, где оно собирало данные». Наличие этой целостной картины за минуты, а не за часы, позволяет команде гораздо быстрее принимать обоснованные решения (например, какие системы изолировать).

Generative AI также может предлагать действия по сдерживанию и исправлению . Например, если конечная точка заражена программой-вымогателем, инструмент ИИ может сгенерировать сценарий или набор инструкций для изоляции этой машины, отключения определенных учетных записей и блокировки известных вредоносных IP-адресов на брандмауэре — по сути, выполнение сценария. Palo Alto Networks отмечает, что генеративный ИИ способен «генерировать соответствующие действия или сценарии в зависимости от характера инцидента» , автоматизируя начальные шаги реагирования ( Что такое Generative AI в кибербезопасности? — Palo Alto Networks ). В сценарии, когда команда безопасности перегружена (например, широкомасштабная атака на сотни устройств), ИИ может даже напрямую выполнять некоторые из этих действий в заранее утвержденных условиях, действуя как младший ответчик, который работает не покладая рук. Например, агент ИИ может автоматически сбрасывать учетные данные, которые он считает скомпрометированными, или помещать в карантин хосты, которые проявляют вредоносную активность, соответствующую профилю инцидента.

Во время реагирования на инцидент жизненно важна коммуникация — как внутри команды, так и с заинтересованными сторонами. Генеративный ИИ может помочь, составляя отчеты об обновлениях инцидента или краткие сводки «на лету» . Вместо того, чтобы инженер останавливал устранение неполадок, чтобы написать обновление по электронной почте, он мог бы попросить ИИ: «Кратко опишите, что произошло в этом инциденте на данный момент, чтобы проинформировать руководителей». ИИ, получив данные об инциденте, может выдать краткое резюме: «По состоянию на 15:00 злоумышленники получили доступ к 2 учетным записям пользователей и 5 серверам. Пострадавшие данные включают клиентские записи в базе данных X. Меры сдерживания: доступ VPN для скомпрометированных учетных записей был отозван, а серверы изолированы. Следующие шаги: сканирование на предмет любых механизмов сохранения». Затем ответчик может быстро проверить или настроить это и отправить, гарантируя, что заинтересованные стороны будут в курсе дела с помощью точной и актуальной информации.

После того, как всё уляжется, обычно нужно подготовить подробный отчёт об инциденте и обобщить извлеченные уроки. Это ещё одна область, где поддержка ИИ просто на высоте. Система может проанализировать все данные об инциденте и сформировать отчёт по итогам инцидента, включающий первопричину, хронологию, последствия и рекомендации. Например, IBM интегрирует генеративный ИИ для создания «простых сводок случаев нарушения безопасности и инцидентов, которыми можно поделиться с заинтересованными сторонами» одним нажатием кнопки ( Как генеративный ИИ можно использовать в кибербезопасности? 10 примеров из реальной жизни ). Оптимизируя отчётность после инцидента, организации могут быстрее внедрять улучшения и иметь более качественную документацию для обеспечения соответствия требованиям.

Одним из инновационных и перспективных применений является моделирование инцидентов на основе ИИ . Подобно тому, как проводятся пожарные учения, некоторые компании используют генеративный ИИ для отработки сценариев инцидентов «что, если». ИИ может смоделировать распространение вируса-вымогателя с учётом структуры сети или кражу данных инсайдером, а затем оценить эффективность текущих планов реагирования. Это помогает командам готовить и совершенствовать стратегии реагирования до того, как произойдёт реальный инцидент. Это похоже на постоянно совершенствующегося консультанта по реагированию на инциденты, который постоянно проверяет вашу готовность.

В отраслях с высокими ставками, таких как финансы или здравоохранение, где простой или потеря данных в результате инцидентов обходятся особенно дорого, эти возможности IR на основе ИИ очень привлекательны. Больница, столкнувшаяся с киберинцидентом, не может позволить себе длительные сбои в работе системы — ИИ, который быстро помогает в сдерживании, может буквально спасти жизнь. Аналогичным образом, финансовое учреждение может использовать ИИ для обработки первоначальной сортировки предполагаемого мошеннического вторжения в 3 часа ночи, так что к тому времени, как дежурные люди будут в сети, большая часть подготовительной работы (выход из затронутых учетных записей, блокировка транзакций и т. д.) уже будет выполнена. Дополняя команды реагирования на инциденты генеративным ИИ , организации могут значительно сократить время реагирования и повысить тщательность своей обработки, в конечном итоге смягчая ущерб от киберинцидентов.

Поведенческая аналитика и обнаружение аномалий

Многие кибератаки можно обнаружить, заметив отклонения от «нормального» поведения — будь то загрузка учётной записью пользователя необычного объёма данных или внезапное взаимодействие сетевого устройства с незнакомым хостом. Генеративный ИИ предлагает передовые методы поведенческого анализа и обнаружения аномалий , изучая типичные модели поведения пользователей и систем, а затем отмечая отклонения.

Традиционное обнаружение аномалий часто использует статистические пороговые значения или простое машинное обучение по определенным метрикам (пики загрузки ЦП, вход в систему в неурочное время и т. д.). Генеративный ИИ может пойти дальше, создавая более тонкие профили поведения. Например, модель ИИ может поглощать логины, шаблоны доступа к файлам и привычки электронной почты сотрудника с течением времени и формировать многомерное понимание «нормальности» этого пользователя. Если эта учетная запись позже делает что-то радикально выходящее за рамки ее нормы (например, входит в систему из новой страны и получает доступ к куче HR-файлов в полночь), ИИ обнаружит отклонение не только по одной метрике, но и по всей модели поведения, которая не соответствует профилю пользователя. С технической точки зрения, генеративные модели (например, автоэнкодеры или модели последовательностей) могут моделировать то, как выглядит «нормально», а затем генерировать ожидаемый диапазон поведения. Когда реальность выходит за пределы этого диапазона, она помечается как аномалия ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ).

Одной из практических реализаций является мониторинг сетевого трафика . Согласно опросу 2024 года, 54% организаций США назвали мониторинг сетевого трафика основным вариантом использования ИИ в кибербезопасности ( Северная Америка: основные варианты использования ИИ в кибербезопасности во всем мире в 2024 году ). Генеративный ИИ может изучать обычные шаблоны связи в сети предприятия — какие серверы обычно взаимодействуют друг с другом, какие объемы данных перемещаются в рабочее время по сравнению с ночью и т. д. Если злоумышленник начнет извлекать данные с сервера, даже медленно, чтобы избежать обнаружения, система на основе ИИ может заметить, что «Сервер A никогда не отправляет 500 МБ данных в 2 часа ночи на внешний IP-адрес», и поднять тревогу. Поскольку ИИ использует не просто статические правила, а развивающуюся модель сетевого поведения, он может улавливать едва заметные аномалии, которые статические правила (например, «оповестить, если данные > X МБ») могут пропустить или ошибочно отметить. Именно эта адаптивная природа делает обнаружение аномалий на основе ИИ эффективным в таких средах, как банковские транзакционные сети, облачная инфраструктура или парки устройств Интернета вещей, где определение фиксированных правил для нормальных и ненормальных ситуаций чрезвычайно сложно.

Генеративный ИИ также помогает с аналитикой поведения пользователей (UBA) , которая играет ключевую роль в обнаружении внутренних угроз или скомпрометированных учетных записей. Создавая базовый уровень для каждого пользователя или организации, ИИ может обнаруживать такие вещи, как неправомерное использование учетных данных. Например, если Боб из бухгалтерии внезапно начинает запрашивать базу данных клиентов (чего он никогда раньше не делал), модель ИИ для поведения Боба отметит это как необычное. Это может быть не вредоносное ПО — это может быть случай кражи учетных данных Боба и их использования злоумышленником, или Боб зондирует то, что ему не следует делать. В любом случае, команда безопасности получает предупреждение для расследования. Такие системы UBA на основе ИИ существуют в различных продуктах безопасности, и методы генеративного моделирования повышают их точность и уменьшают количество ложных срабатываний, учитывая контекст (возможно, Боб работает над специальным проектом и т. д., который ИИ иногда может вывести из других данных).

В сфере управления идентификацией и доступом обнаружение дипфейков становится все более востребованным — генеративный ИИ может создавать синтетические голоса и видео, которые обманывают биометрическую безопасность. Интересно, что генеративный ИИ также может помочь обнаружить эти дипфейки, анализируя едва заметные артефакты в аудио или видео, которые трудно заметить человеку. Мы видели пример с Accenture, которая использовала генеративный ИИ для имитации бесчисленных выражений лица и условий, чтобы обучить свои биометрические системы отличать реальных пользователей от сгенерированных ИИ дипфейков. За пять лет этот подход помог Accenture избавиться от паролей в 90% своих систем (перейдя на биометрию и другие факторы) и сократить количество атак на 60% ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ). По сути, они использовали генеративный ИИ для усиления биометрической аутентификации, сделав ее устойчивой к генеративным атакам (отличная иллюстрация борьбы ИИ с ИИ). Такого рода поведенческое моделирование — в данном случае распознавание разницы между живым человеческим лицом и лицом, синтезированным ИИ, — имеет решающее значение, поскольку мы все больше полагаемся на ИИ при аутентификации.

Обнаружение аномалий с помощью генеративного ИИ применимо в различных отраслях: в здравоохранении — для мониторинга поведения медицинских устройств на предмет признаков взлома; в финансах — для отслеживания торговых систем на предмет нестандартных закономерностей, которые могут указывать на мошенничество или алгоритмические манипуляции; в энергетике/коммунальном хозяйстве — для отслеживания сигналов систем управления на предмет признаков вторжений. Сочетание широты (анализ всех аспектов поведения) и глубины (понимание сложных закономерностей) , предоставляемое генеративным ИИ, делает его мощным инструментом для обнаружения иголок в стоге сена, индикаторов киберинцидента. По мере того, как угрозы становятся более скрытными, скрываясь среди обычных операций, эта способность точно характеризовать «норму» и кричать, когда что-то отклоняется, становится жизненно важной. Таким образом, генеративный ИИ служит неутомимым часовым, постоянно обучаясь и обновляя свое определение нормы, чтобы идти в ногу с изменениями в окружающей среде, и предупреждая службы безопасности об аномалиях, заслуживающих более пристального внимания.

Возможности и преимущества генеративного ИИ в кибербезопасности

Применение генеративного ИИ в кибербезопасности открывает множество возможностей и преимуществ для организаций, готовых использовать эти инструменты. Ниже мы кратко изложим ключевые преимущества, которые делают генеративный ИИ привлекательным дополнением к программам кибербезопасности:

• Более быстрое обнаружение угроз и реагирование на них: Генеративные системы ИИ способны анализировать огромные объёмы данных в режиме реального времени и распознавать угрозы гораздо быстрее, чем при ручном анализе. Это преимущество в скорости означает более раннее обнаружение атак и более быструю локализацию инцидентов. На практике мониторинг безопасности на основе ИИ позволяет выявлять угрозы, для корреляции которых человеку потребовалось бы гораздо больше времени. Оперативно реагируя на инциденты (или даже выполняя первоначальные меры реагирования автономно), организации могут значительно сократить время пребывания злоумышленников в своих сетях, минимизируя ущерб.

• Повышенная точность и охват угроз: Благодаря постоянному обучению на основе новых данных генеративные модели могут адаптироваться к меняющимся угрозам и выявлять более тонкие признаки вредоносной активности. Это приводит к повышению точности обнаружения (меньшему количеству ложноположительных и ложноотрицательных срабатываний) по сравнению со статическими правилами. Например, ИИ, изучивший отличительные признаки фишингового письма или вредоносного ПО, может идентифицировать варианты, которые ранее не встречались. В результате обеспечивается более широкий охват типов угроз, включая новые атаки, что укрепляет общую систему безопасности. Отделы безопасности также получают подробную информацию из анализа ИИ (например, объяснения поведения вредоносного ПО), что позволяет создавать более точную и целенаправленную защиту ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ).

• Автоматизация повторяющихся задач: генеративный ИИ превосходно автоматизирует рутинные, трудоёмкие задачи обеспечения безопасности — от анализа журналов и составления отчётов до написания сценариев реагирования на инциденты. Такая автоматизация снижает нагрузку на аналитиков , позволяя им сосредоточиться на высокоуровневой стратегии и принятии сложных решений ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ). Такие обыденные, но важные задачи, как сканирование уязвимостей, аудит конфигурации, анализ активности пользователей и составление отчётности о соответствии требованиям, могут быть выполнены (или, по крайней мере, составлены в первоначальном виде) ИИ. Выполняя эти задачи со скоростью машины, ИИ не только повышает эффективность, но и снижает количество человеческих ошибок (значительный фактор нарушений).

• Проактивная защита и моделирование: Генеративный ИИ позволяет организациям перейти от реактивной к проактивной защите. Благодаря таким методам, как моделирование атак, генерация синтетических данных и обучение на основе сценариев, специалисты по безопасности могут предвидеть угрозы и готовиться к ним до того, как они материализуются в реальном мире. Службы безопасности могут моделировать кибератаки (фишинговые кампании, вспышки вредоносного ПО, DDoS-атаки и т. д.) в безопасных условиях, чтобы проверить свои реакции и устранить любые уязвимости. Это непрерывное обучение, которое часто невозможно провести полностью только с помощью человека, поддерживает защиту в тонусе и актуальности. Это похоже на киберучебные учения: ИИ может представить множество гипотетических угроз вашей защите, чтобы вы могли практиковаться и совершенствоваться.

• Расширение человеческих знаний (ИИ как умножитель силы): генеративный ИИ действует как неутомимый младший аналитик, консультант и помощник в одном лице. Он может предоставить менее опытным членам команды руководство и рекомендации, которые обычно ожидаются от опытных экспертов, эффективно демократизируя экспертные знания в команде ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Это особенно ценно, учитывая нехватку талантов в кибербезопасности — ИИ помогает небольшим командам делать больше с меньшими ресурсами. Опытные аналитики, с другой стороны, выигрывают от того, что ИИ выполняет рутинную работу и выявляет неочевидные идеи, которые они затем могут проверить и на основе которых предпринять действия. Общим результатом является гораздо более продуктивная и способная команда безопасности, при этом ИИ усиливает влияние каждого члена команды ( Как можно использовать генеративный ИИ в кибербезопасности ).

• Улучшенная поддержка принятия решений и отчётность: преобразуя технические данные в информацию на естественном языке, генеративный ИИ улучшает коммуникацию и процесс принятия решений. Руководители служб безопасности получают более чёткое представление о проблемах благодаря сводкам, генерируемым ИИ, и могут принимать обоснованные стратегические решения без необходимости анализа исходных данных. Аналогичным образом, кросс-функциональное взаимодействие (с руководителями, специалистами по обеспечению соответствия и т. д.) улучшается, когда ИИ готовит понятные отчёты о состоянии безопасности и инцидентах ( Как генеративный ИИ может быть использован в кибербезопасности? 10 примеров из реальной жизни ). Это не только укрепляет доверие и согласованность в вопросах безопасности на уровне руководства, но и помогает обосновать инвестиции и изменения, чётко формулируя риски и выявленные ИИ пробелы.

В совокупности эти преимущества означают, что организации, использующие генеративный ИИ в кибербезопасности, могут достичь более сильной позиции безопасности при потенциально более низких операционных расходах. Они могут реагировать на угрозы, которые ранее были непреодолимыми, закрывать пробелы, которые оставались без контроля, и постоянно совершенствоваться с помощью циклов обратной связи на основе ИИ. В конечном счете, генеративный ИИ дает шанс опередить злоумышленников, сопоставляя скорость, масштаб и сложность современных атак с не менее сложными средствами защиты. Как показал один опрос, более половины руководителей бизнеса и киберруководителей ожидают более быстрого обнаружения угроз и повышения точности за счет использования генеративного ИИ ( [PDF] Global Cybersecurity Outlook 2025 | Всемирный экономический форум ) ( Generative AI in Cybersecurity: A Comprehensive Review of LLM ... ) — свидетельство оптимизма в отношении преимуществ этих технологий.

Риски и проблемы использования генеративного ИИ в кибербезопасности

Несмотря на значительные возможности, крайне важно подходить к использованию генеративного ИИ в кибербезопасности, учитывая риски и проблемы . Слепое доверие к ИИ или его ненадлежащее использование может привести к появлению новых уязвимостей. Ниже мы описываем основные проблемы и подводные камни, а также контекст для каждого из них:

• Использование генеративного ИИ киберпреступниками: те же генеративные возможности, которые помогают защитникам, могут расширить возможности злоумышленников. Злоумышленники уже используют генеративный ИИ для создания более убедительных фишинговых писем, создания поддельных персон и фейковых видеороликов для социальной инженерии, разработки полиморфного вредоносного ПО, которое постоянно изменяется, чтобы избежать обнаружения, и даже автоматизации аспектов взлома ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ). Почти половина (46%) руководителей в области кибербезопасности обеспокоены тем, что генеративный ИИ приведет к более продвинутым состязательным атакам ( Безопасность генеративного ИИ: тенденции, угрозы и стратегии смягчения ). Эта «гонка вооружений ИИ» означает, что по мере того, как защитники внедряют ИИ, злоумышленники не будут сильно отставать (на самом деле, в некоторых областях они могут быть впереди, используя нерегулируемые инструменты ИИ). Организации должны быть готовы к угрозам, усиленным ИИ, которые являются более частыми, сложными и трудными для отслеживания.

• Галлюцинации и неточность ИИ: правдоподобные, но неверные или вводящие в заблуждение результаты — явление, известное как галлюцинация. В контексте безопасности ИИ может проанализировать инцидент и ошибочно заключить, что причиной была определённая уязвимость, или может сгенерировать некорректный сценарий исправления, который не сможет сдержать атаку. Эти ошибки могут быть опасны, если принимать их за чистую монету. Как предупреждает NTT Data, «генеративный ИИ может правдоподобно выводить ложный контент, и это явление называется галлюцинациями… в настоящее время их сложно полностью устранить» ( Риски безопасности генеративного ИИ и контрмеры, и их влияние на кибербезопасность | NTT DATA Group ). Чрезмерная зависимость от ИИ без проверки может привести к нецелевым усилиям или ложному чувству безопасности. Например, ИИ может ложно пометить критическую систему как безопасную, когда это не так, или, наоборот, вызвать панику, «обнаружив» нарушение, которого никогда не было. Для снижения этого риска необходима строгая проверка результатов работы ИИ и привлечение людей к принятию критически важных решений.

• Ложные срабатывания и ложные отрицания: В связи с галлюцинациями, если модель ИИ плохо обучена или настроена, она может переоценивать безобидную активность как вредоносную (ложные срабатывания) или, что еще хуже, пропускать реальные угрозы (ложные отрицания) ( Как генеративный ИИ может использоваться в кибербезопасности ). Чрезмерное количество ложных срабатываний может перегрузить команды безопасности и привести к усталости от оповещений (сводя на нет тот самый рост эффективности, который обещал ИИ), в то время как пропущенные обнаружения оставляют организацию уязвимой. Настройка генеративных моделей для достижения правильного баланса является сложной задачей. Каждая среда уникальна, и ИИ может не сразу работать оптимально из коробки. Непрерывное обучение также является палкой о двух концах: если ИИ учится на обратной связи, которая искажена или на изменяющейся среде, его точность может колебаться. Команды безопасности должны отслеживать производительность ИИ и корректировать пороговые значения или предоставлять корректирующую обратную связь моделям. В ситуациях с высокими ставками (например, при обнаружении вторжений в критически важную инфраструктуру) может быть разумным запускать предложения ИИ параллельно с существующими системами в течение определенного периода, чтобы гарантировать их согласованность и взаимодополняемость, а не конфликт.

• Конфиденциальность данных и утечка: Системы генеративного ИИ часто требуют больших объемов данных для обучения и работы. Если эти модели находятся в облаке или не изолированы должным образом, существует риск утечки конфиденциальной информации. Пользователи могут непреднамеренно передать конфиденциальные данные или персональные данные в службу ИИ (например, попросить ChatGPT составить резюме конфиденциального отчета об инциденте), и эти данные могут стать частью знаний модели. Действительно, недавнее исследование показало, что 55% входных данных для инструментов генеративного ИИ содержали конфиденциальную или персонально идентифицируемую информацию , что вызывает серьезные опасения по поводу утечки данных ( Безопасность генеративного ИИ: тенденции, угрозы и стратегии смягчения ). Кроме того, если ИИ был обучен на внутренних данных и к нему обращаются определенным образом, он может выдавать фрагменты этих конфиденциальных данных кому-то еще. Организации должны внедрить строгие политики обработки данных (например, используя локальные или частные экземпляры ИИ для конфиденциальных материалов) и информировать сотрудников о том, что не следует вставлять секретную информацию в общедоступные инструменты ИИ. В игру вступают также правила конфиденциальности (GDPR и т. д.) — использование персональных данных для обучения ИИ без надлежащего согласия или защиты может противоречить закону.

• Безопасность моделей и манипуляция: модели генеративного ИИ сами по себе могут стать целями. Злоумышленники могут попытаться отравить модель , подав вредоносные или вводящие в заблуждение данные на этапе обучения или переобучения, чтобы ИИ выучил неверные шаблоны ( Как генеративный ИИ может использоваться в кибербезопасности ). Например, злоумышленник может тонко отравить данные разведки угроз, чтобы ИИ не смог распознать собственное вредоносное ПО злоумышленника как вредоносное. Другая тактика — быстрое внедрение или манипуляция выходными данными , когда злоумышленник находит способ выдать входные данные ИИ, которые заставляют его вести себя непреднамеренным образом — возможно, игнорировать его защитные ограждения или раскрывать информацию, которую он не должен (например, внутренние подсказки или данные). Кроме того, существует риск уклонения от модели : злоумышленники создают входные данные, специально предназначенные для обмана ИИ. Мы видим это в примерах соперничества — слегка искаженные данные, которые человек считает нормальными, но ИИ неправильно классифицирует. Обеспечение безопасности цепочки поставок ИИ (целостность данных, контроль доступа к модели, тестирование устойчивости к состязательным действиям) является новой, но необходимой частью кибербезопасности при развертывании этих инструментов ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ).

• Чрезмерная зависимость и потеря навыков: существует менее выраженный риск того, что организации могут стать чрезмерно зависимыми от ИИ и допустить атрофию человеческих навыков. Если младшие аналитики начнут слепо доверять результатам работы ИИ, у них может не развиться критическое мышление и интуиция, необходимые в ситуациях, когда ИИ недоступен или неисправен. Следует избегать ситуации, когда команда безопасности располагает отличными инструментами, но не понимает, как действовать в случае их отказа (подобно пилотам, чрезмерно полагающимся на автопилот). Регулярные тренировки без помощи ИИ и формирование у аналитиков установки, что ИИ — это помощник, а не безошибочный оракул, важны для поддержания их квалификации. Люди должны оставаться лицами, принимающими окончательные решения, особенно в случае важных суждений.

• Проблемы этики и соответствия требованиям: Использование ИИ в кибербезопасности поднимает этические вопросы и может спровоцировать проблемы с соблюдением нормативных требований. Например, если система ИИ ошибочно обвиняет сотрудника в злонамеренном инсайдере из-за аномалии, это может несправедливо нанести ущерб репутации или карьере этого человека. Решения, принимаемые ИИ, могут быть непрозрачными (проблема «черного ящика»), что затрудняет объяснение аудиторам или регулирующим органам причин выполнения определенных действий. По мере того, как контент, генерируемый ИИ, становится все более распространенным, обеспечение прозрачности и подотчетности имеет решающее значение. Регулирующие органы начинают пристально изучать ИИ — например, Закон ЕС об ИИ будет предъявлять требования к системам ИИ «высокого риска», и ИИ для кибербезопасности может попадать в эту категорию. Компаниям необходимо будет ориентироваться в этих правилах и, возможно, придерживаться стандартов, таких как Структура управления рисками ИИ NIST, чтобы ответственно использовать генеративный ИИ ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Соответствие требованиям распространяется и на лицензирование: использование моделей с открытым исходным кодом или сторонних моделей может иметь условия, ограничивающие определенные виды использования или требующие улучшения совместного использования.

Подводя итог, можно сказать, что генеративный ИИ не является панацеей : при ненадлежащем внедрении он может создавать новые уязвимости, даже устраняя другие. Исследование Всемирного экономического форума 2024 года показало, что около 47% организаций называют достижения злоумышленников в области генеративного ИИ главной проблемой, что делает его «наиболее тревожным воздействием генеративного ИИ» на кибербезопасность ( [PDF] Global Cybersecurity Outlook 2025 | Всемирный экономический форум ) ( Генеративный ИИ в кибербезопасности: всесторонний обзор LLM ... ). Поэтому организациям необходимо придерживаться сбалансированного подхода: использовать преимущества ИИ и при этом строго управлять этими рисками посредством управления, тестирования и человеческого контроля. Далее мы обсудим, как на практике достичь этого баланса.

Взгляд в будущее: растущая роль генеративного ИИ в кибербезопасности

В перспективе генеративный ИИ, вероятно, станет неотъемлемой частью стратегии кибербезопасности и, более того, инструментом, который киберпреступники продолжат использовать. Игра в кошки-мышки будет набирать обороты, и ИИ будет действовать по обе стороны баррикад. Вот несколько прогнозов относительно того, как генеративный ИИ может повлиять на кибербезопасность в ближайшие годы:

• Киберзащита с использованием ИИ становится стандартом: к 2025 году и далее можно ожидать, что большинство средних и крупных организаций включат инструменты на основе ИИ в свои операции по обеспечению безопасности. Так же, как антивирусы и межсетевые экраны являются стандартом сегодня, «вторые пилоты» на основе ИИ и системы обнаружения аномалий могут стать базовыми компонентами архитектур безопасности. Эти инструменты, вероятно, станут более специализированными — например, отдельные модели ИИ, точно настроенные для облачной безопасности, для мониторинга устройств IoT, для безопасности кода приложений и так далее, работающие согласованно. Как отмечается в одном прогнозе, «в 2025 году генеративный ИИ станет неотъемлемой частью кибербезопасности, позволяя организациям проактивно защищаться от сложных и развивающихся угроз» ( Как можно использовать генеративный ИИ в кибербезопасности ). ИИ улучшит обнаружение угроз в реальном времени, автоматизирует многие действия реагирования и поможет службам безопасности управлять значительно большими объемами данных, чем они могли бы вручную.

• Непрерывное обучение и адаптация: Будущие генеративные системы ИИ в кибербезопасности будут лучше обучаться «на лету» на основе новых инцидентов и данных об угрозах, обновляя свою базу знаний практически в режиме реального времени. Это может привести к созданию по-настоящему адаптивной защиты – представьте себе ИИ, который утром узнает о новой фишинговой кампании, направленной на другую компанию, а к полудню уже корректирует фильтры электронной почты вашей компании в ответ. Облачные сервисы безопасности на основе ИИ могут способствовать такому коллективному обучению, когда анонимные данные от одной организации приносят пользу всем подписчикам (аналогично обмену данными об угрозах, но автоматизированному). Однако это потребует осторожного подхода, чтобы избежать передачи конфиденциальной информации и не допустить внедрения злоумышленниками некорректных данных в общие модели.

• Конвергенция ИИ и талантов в области кибербезопасности: набор навыков специалистов по кибербезопасности будет развиваться и включать в себя владение ИИ и наукой о данных. Так же, как сегодняшние аналитики изучают языки запросов и скрипты, завтрашние аналитики могут регулярно настраивать модели ИИ или писать «игровые книжки» для ИИ, чтобы тот их выполнял. Мы можем увидеть новые роли, такие как «Тренер по безопасности ИИ» или «Инженер по кибербезопасности ИИ» — люди, которые специализируются на адаптации инструментов ИИ к потребностям организации, проверке их производительности и обеспечении их безопасной работы. С другой стороны, соображения кибербезопасности будут все больше влиять на разработку ИИ. Системы ИИ будут создаваться с функциями безопасности с нуля (безопасная архитектура, обнаружение несанкционированного доступа, журналы аудита для решений ИИ и т. д.), а фреймворки для заслуживающего доверия ИИ (справедливого, объяснимого, надежного и безопасного) будут направлять их развертывание в критически важных для безопасности контекстах.

• Более сложные атаки с использованием ИИ: к сожалению, ландшафт угроз также будет меняться вместе с ИИ. Мы ожидаем более частого использования ИИ для обнаружения уязвимостей нулевого дня, создания узконаправленного фишинга (например, ИИ, собирающий данные из социальных сетей для создания идеально подходящей приманки), а также для генерации убедительных deepfake голосов или видео для обхода биометрической аутентификации или совершения мошенничества. Могут появиться автоматизированные хакерские агенты, которые смогут самостоятельно выполнять многоэтапные атаки (разведка, эксплуатация, горизонтальное перемещение и т. д.) с минимальным человеческим контролем. Это вынудит защитников также полагаться на ИИ — по сути, автоматизация против автоматизации . Некоторые атаки могут происходить со скоростью машины, например, ИИ-боты, пытающиеся перебрать тысячу вариантов фишинговых писем, чтобы увидеть, какой из них пройдет фильтры. Киберзащита должна будет работать с аналогичной скоростью и гибкостью, чтобы не отставать ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ).

• Регулирование и этика ИИ в сфере безопасности: По мере того, как ИИ всё глубже проникает в функции кибербезопасности, будет ужесточаться контроль и, возможно, регулирование для обеспечения ответственного использования этих систем ИИ. Можно ожидать разработки рамок и стандартов, специфичных для ИИ в сфере безопасности. Правительства могут установить правила прозрачности, например, требование, чтобы важные решения в области безопасности (например, прекращение доступа сотрудника в случае подозрения на вредоносную активность) не принимались исключительно ИИ без участия человека. Также может быть введена сертификация продуктов безопасности на основе ИИ, чтобы гарантировать покупателям, что ИИ прошёл оценку на предвзятость, надёжность и безопасность. Кроме того, может развиться международное сотрудничество в области киберугроз, связанных с ИИ; например, соглашения об обработке дезинформации, создаваемой ИИ, или нормы, направленные против определённых видов кибероружия, создаваемого ИИ.

• Интеграция с более широкими экосистемами ИИ и ИТ: Генеративный ИИ в кибербезопасности, вероятно, будет интегрироваться с другими системами ИИ и инструментами ИТ-управления. Например, ИИ, управляющий оптимизацией сети, может взаимодействовать с ИИ безопасности, чтобы гарантировать, что изменения не откроют лазеек. Бизнес-аналитика на основе ИИ может обмениваться данными с ИИ безопасности для корреляции аномалий (например, внезапного падения продаж с возможной проблемой на веб-сайте из-за атаки). По сути, ИИ не будет существовать изолированно — он станет частью более крупной интеллектуальной структуры деятельности организации. Это открывает возможности для комплексного управления рисками, где операционные данные, данные об угрозах и даже данные о физической безопасности могут быть объединены ИИ для получения 360-градусного представления о состоянии безопасности организации.

В долгосрочной перспективе есть надежда, что генеративный ИИ поможет склонить чашу весов в пользу защитников. Справляясь с масштабом и сложностью современных ИТ-сред, ИИ может сделать киберпространство более защищенным. Однако это долгий путь, и нам предстоит преодолеть трудности, пока мы совершенствуем эти технологии и учимся доверять им. Организации, которые остаются в курсе событий и инвестируют в ответственное внедрение ИИ для обеспечения безопасности, вероятно, окажутся в наилучшей позиции для противодействия будущим угрозам.

Как отмечается в недавнем отчёте Gartner о тенденциях в кибербезопасности, «появление генеративных вариантов использования ИИ (и связанных с ними рисков) создаёт давление, требующее трансформации» ( Тенденции кибербезопасности: устойчивость через трансформацию — Gartner ). Те, кто адаптируется, будут использовать ИИ как мощного союзника; те, кто отстаёт, могут оказаться позади противников, вооружённых ИИ. Следующие несколько лет станут переломным моментом в определении того, как ИИ изменит поле кибервойны.

Практические рекомендации по внедрению генеративного ИИ в кибербезопасность

Для компаний, оценивающих, как использовать генеративный ИИ в своей стратегии кибербезопасности, ниже приведены некоторые практические выводы и рекомендации по ответственному и эффективному внедрению:

1. Начните с обучения и подготовки: убедитесь, что ваша команда безопасности (и весь ИТ-персонал) понимают, что может и чего не может генеративный ИИ. Проведите обучение основам инструментов безопасности на базе ИИ и обновите программы повышения осведомленности по безопасности для всех сотрудников, чтобы охватить угрозы, связанные с ИИ. Например, расскажите сотрудникам, как ИИ может генерировать очень убедительные фишинговые атаки и поддельные звонки. Одновременно обучите сотрудников безопасному и проверенному использованию инструментов ИИ в своей работе. Хорошо информированные пользователи с меньшей вероятностью будут неправильно обращаться с ИИ или станут жертвами атак с его использованием ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ).

2. Определите четкие политики использования ИИ: относитесь к генеративному ИИ как к любой мощной технологии – с управлением. Разработайте политики, которые определяют, кто может использовать инструменты ИИ, какие инструменты разрешены и для каких целей. Включите правила обработки конфиденциальных данных (например, запрет на передачу конфиденциальных данных во внешние службы ИИ) для предотвращения утечек. Например, вы можете разрешить использовать внутреннего помощника ИИ для реагирования на инциденты только членам команды безопасности, а отдел маркетинга может использовать проверенный ИИ для контента – все остальные ограничены. Многие организации теперь явно учитывают генеративный ИИ в своих ИТ-политиках, а ведущие органы по стандартизации поощряют политику безопасного использования, а не прямые запреты ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Обязательно донесите эти правила и их обоснование до всех сотрудников.

3. Снижение «теневого ИИ» и мониторинг использования: Подобно теневому ИТ, «теневой ИИ» возникает, когда сотрудники начинают использовать инструменты или сервисы ИИ без ведома ИТ (например, разработчик использует неавторизованный помощник по коду ИИ). Это может привести к невидимым рискам. Внедрите меры для обнаружения и контроля несанкционированного использования ИИ . Мониторинг сети может отмечать подключения к популярным API ИИ, а опросы или аудит инструментов могут раскрыть, что используют сотрудники. Предлагайте одобренные альтернативы, чтобы у сотрудников с благими намерениями не возник соблазн действовать не по правилам (например, предоставляйте официальную учетную запись ChatGPT Enterprise, если люди считают ее полезной). Вынося использование ИИ на свет, службы безопасности могут оценивать и управлять рисками. Мониторинг также играет ключевую роль — регистрируйте действия и результаты инструментов ИИ как можно подробнее, чтобы был аудиторский след для решений, на которые повлиял ИИ ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ).

4. Используйте ИИ в обороне — не отставайте: осознайте, что злоумышленники будут использовать ИИ, поэтому ваша защита тоже должна. Определите несколько областей с высоким уровнем воздействия, где генеративный ИИ может немедленно помочь вашим операциям по обеспечению безопасности (например, сортировка оповещений или автоматизированный анализ журналов) и запустите пилотные проекты. Расширьте свою защиту с помощью скорости и масштаба ИИ, чтобы противостоять быстро меняющимся угрозам ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Даже простые интеграции, такие как использование ИИ для обобщения отчетов о вредоносных программах или генерации запросов на поиск угроз, могут сэкономить время аналитиков. Начните с малого, оцените результаты и повторяйте шаги. Успехи создадут основу для более широкого внедрения ИИ. Цель состоит в том, чтобы использовать ИИ в качестве фактора умножения силы — например, если фишинговые атаки перегружают вашу службу поддержки, разверните классификатор электронной почты на основе ИИ, чтобы заблаговременно сократить их объем.

5. Инвестируйте в безопасные и этичные практики ИИ: При внедрении генеративного ИИ следуйте безопасным практикам разработки и развертывания. Используйте частные или размещенные самостоятельно модели для конфиденциальных задач, чтобы сохранить контроль над данными. При использовании сторонних сервисов ИИ проверьте их меры безопасности и конфиденциальности (шифрование, политики хранения данных и т. д.). Внедрите фреймворки управления рисками ИИ (например, фреймворк управления рисками ИИ NIST или руководство ISO/IEC) для систематического решения таких проблем, как предвзятость, объяснимость и надежность ваших инструментов ИИ ( Как генеративный ИИ может использоваться в кибербезопасности? 10 примеров из реальной жизни ). Также планируйте обновления/исправления моделей в рамках обслуживания — модели ИИ тоже могут иметь «уязвимости» (например, им может потребоваться переобучение, если они начнут дрейфовать или если будет обнаружен новый тип враждебной атаки на модель). Встраивая безопасность и этику в ваше использование ИИ, вы укрепляете доверие к результатам и обеспечиваете соблюдение новых правил.

6. Держите людей в курсе событий: используйте ИИ для помощи, а не полной замены человеческого суждения в кибербезопасности. Определите моменты принятия решений, где требуется человеческая проверка (например, ИИ может составить отчет об инциденте, но аналитик просматривает его перед распространением; или ИИ может предложить заблокировать учетную запись пользователя, но человек одобряет это действие). Это не только предотвращает неконтролируемые ошибки ИИ, но и помогает вашей команде учиться у ИИ, и наоборот. Поощряйте совместный рабочий процесс: аналитики должны свободно подвергать сомнению результаты ИИ и выполнять проверки на работоспособность. Со временем этот диалог может улучшить как ИИ (благодаря обратной связи), так и навыки аналитиков. По сути, проектируйте свои процессы таким образом, чтобы сильные стороны ИИ и человека дополняли друг друга: ИИ справляется с объемом и скоростью, а люди справляются с неоднозначностью и принимают окончательные решения.

7. Измерение, мониторинг и корректировка: наконец, относитесь к своим инструментам генеративного ИИ как к живым компонентам вашей экосистемы безопасности. Постоянно измеряйте их эффективность — сокращают ли они время реагирования на инциденты? Обнаруживают ли угрозы раньше? Какова динамика ложноположительных результатов? Запрашивайте обратную связь от команды: полезны ли рекомендации ИИ или создают помехи? Используйте эти метрики для уточнения моделей, обновления данных для обучения или корректировки интеграции ИИ. Киберугрозы и потребности бизнеса меняются, и ваши модели ИИ должны периодически обновляться или переобучаться для поддержания эффективности. Разработайте план управления моделью, включая информацию о том, кто отвечает за её обслуживание и как часто она пересматривается. Активно управляя жизненным циклом ИИ, вы гарантируете, что он останется активом, а не обузой.

В заключение следует отметить, что генеративный ИИ может значительно повысить эффективность кибербезопасности, но его успешное внедрение требует продуманного планирования и постоянного контроля. Компании, которые обучают своих сотрудников, устанавливают четкие правила и интегрируют ИИ сбалансированным и безопасным образом, получат выгоду от более быстрого и разумного управления угрозами. Эти выводы представляют собой дорожную карту: объединить человеческий опыт с автоматизацией на основе ИИ, охватить основы управления и сохранять гибкость по мере неизбежного развития как технологий ИИ, так и ландшафта угроз.

Предприняв эти практические шаги, организации смогут с уверенностью ответить на вопрос «Как генеративный ИИ может быть использован в кибербезопасности?» — не только в теории, но и на повседневной практике — и тем самым укрепить свою защиту в нашем всё более цифровом и управляемом ИИ мире. ( Как генеративный ИИ может быть использован в кибербезопасности )

Технические документы, которые вам может быть интересно прочитать после этого:

🔗 Какие профессии ИИ не сможет заменить, и какие ИИ заменит?
Изучите глобальный взгляд на то, какие профессии защищены от автоматизации, а какие — нет.

🔗 Может ли ИИ предсказывать фондовый рынок?
Подробнее об ограничениях, достижениях и мифах, связанных со способностью ИИ прогнозировать рыночные движения.

🔗 Что может сделать генеративный ИИ без вмешательства человека?
Узнайте, где ИИ может действовать самостоятельно, а где человеческий контроль по-прежнему необходим.