Как можно использовать генеративный ИИ в кибербезопасности?

Введение

Генеративный ИИ — системы искусственного интеллекта, способные создавать новый контент или прогнозы, — становится преобразующей силой в сфере кибербезопасности. Такие инструменты, как GPT-4 от OpenAI, продемонстрировали способность анализировать сложные данные и генерировать текст, похожий на человеческий, что открывает новые подходы к защите от киберугроз. Специалисты по кибербезопасности и руководители предприятий в различных отраслях изучают, как генеративный ИИ может усилить защиту от постоянно развивающихся атак. От финансов и здравоохранения до розничной торговли и государственного управления — организации во всех секторах сталкиваются со сложными фишинговыми атаками, вредоносным ПО и другими угрозами, которым генеративный ИИ может помочь противостоять. В этом документе мы рассмотрим, как генеративный ИИ может использоваться в кибербезопасности , осветив реальные примеры применения, будущие возможности и важные аспекты внедрения.

Генеративный ИИ отличается от традиционного аналитического ИИ тем, что не только выявляет закономерности, но и создает контент — будь то моделирование атак для обучения средств защиты или создание объяснений на естественном языке для сложных данных в области безопасности. Эта двойная возможность делает его палкой о двух концах: он предлагает мощные новые инструменты защиты, но и может быть использован злоумышленниками в своих целях. В следующих разделах рассматривается широкий спектр вариантов использования генеративного ИИ в кибербезопасности, от автоматизации обнаружения фишинга до повышения эффективности реагирования на инциденты. Мы также обсуждаем преимущества, которые обещают эти инновации в области ИИ, наряду с рисками (такими как «галлюцинации» ИИ или злонамеренное использование), которыми должны управлять организации. Наконец, мы предлагаем практические рекомендации, которые помогут предприятиям оценить и ответственно интегрировать генеративный ИИ в свои стратегии кибербезопасности.

Генеративный ИИ в кибербезопасности: обзор

Генеративный ИИ в кибербезопасности относится к моделям ИИ — часто это большие языковые модели или другие нейронные сети, — которые могут генерировать аналитические данные, рекомендации, код или даже синтетические данные для решения задач безопасности. В отличие от чисто прогностических моделей, генеративный ИИ может моделировать сценарии и выдавать удобочитаемые результаты (например, отчеты, оповещения или даже примеры вредоносного кода) на основе своих обучающих данных. Эта возможность используется для прогнозирования, обнаружения угроз и реагирования на них более динамичными способами, чем раньше ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ). Например, генеративные модели могут анализировать обширные журналы или хранилища информации об угрозах и выдавать краткое резюме или рекомендуемые действия, функционируя почти как «помощник» ИИ для групп безопасности.

Первые примеры применения генеративного ИИ в киберзащите показали многообещающие результаты. В 2023 году Microsoft представила Security Copilot , помощника для аналитиков безопасности на базе GPT-4, помогающего выявлять нарушения безопасности и обрабатывать 65 триллионов сигналов, которые Microsoft обрабатывает ежедневно ( Microsoft Security Copilot — новый помощник на основе ИИ GPT-4 для кибербезопасности | The Verge ). Аналитики могут задавать системе команды на естественном языке (например «Кратко опишите все инциденты безопасности за последние 24 часа» ), и Copilot создаст полезное повествовательное резюме. Аналогичным образом, Google Threat Intelligence AI использует генеративную модель Gemini для обеспечения диалогового поиска по обширной базе данных угроз Google, быстро анализируя подозрительный код и обобщая результаты, чтобы помочь специалистам по поиску вредоносного ПО ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Эти примеры иллюстрируют потенциал: генеративный ИИ может обрабатывать сложные, крупномасштабные данные по кибербезопасности и представлять результаты в доступной форме, ускоряя принятие решений.

В то же время, генеративный ИИ может создавать высокореалистичный поддельный контент, что является большим преимуществом для моделирования и обучения (и, к сожалению, для злоумышленников, занимающихся социальной инженерией). Переходя к конкретным примерам использования, мы увидим, что способность генеративного ИИ как синтезировать , так и анализировать информацию лежит в основе его многочисленных применений в кибербезопасности. Ниже мы рассмотрим ключевые примеры использования, охватывающие все — от предотвращения фишинга до безопасной разработки программного обеспечения, с примерами применения каждого из них в различных отраслях.

Ключевые области применения генеративного ИИ в кибербезопасности

Рисунок: Ключевые варианты использования генеративного ИИ в кибербезопасности включают в себя ИИ-помощников для групп безопасности, анализ уязвимостей кода, адаптивное обнаружение угроз, моделирование атак нулевого дня, улучшенную биометрическую безопасность и обнаружение фишинга ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ).

Выявление и предотвращение фишинга

Фишинг остается одной из самых распространенных киберугроз, обманывая пользователей и заставляя их переходить по вредоносным ссылкам или разглашать учетные данные. Генеративный ИИ используется как для обнаружения попыток фишинга , так и для повышения эффективности обучения пользователей, чтобы предотвратить успешные атаки. В целях защиты модели ИИ могут анализировать содержимое электронных писем и поведение отправителей, чтобы выявлять тонкие признаки фишинга, которые могут быть пропущены фильтрами, основанными на правилах. Обучаясь на больших массивах данных о легитимных и мошеннических электронных письмах, генеративная модель может выявлять аномалии в тоне, формулировках или контексте, указывающие на мошенничество, — даже когда грамматика и орфография уже не позволяют это определить. Фактически, исследователи Palo Alto Networks отмечают, что генеративный ИИ может выявлять «тонкие признаки фишинговых писем, которые в противном случае могли бы остаться незамеченными», помогая организациям опережать мошенников ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ).

Группы специалистов по безопасности также используют генеративный ИИ для моделирования фишинговых атак в целях обучения и анализа. Например, компания Ironscales представила инструмент моделирования фишинга на основе GPT, который автоматически генерирует поддельные фишинговые электронные письма, адаптированные под сотрудников организации ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Эти созданные с помощью ИИ электронные письма отражают новейшие тактики злоумышленников, предоставляя сотрудникам реалистичную практику в распознавании фишингового контента. Такое персонализированное обучение имеет решающее значение, поскольку сами злоумышленники используют ИИ для создания более убедительных приманок. Примечательно, что, хотя генеративный ИИ может создавать очень качественные фишинговые сообщения (прошли времена легко обнаруживаемого ломаного английского), специалисты по защите обнаружили, что ИИ не является непобедимым. В 2024 году исследователи IBM Security провели эксперимент, сравнивая фишинговые электронные письма, написанные людьми, с письмами, сгенерированными ИИ, и «удивительно, но письма, сгенерированные ИИ, по-прежнему было легко обнаружить, несмотря на их правильную грамматику» ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Это говорит о том, что человеческая интуиция в сочетании с обнаружением с помощью ИИ все еще может распознавать тонкие несоответствия или сигналы метаданных в мошеннических письмах, написанных ИИ.

Генеративный ИИ помогает в защите от фишинга и другими способами. Модели могут использоваться для генерации автоматических ответов или фильтров , проверяющих подозрительные электронные письма. Например, система ИИ может ответить на электронное письмо определенными запросами для проверки легитимности отправителя или использовать LLM для анализа ссылок и вложений в песочнице, а затем обобщить любые вредоносные намерения. Платформа безопасности NVIDIA Morpheus демонстрирует возможности ИИ в этой области — она использует генеративные модели обработки естественного языка для быстрого анализа и классификации электронных писем, и было обнаружено, что она улучшает обнаружение целевых фишинговых писем на 21% по сравнению с традиционными инструментами безопасности ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Morpheus даже анализирует модели коммуникации пользователей для обнаружения необычного поведения (например, когда пользователь внезапно начинает отправлять электронные письма на множество внешних адресов), что может указывать на скомпрометированную учетную запись, рассылающую фишинговые письма.

На практике компании в различных отраслях начинают доверять ИИ в фильтрации электронной почты и веб-трафика для выявления атак с использованием методов социальной инженерии. Например, финансовые фирмы используют генеративный ИИ для сканирования сообщений на предмет попыток подмены личности, которые могут привести к мошенничеству с денежными переводами, а медицинские учреждения внедряют ИИ для защиты данных пациентов от утечек, связанных с фишингом. Создавая реалистичные сценарии фишинга и выявляя признаки вредоносных сообщений, генеративный ИИ добавляет мощный уровень к стратегиям предотвращения фишинга. Вывод: ИИ может помочь быстрее и точнее обнаруживать и нейтрализовать фишинговые атаки, даже если злоумышленники используют ту же технологию для повышения эффективности своих действий.

Обнаружение вредоносных программ и анализ угроз

Современное вредоносное ПО постоянно развивается — злоумышленники создают новые варианты или обфусцируют код, чтобы обойти антивирусные сигнатуры. Генеративный ИИ предлагает новые методы как для обнаружения вредоносного ПО, так и для понимания его поведения. Один из подходов — использование ИИ для создания «злых двойников» вредоносного ПО : исследователи безопасности могут загрузить известный образец вредоносного ПО в генеративную модель для создания множества мутированных вариантов этого вредоносного ПО. Таким образом, они эффективно предвидят изменения, которые может внести злоумышленник. Эти сгенерированные ИИ варианты затем могут быть использованы для обучения антивирусных систем и систем обнаружения вторжений, так что даже модифицированные версии вредоносного ПО распознаются в реальных условиях ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ Примеры] ). Эта проактивная стратегия помогает разорвать порочный круг, когда хакеры незначительно изменяют свое вредоносное ПО, чтобы избежать обнаружения, а защитникам приходится каждый раз в спешке создавать новые сигнатуры. Как отмечалось в одном из отраслевых подкастов, эксперты по безопасности теперь используют генеративный ИИ для «моделирования сетевого трафика и создания вредоносных программ, имитирующих сложные атаки» , проверяя свою защиту на устойчивость к целому семейству угроз, а не к одному конкретному случаю. Такое адаптивное обнаружение угроз делает инструменты безопасности более устойчивыми к полиморфным вредоносным программам, которые в противном случае могли бы ускользнуть от их внимания.

Помимо обнаружения, генеративный ИИ помогает в анализе вредоносного ПО и обратном проектировании , что традиционно является трудоемкими задачами для аналитиков угроз. Крупные языковые модели могут быть задействованы для изучения подозрительного кода или скриптов и объяснения простым языком того, для чего предназначен этот код. Реальным примером является VirusTotal Code Insight , функция от Google VirusTotal, которая использует модель генеративного ИИ (Google Sec-PaLM) для создания сводок потенциально вредоносного кода на естественном языке ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). По сути, это «тип ChatGPT, предназначенный для анализа кода безопасности», выступающий в качестве аналитика вредоносного ПО на основе ИИ, работающего круглосуточно, чтобы помочь аналитикам-людям понять угрозы ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Вместо того чтобы изучать незнакомый скрипт или бинарный код, член команды безопасности может получить немедленное объяснение от ИИ — например: «Этот скрипт пытается загрузить файл с сервера XYZ, а затем изменить системные настройки, что указывает на поведение вредоносного ПО». Это значительно ускоряет реагирование на инциденты, поскольку аналитики могут быстрее, чем когда-либо, выявлять и понимать новые вредоносные программы.

Генеративный ИИ также используется для выявления вредоносных программ в огромных массивах данных . Традиционные антивирусные движки сканируют файлы на наличие известных сигнатур, но генеративная модель может оценивать характеристики файла и даже предсказывать, является ли он вредоносным, на основе изученных закономерностей. Анализируя атрибуты миллиардов файлов (вредоносных и безвредных), ИИ может обнаружить вредоносные намерения там, где нет явной сигнатуры. Например, генеративная модель может пометить исполняемый файл как подозрительный, потому что его поведенческий профиль «выглядит» как слегка измененная вариация программы-вымогателя, которую она видела во время обучения, даже несмотря на то, что бинарный файл новый. Такое обнаружение на основе поведения помогает противодействовать новым или вредоносным программам нулевого дня. Сообщается, что Google Threat Intelligence AI (часть Chronicle/Mandiant) использует свою генеративную модель для анализа потенциально вредоносного кода и «более эффективного и действенного оказания помощи специалистам по безопасности в борьбе с вредоносными программами и другими типами угроз» ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ).

С другой стороны, мы должны признать, что злоумышленники могут использовать генеративный ИИ и здесь — для автоматического создания вредоносного ПО, которое адаптируется к внешним условиям. Более того, эксперты по безопасности предупреждают, что генеративный ИИ может помочь киберпреступникам разрабатывать вредоносное ПО , которое сложнее обнаружить ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ). Модель ИИ может быть запрограммирована на многократное изменение вредоносного ПО (изменение структуры файлов, методов шифрования и т. д.), пока оно не обойдет все известные антивирусные проверки. Такое враждебное использование вызывает все большую обеспокоенность (иногда это называют «вредоносным ПО на основе ИИ» или полиморфным вредоносным ПО как услугой). Мы обсудим такие риски позже, но это подчеркивает, что генеративный ИИ — это инструмент в этой игре в кошки-мышки, используемый как защитниками, так и злоумышленниками.

В целом, генеративный ИИ повышает эффективность защиты от вредоносных программ, позволяя командам безопасности мыслить как злоумышленники — генерировать новые угрозы и решения собственными силами. Будь то создание синтетических вредоносных программ для повышения эффективности обнаружения или использование ИИ для объяснения и сдерживания реальных вредоносных программ, обнаруженных в сетях, эти методы применимы во всех отраслях. Банк может использовать анализ вредоносных программ с помощью ИИ для быстрого анализа подозрительного макроса в электронной таблице, а производственная компания может полагаться на ИИ для обнаружения вредоносных программ, нацеленных на системы промышленного управления. Дополняя традиционный анализ вредоносных программ генеративным ИИ, организации могут реагировать на кампании вредоносных программ быстрее и более активно, чем раньше.

Анализ угроз и автоматизация анализа

Ежедневно организации подвергаются массированному потоку данных об угрозах — от потоков вновь обнаруженных индикаторов компрометации (IOC) до аналитических отчетов о новых тактиках хакеров. Задача для команд безопасности — просеять этот поток информации и извлечь полезные выводы. Генеративный ИИ оказывается бесценным инструментом для автоматизации анализа и обработки данных об угрозах . Вместо того чтобы вручную читать десятки отчетов или записей в базах данных, аналитики могут использовать ИИ для обобщения и контекстуализации информации об угрозах со скоростью, сопоставимой со скоростью работы машины.

Один из конкретных примеров — пакет инструментов Google Threat Intelligence , который интегрирует генеративный ИИ (модель Gemini) с огромными массивами данных об угрозах от Mandiant и VirusTotal. Этот ИИ обеспечивает «диалоговый поиск по обширному хранилищу информации об угрозах Google» , позволяя пользователям задавать естественные вопросы об угрозах и получать краткие ответы ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Например, аналитик может спросить: «Мы видели какое-либо вредоносное ПО, связанное с группой угроз X, нацеленное на нашу отрасль?» , и ИИ извлечет соответствующую информацию, возможно, отметив: «Да, группа угроз X была связана с фишинговой кампанией в прошлом месяце с использованием вредоносного ПО Y» , а также краткое описание поведения этого вредоносного ПО. Это значительно сокращает время, необходимое для сбора информации, которое в противном случае потребовало бы запроса к нескольким инструментам или чтения длинных отчетов.

Генеративный ИИ также может сопоставлять и обобщать тенденции угроз . Он может просмотреть тысячи сообщений в блогах по безопасности, новости о взломах и обсуждения в даркнете, а затем сгенерировать краткое изложение «главных киберугроз этой недели» для брифинга директора по информационной безопасности. Традиционно такой уровень анализа и составления отчетов требовал значительных усилий со стороны человека; теперь хорошо настроенная модель может составить его за считанные секунды, а люди лишь дорабатывают результат. Такие компании, как ZeroFox, разработали FoxGPT — инструмент генеративного ИИ, специально предназначенный для «ускорения анализа и обобщения информации из больших массивов данных», включая вредоносный контент и фишинговые данные ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Автоматизируя трудоемкую работу по чтению и сопоставлению данных, ИИ позволяет группам по анализу угроз сосредоточиться на принятии решений и реагировании.

Еще один вариант применения — это поиск угроз в диалоговом режиме . Представьте, что аналитик безопасности взаимодействует с ИИ-помощником: «Покажите мне любые признаки утечки данных за последние 48 часов» или «Какие новые уязвимости чаще всего используют злоумышленники на этой неделе?». ИИ может интерпретировать запрос, искать информацию во внутренних журналах или внешних источниках и ответить четким ответом или даже списком соответствующих инцидентов. Это не так уж и невероятно — современные системы управления информацией и событиями безопасности (SIEM) начинают включать запросы на естественном языке. Например, в 2024 году в пакет решений безопасности QRadar от IBM будут добавлены функции генеративного ИИ, позволяющие аналитикам «задавать […] конкретные вопросы о кратком описании пути атаки» инцидента и получать подробные ответы. Он также может «интерпретировать и обобщать наиболее важную информацию об угрозах» ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). По сути, генеративный ИИ превращает огромные массивы технических данных в краткие аналитические выводы по запросу.

Это имеет серьезные последствия для различных отраслей. Медицинское учреждение может использовать ИИ для отслеживания последних групп вымогателей, нацеленных на больницы, без необходимости выделять аналитика для проведения исследований на полную ставку. Центр мониторинга безопасности (SOC) розничной компании может быстро обобщить новые тактики вредоносного ПО для POS-терминалов при проведении инструктажа для ИТ-персонала магазина. А в государственном секторе, где необходимо обобщать данные об угрозах от различных ведомств, ИИ может создавать унифицированные отчеты, выделяющие ключевые предупреждения. Автоматизируя сбор и интерпретацию информации об угрозах , генеративный ИИ помогает организациям быстрее реагировать на возникающие угрозы и снижает риск пропуска критически важных предупреждений, скрытых в информационном шуме.

Оптимизация центра оперативного управления безопасностью (SOC)

Центры оперативного управления безопасностью (SOC) печально известны своей усталостью от оповещений и огромным объемом данных. Типичный аналитик SOC может ежедневно обрабатывать тысячи оповещений и событий, расследуя потенциальные инциденты. Генеративный ИИ выступает в роли множителя силы в SOC, автоматизируя рутинную работу, предоставляя интеллектуальные сводки и даже организуя некоторые ответные действия. Цель состоит в оптимизации рабочих процессов SOC, чтобы аналитики-люди могли сосредоточиться на наиболее важных проблемах, в то время как ИИ-помощник занимался бы остальным.

Одно из основных применений — использование генеративного ИИ в качестве «помощника аналитика» . Microsoft Security Copilot, упомянутый ранее, является ярким примером этого: он «разработан для того, чтобы помогать аналитику безопасности в его работе, а не заменять его», помогая в расследовании инцидентов и составлении отчетов ( Microsoft Security Copilot — новый помощник на основе ИИ GPT-4 для кибербезопасности | The Verge ). На практике это означает, что аналитик может ввести необработанные данные — журналы брандмауэра, хронологию событий или описание инцидента — и попросить ИИ проанализировать их или обобщить. Помощник может выдать сообщение, например: «Похоже, что в 2:35 утра подозрительный вход с IP-адреса X на сервер Y прошел успешно, за которым последовали необычные передачи данных, указывающие на потенциальное нарушение безопасности этого сервера». Такая мгновенная контекстуализация бесценна, когда время имеет решающее значение.

Искусственный интеллект в качестве помощника также помогает снизить нагрузку на первый уровень сортировки. Согласно отраслевым данным, команда безопасности может тратить 15 часов в неделю только на обработку около 22 000 оповещений и ложных срабатываний ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). С помощью генеративного ИИ многие из этих оповещений могут быть автоматически обработаны — ИИ может отбрасывать те, которые явно безобидны (с объяснением причин), и выделять те, которые действительно требуют внимания, иногда даже предлагая приоритет. Фактически, сильная сторона генеративного ИИ в понимании контекста означает, что он может сопоставлять оповещения, которые могут казаться безобидными сами по себе, но вместе указывают на многоэтапную атаку. Это снижает вероятность пропуска атаки из-за «усталости от оповещений».

Аналитики SOC также используют естественный язык в сочетании с ИИ для ускорения поиска угроз и проведения расследований. Например, платформа Purple AI «задавать сложные вопросы по поиску угроз на простом английском языке и получать быстрые и точные ответы» ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Аналитик может ввести: «Общались ли какие-либо конечные точки с доменом badguy123[.]com за последний месяц?» , и Purple AI проанализирует журналы, чтобы ответить. Это избавляет аналитика от необходимости писать запросы к базам данных или скрипты — ИИ делает это автоматически. Это также означает, что младшие аналитики могут выполнять задачи, которые ранее требовали опытного инженера, владеющего языками запросов, эффективно повышая квалификацию команды с помощью ИИ . Действительно, аналитики сообщают, что руководство, основанное на генеративном ИИ, «повышает их навыки и квалификацию» , поскольку младшие сотрудники теперь могут получать по запросу поддержку в программировании или советы по анализу от ИИ, что снижает зависимость от постоянного обращения за помощью к старшим членам команды ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ).

Еще одна оптимизация SOC — автоматизированное составление сводок и документирование инцидентов . После обработки инцидента кто-то должен составить отчет — задача, которую многие считают утомительной. Генеративный ИИ может взять данные криминалистического анализа (системные журналы, анализ вредоносного ПО, хронология действий) и сгенерировать черновой вариант отчета об инциденте. IBM встраивает эту возможность в QRadar, так что «одним щелчком мыши» можно будет создать сводку инцидента для различных заинтересованных сторон (руководителей, ИТ-команд и т. д.) ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Это не только экономит время, но и гарантирует, что в отчете ничего не будет упущено, поскольку ИИ может последовательно включать все соответствующие детали. Аналогично, для соответствия требованиям и аудита ИИ может заполнять формы или таблицы доказательств на основе данных об инциденте.

Результаты в реальном мире впечатляют. Первые пользователи системы SOAR (оркестрация, автоматизация и реагирование на инциденты безопасности) от Swimlane, основанной на искусственном интеллекте, сообщают об огромном повышении производительности. Например, в Global Data Systems команда SecOps обработала гораздо большее количество запросов; один из директоров сказал: автоматизации на основе ИИ, вероятно, потребовало бы 20 сотрудников» Как можно использовать генеративный ИИ в кибербезопасности ). Другими словами, ИИ в SOC может многократно увеличить производительность . В разных отраслях, будь то технологическая компания, занимающаяся оповещениями о безопасности облачных сервисов, или производственное предприятие, отслеживающее системы OT, команды SOC могут добиться более быстрого обнаружения и реагирования, меньшего количества пропущенных инцидентов и более эффективной работы, используя генеративных ИИ-помощников. Речь идет о более эффективной работе — о том, чтобы позволить машинам выполнять повторяющиеся и ресурсоемкие задачи, чтобы люди могли применять свою интуицию и опыт там, где это наиболее важно.

Управление уязвимостями и моделирование угроз

Выявление и устранение уязвимостей — слабых мест в программном обеспечении или системах, которые могут быть использованы злоумышленниками, — является ключевой функцией кибербезопасности. Генеративный ИИ улучшает управление уязвимостями, ускоряя их обнаружение, помогая в определении приоритетов для исправлений и даже имитируя атаки на эти уязвимости для повышения готовности. По сути, ИИ помогает организациям быстрее находить и устранять дыры в своей защите, а также заблаговременно тестировать средства защиты до того, как это сделают реальные злоумышленники.

Одним из важных применений является использование генеративного ИИ для автоматизированного анализа кода и обнаружения уязвимостей . Большие кодовые базы (особенно устаревшие системы) часто содержат уязвимости безопасности, которые остаются незамеченными. Модели генеративного ИИ могут быть обучены на основе безопасных методов кодирования и распространенных шаблонов ошибок, а затем применены к исходному коду или скомпилированным бинарным файлам для поиска потенциальных уязвимостей. Например, исследователи NVIDIA разработали конвейер генеративного ИИ, который может анализировать контейнеры устаревшего программного обеспечения и выявлять уязвимости «с высокой точностью — до 4 раз быстрее, чем эксперты-люди» ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). По сути, ИИ научился распознавать небезопасный код и смог сканировать программное обеспечение, которому уже несколько десятилетий, чтобы выявлять рискованные функции и библиотеки, значительно ускоряя обычно медленный процесс ручного аудита кода. Этот инструмент может стать переломным моментом для таких отраслей, как финансы или государственное управление, которые полагаются на большие, старые кодовые базы — ИИ помогает модернизировать безопасность, выявляя проблемы, на поиск которых сотрудникам могут потребоваться месяцы или годы (если вообще когда-либо найдутся).

Генеративный ИИ также помогает в рабочих процессах управления уязвимостями , обрабатывая результаты сканирования уязвимостей и расставляя им приоритеты. Такие инструменты, как ExposureAI , используют генеративный ИИ, позволяя аналитикам запрашивать данные об уязвимостях на простом языке и получать мгновенные ответы ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). ExposureAI может «обобщить полный путь атаки в виде повествования» для данной критической уязвимости, объясняя, как злоумышленник может объединить ее с другими уязвимостями, чтобы скомпрометировать систему. Он даже рекомендует действия по устранению и отвечает на дополнительные вопросы о риске. Это означает, что когда объявляется о новой критической уязвимости CVE (Common Vulnerabilities and Exposures), аналитик может спросить ИИ: «Затронуты ли какие-либо из наших серверов этой уязвимостью, и каков наихудший сценарий, если мы не установим обновление?» и получить четкую оценку, основанную на данных сканирования самой организации. Благодаря контекстуализации уязвимостей (например, эта уязвимость находится в интернете и на важном сервере, поэтому ее устранение является первоочередной задачей), генеративный ИИ помогает командам эффективно устанавливать исправления при ограниченных ресурсах.

Помимо поиска и устранения известных уязвимостей, генеративный ИИ способствует тестированию на проникновение и моделированию атак — по сути, обнаружению неизвестных уязвимостей или проверке средств контроля безопасности. Генеративные состязательные сети (GAN), один из типов генеративного ИИ, используются для создания синтетических данных, имитирующих реальный сетевой трафик или поведение пользователей, включая скрытые схемы атак. В исследовании 2023 года было предложено использовать GAN для генерации реалистичного трафика атак нулевого дня для обучения систем обнаружения вторжений ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Предоставляя системам обнаружения вторжений сценарии атак, созданные ИИ (которые не предполагают использования реального вредоносного ПО в производственных сетях), организации могут обучить свои средства защиты распознавать новые угрозы, не дожидаясь реального столкновения с ними. Аналогичным образом, ИИ может имитировать действия злоумышленника, исследующего систему, — например, автоматически пробуя различные методы эксплуатации в безопасной среде, чтобы проверить, удастся ли их применить. Агентство перспективных оборонных исследований США (DARPA) видит здесь большие перспективы: в рамках конкурса «автоматического поиска и устранения уязвимостей в программном обеспечении с открытым исходным кодом» DARPA стремится разработать приложения ИИ и автономии, которым могут доверять военнослужащие > Министерство обороны США > Новости Министерства обороны ). Эта инициатива подчеркивает, что ИИ не просто помогает заделывать известные уязвимости; он активно выявляет новые и предлагает решения, задача, традиционно доступная только квалифицированным (и дорогостоящим) исследователям в области безопасности.

Генеративный ИИ может даже создавать интеллектуальные ловушки и цифровые двойники для защиты. Стартапы разрабатывают системы-приманки на основе ИИ, которые убедительно имитируют реальные серверы или устройства. Как объяснил один генеральный директор, генеративный ИИ может «клонировать цифровые системы, чтобы имитировать реальные и заманивать хакеров» ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Эти созданные ИИ ловушки ведут себя как реальная среда (например, поддельное IoT-устройство, отправляющее обычную телеметрию), но существуют исключительно для привлечения злоумышленников. Когда злоумышленник атакует приманку, ИИ, по сути, обманом заставляет его раскрыть свои методы, которые защитники затем могут изучить и использовать для усиления реальных систем. Эта концепция, основанная на генеративном моделировании, предоставляет перспективный способ переломить ситуацию в свою пользу , используя обман, усиленный ИИ.

В различных отраслях более быстрое и эффективное управление уязвимостями означает меньшее количество нарушений безопасности. Например, в сфере информационных технологий здравоохранения ИИ может быстро обнаружить уязвимую устаревшую библиотеку в медицинском устройстве и предложить исправление прошивки до того, как злоумышленник воспользуется ею. В банковской сфере ИИ может смоделировать внутреннюю атаку на новое приложение, чтобы гарантировать безопасность данных клиентов при любых сценариях. Таким образом, генеративный ИИ выступает одновременно в роли микроскопа и стресс-тестера для оценки уровня безопасности организаций: он выявляет скрытые недостатки и оказывает на системы изобретательное давление, чтобы обеспечить их устойчивость.

Безопасная генерация кода и разработка программного обеспечения

Возможности генеративного ИИ не ограничиваются обнаружением атак — они также распространяются на создание более безопасных систем с самого начала . В разработке программного обеспечения генераторы кода на основе ИИ (такие как GitHub Copilot, OpenAI Codex и др.) могут помочь разработчикам писать код быстрее, предлагая фрагменты кода или даже целые функции. С точки зрения кибербезопасности, это обеспечение безопасности предлагаемых ИИ фрагментов кода и использование ИИ для улучшения методов кодирования.

С одной стороны, генеративный ИИ может выступать в роли помощника программиста, внедряющего лучшие практики безопасности . Разработчики могут попросить инструмент ИИ: «Сгенерируйте функцию сброса пароля на Python», и в идеале получить в ответ код, который не только функционален, но и соответствует рекомендациям по безопасности (например, надлежащая проверка входных данных, логирование, обработка ошибок без утечки информации и т. д.). Такой помощник, обученный на обширных примерах безопасного кода, может помочь уменьшить количество человеческих ошибок, приводящих к уязвимостям. Например, если разработчик забывает проверить пользовательский ввод (что открывает путь для SQL-инъекций или подобных проблем), ИИ может либо включить это по умолчанию, либо предупредить его. Некоторые инструменты ИИ для программирования сейчас дорабатываются с использованием данных, ориентированных на безопасность, именно для этой цели — по сути, ИИ сочетает программирование с заботой о безопасности .

Однако есть и обратная сторона медали: генеративный ИИ может с такой же легкостью создавать уязвимости, если его не контролировать должным образом. Как отметил эксперт по безопасности Sophos Бен Вершарен, использование генеративного ИИ для кодирования «хорошо для короткого, проверяемого кода, но рискованно, когда непроверенный код интегрируется» в производственные системы. Риск заключается в том, что ИИ может создавать логически корректный код, который является небезопасным, и это может остаться незамеченным для неспециалиста. Более того, злоумышленники могут намеренно влиять на общедоступные модели ИИ, внедряя в них уязвимые шаблоны кода (форма отравления данных), чтобы ИИ предлагал небезопасный код. Большинство разработчиков не являются экспертами по безопасности , поэтому, если ИИ предлагает удобное решение, они могут использовать его вслепую, не понимая, что в нем есть недостаток ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Эта проблема реальна — на самом деле, сейчас существует список OWASP Top 10 для больших языковых моделей (LLM), в котором описаны распространенные риски, подобные этому, при использовании ИИ для кодирования.

Для решения этих проблем эксперты предлагают «бороться с генеративным ИИ с помощью генеративного ИИ» в сфере программирования. На практике это означает использование ИИ для проверки и тестирования кода, написанного другими ИИ (или людьми). ИИ может просматривать новые коммиты кода гораздо быстрее, чем человек-рецензент, и выявлять потенциальные уязвимости или логические ошибки. Мы уже видим появление инструментов, которые интегрируются в жизненный цикл разработки программного обеспечения: код пишется (возможно, с помощью ИИ), затем генеративная модель, обученная на принципах безопасного кода, проверяет его и генерирует отчет о любых проблемах (например, использование устаревших функций, отсутствие проверок аутентификации и т. д.). Исследование NVIDIA, упомянутое ранее, которое позволило добиться в 4 раза более быстрого обнаружения уязвимостей в коде, является примером использования ИИ для анализа безопасного кода ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ).

Кроме того, генеративный ИИ может помочь в создании безопасных конфигураций и скриптов . Например, если компании необходимо развернуть безопасную облачную инфраструктуру, инженер может попросить ИИ сгенерировать скрипты конфигурации (инфраструктура как код) со встроенными средствами контроля безопасности (такими как правильная сегментация сети, роли IAM с минимальными привилегиями). ИИ, обученный на тысячах таких конфигураций, может создать базовый вариант, который инженер затем доработает. Это ускоряет безопасную настройку систем и снижает количество ошибок конфигурации — распространенной причины инцидентов в области облачной безопасности.

Некоторые организации также используют генеративный ИИ для поддержания базы знаний о безопасных шаблонах кодирования. Если разработчик не уверен, как безопасно реализовать определенную функцию, он может обратиться к внутреннему ИИ, который обучался на основе прошлых проектов компании и рекомендаций по безопасности. ИИ может вернуть рекомендуемый подход или даже фрагмент кода, который соответствует как функциональным требованиям, так и стандартам безопасности компании. Этот подход используется такими инструментами, как автоматизация анкет от Secureframe , которая извлекает ответы из политик компании и прошлых решений для обеспечения согласованных и точных ответов (по сути, генерируя безопасную документацию) ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Концепция применима к программированию: ИИ, который «помнит», как вы безопасно реализовали что-то раньше, и помогает вам сделать это снова таким же образом.

Вкратце, генеративный ИИ оказывает влияние на разработку программного обеспечения, делая помощь в безопасном кодировании более доступной . Отрасли, разрабатывающие большое количество программного обеспечения на заказ — технологии, финансы, оборона и т. д. — могут извлечь выгоду из наличия ИИ-помощников, которые не только ускоряют кодирование, но и выступают в качестве постоянно бдительного эксперта по безопасности. При надлежащем управлении эти инструменты ИИ могут уменьшить количество новых уязвимостей и помочь командам разработчиков придерживаться передовых методов, даже если команда не привлекает эксперта по безопасности на каждом этапе. В результате получается программное обеспечение, более устойчивое к атакам с первого дня.

Поддержка реагирования на инциденты

Когда происходит инцидент в сфере кибербезопасности — будь то вспышка вредоносного ПО, утечка данных или сбой в работе системы в результате атаки — время имеет решающее значение. Генеративный ИИ все чаще используется для поддержки групп реагирования на инциденты (IR) в более быстром локализации и устранении инцидентов при наличии большего объема информации. Идея заключается в том, что ИИ может взять на себя часть работы по расследованию и документированию во время инцидента и даже предложить или автоматизировать некоторые действия по реагированию.

Одна из ключевых ролей ИИ в реагировании на инциденты — анализ и обобщение инцидентов в режиме реального времени . В разгар инцидента специалистам по реагированию могут потребоваться ответы на такие вопросы, как: «Как злоумышленник проник в систему?» , «Какие системы затронуты?» и «Какие данные могут быть скомпрометированы?» . Генеративный ИИ может анализировать журналы, оповещения и данные криминалистической экспертизы из затронутых систем и быстро предоставлять информацию. Например, Microsoft Security Copilot позволяет специалисту по реагированию на инциденты предоставлять различные доказательства (файлы, URL-адреса, журналы событий) и запрашивать хронологию или сводку ( Microsoft Security Copilot — новый помощник на основе ИИ GPT-4 для кибербезопасности | The Verge ). ИИ может ответить: «Взлом, вероятно, начался с фишингового электронного письма пользователю JohnDoe в 10:53 GMT, содержащего вредоносное ПО X. После запуска вредоносное ПО создало бэкдор, который был использован два дня спустя для распространения на финансовый сервер, где оно собирало данные». Получение такой целостной картины за считанные минуты, а не часы, позволяет команде принимать обоснованные решения (например, какие системы следует изолировать) гораздо быстрее.

Генеративный ИИ также может предлагать меры по локализации и устранению последствий . Например, если конечная точка заражена программой-вымогателем, инструмент ИИ может сгенерировать скрипт или набор инструкций для изоляции этой машины, отключения определенных учетных записей и блокировки известных вредоносных IP-адресов на межсетевом экране — по сути, это выполнение сценария действий. Компания Palo Alto Networks отмечает, что генеративный ИИ способен «генерировать соответствующие действия или скрипты в зависимости от характера инцидента» , автоматизируя начальные этапы реагирования ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ). В сценарии, когда команда безопасности перегружена (например, широкомасштабная атака на сотни устройств), ИИ может даже напрямую выполнять некоторые из этих действий в заранее согласованных условиях, действуя как младший специалист по реагированию, который неустанно работает. Например, агент ИИ может автоматически сбросить учетные данные, которые он считает скомпрометированными, или поместить в карантин хосты, демонстрирующие вредоносную активность, соответствующую профилю инцидента.

В процессе реагирования на инциденты коммуникация имеет жизненно важное значение — как внутри команды, так и с заинтересованными сторонами. Генеративный ИИ может помочь, оперативно составляя отчеты или сводки об инциденте . Вместо того чтобы инженер прерывал устранение неполадок для написания электронного письма с обновленной информацией, он мог бы попросить ИИ: «Кратко изложите, что произошло в ходе этого инцидента, чтобы проинформировать руководство». ИИ, обработав данные об инциденте, может составить краткое резюме: «По состоянию на 15:00 злоумышленники получили доступ к 2 учетным записям пользователей и 5 серверам. Затронутые данные включают записи клиентов в базе данных X. Меры по локализации: доступ к VPN для скомпрометированных учетных записей отозван, а серверы изолированы. Следующие шаги: сканирование на наличие механизмов сохранения активности». Затем специалист по реагированию может быстро проверить или скорректировать это и отправить, обеспечивая заинтересованным сторонам актуальную и точную информацию.

После того, как ситуация стабилизируется, обычно необходимо подготовить подробный отчет об инциденте и проанализировать извлеченные уроки. Это еще одна область, где поддержка ИИ проявляет себя наилучшим образом. Она может проанализировать все данные об инциденте и сгенерировать отчет после инцидента, охватывающий первопричину, хронологию, последствия и рекомендации. Например, IBM интегрирует генеративный ИИ для создания «простых сводок случаев и инцидентов безопасности, которыми можно поделиться с заинтересованными сторонами» одним нажатием кнопки ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Оптимизируя отчетность после инцидента, организации могут быстрее внедрять улучшения, а также иметь более качественную документацию для целей соответствия требованиям.

Одно из инновационных и перспективных применений — моделирование инцидентов с использованием ИИ . Подобно проведению противопожарной тренировки, некоторые компании используют генеративный ИИ для отработки сценариев «что если». ИИ может моделировать распространение программ-вымогателей с учетом структуры сети или то, как инсайдер может похитить данные, а затем оценивать эффективность существующих планов реагирования. Это помогает командам подготовить и усовершенствовать планы действий до того, как произойдет реальный инцидент. Это как постоянно совершенствующийся консультант по реагированию на инциденты, который постоянно проверяет вашу готовность.

В таких критически важных отраслях, как финансы или здравоохранение, где простои или потеря данных в результате инцидентов обходятся особенно дорого, возможности реагирования на инциденты с использованием ИИ очень привлекательны. Больница, столкнувшаяся с кибер-инцидентом, не может позволить себе длительные сбои в работе системы — ИИ, быстро помогающий локализовать проблему, может буквально спасти жизнь. Аналогично, финансовое учреждение может использовать ИИ для проведения первоначальной оценки предполагаемого мошеннического вторжения в 3 часа ночи, так что к моменту прибытия дежурных специалистов большая часть подготовительной работы (отключение затронутых учетных записей, блокировка транзакций и т. д.) уже будет выполнена. Дополняя группы реагирования на инциденты генеративным ИИ , организации могут значительно сократить время реагирования и повысить тщательность обработки инцидентов, в конечном итоге смягчая ущерб от кибер-инцидентов.

Поведенческий анализ и обнаружение аномалий

Многие кибератаки можно обнаружить, заметив отклонения от «нормального» поведения — будь то загрузка пользователем необычно большого объема данных или внезапное взаимодействие сетевого устройства с незнакомым хостом. Генеративный ИИ предлагает передовые методы анализа поведения и обнаружения аномалий , изучая нормальные модели поведения пользователей и систем, а затем отмечая подозрительные моменты.

Традиционные методы обнаружения аномалий часто используют статистические пороговые значения или простое машинное обучение на основе конкретных показателей (скачки загрузки ЦП, вход в систему в неурочное время и т. д.). Генеративный ИИ может пойти дальше, создавая более тонкие профили поведения. Например, модель ИИ может анализировать входы в систему, шаблоны доступа к файлам и привычки работы с электронной почтой сотрудника с течением времени и формировать многомерное понимание «нормального» поведения этого пользователя. Если впоследствии эта учетная запись совершит что-то, резко выходящее за рамки нормы (например, войдет в систему из новой страны и получит доступ к большому количеству кадровых файлов в полночь), ИИ обнаружит отклонение не только по одному показателю, но и как целостный поведенческий паттерн, который не соответствует профилю пользователя. С технической точки зрения, генеративные модели (такие как автокодировщики или модели последовательностей) могут моделировать, как выглядит «норма», а затем генерировать ожидаемый диапазон поведения. Когда реальность выходит за пределы этого диапазона, это помечается как аномалия ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ).

Одно из практических применений — мониторинг сетевого трафика . Согласно опросу 2024 года, 54% американских организаций назвали мониторинг сетевого трафика одним из главных вариантов использования ИИ в кибербезопасности ( Северная Америка: лучшие варианты использования ИИ в кибербезопасности в мире в 2024 году ). Генеративный ИИ может изучать нормальные модели обмена данными в сети предприятия — какие серверы обычно взаимодействуют друг с другом, какие объемы данных перемещаются в рабочее время, а какие — ночью и т. д. Если злоумышленник начинает похищать данные с сервера, даже медленно, чтобы избежать обнаружения, система на основе ИИ может заметить, что «Сервер А никогда не отправляет 500 МБ данных в 2 часа ночи на внешний IP-адрес» , и поднять тревогу. Поскольку ИИ использует не просто статические правила, а развивающуюся модель поведения сети, он может выявлять тонкие аномалии, которые статические правила (например, «предупреждать, если данных > X МБ») могут пропустить или ошибочно отметить. Именно эта адаптивная природа делает системы обнаружения аномалий на основе ИИ эффективными в таких средах, как банковские транзакционные сети, облачная инфраструктура или парки устройств IoT, где определение фиксированных правил для определения нормы и отклонения от нормы чрезвычайно сложно.

Генеративный ИИ также помогает в анализе поведения пользователей (UBA) , что является ключевым фактором для выявления внутренних угроз или взломанных учетных записей. Создавая базовый уровень для каждого пользователя или сущности, ИИ может обнаруживать такие вещи, как неправомерное использование учетных данных. Например, если Боб из бухгалтерии внезапно начинает запрашивать данные из базы данных клиентов (чего он никогда раньше не делал), модель поведения Боба, основанная на анализе поведения ИИ, пометит это как необычное явление. Это может быть не вредоносное ПО — это может быть случай кражи и использования учетных данных Боба злоумышленником, или Боб запрашивает данные там, где не следует. В любом случае, команда безопасности получает предупреждение для проведения расследования. Подобные системы анализа поведения пользователей на основе ИИ существуют в различных продуктах безопасности, а методы генеративного моделирования повышают их точность и уменьшают количество ложных срабатываний за счет учета контекста (возможно, Боб работает над специальным проектом и т. д., что ИИ иногда может определить на основе других данных).

В сфере управления идентификацией и доступом вызывает обнаружение дипфейков — генеративный ИИ может создавать синтетические голоса и видео, которые обманывают биометрическую систему безопасности. Интересно, что генеративный ИИ также может помочь в обнаружении этих дипфейков, анализируя едва заметные артефакты в аудио или видео, которые трудно заметить человеку. Мы видели пример с компанией Accenture, которая использовала генеративный ИИ для моделирования бесчисленных выражений лица и условий, чтобы обучить свои биометрические системы отличать реальных пользователей от дипфейков, созданных ИИ. За пять лет этот подход помог Accenture отказаться от паролей для 90% своих систем (перейдя на биометрию и другие факторы) и сократить количество атак на 60% ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). По сути, они использовали генеративный ИИ для усиления биометрической аутентификации, сделав ее устойчивой к генеративным атакам (отличная иллюстрация борьбы ИИ с ИИ). Такое поведенческое моделирование — в данном случае распознавание разницы между живым человеческим лицом и лицом, синтезированным искусственным интеллектом, — имеет решающее значение, поскольку мы все больше полагаемся на ИИ в процессах аутентификации.

Обнаружение аномалий с помощью генеративного ИИ применимо в самых разных отраслях: в здравоохранении — мониторинг поведения медицинских устройств на предмет признаков взлома; в финансах — наблюдение за торговыми системами на предмет нерегулярных закономерностей, которые могут указывать на мошенничество или манипуляции с алгоритмами; в энергетике/коммунальных услугах — наблюдение за сигналами систем управления на предмет признаков вторжений. Сочетание широты охвата (анализ всех аспектов поведения) и глубины (понимание сложных закономерностей) , которые обеспечивает генеративный ИИ, делает его мощным инструментом для обнаружения даже самых незначительных признаков кибер-инцидентов. Поскольку угрозы становятся все более скрытными, прячась за пределами обычных операций, эта способность точно определять «норму» и сигнализировать об отклонениях становится жизненно важной. Таким образом, генеративный ИИ служит неутомимым стражем, постоянно обучающимся и обновляющим свое определение нормы, чтобы идти в ногу с изменениями в окружающей среде, и оповещающим группы безопасности об аномалиях, требующих более тщательного изучения.

Возможности и преимущества генеративного ИИ в кибербезопасности

Применение генеративного ИИ в кибербезопасности открывает множество возможностей и преимуществ для организаций, готовых использовать эти инструменты. Ниже мы кратко изложим ключевые преимущества, которые делают генеративный ИИ привлекательным дополнением к программам кибербезопасности:

• Более быстрое обнаружение угроз и реагирование: Системы генеративного ИИ могут анализировать огромные массивы данных в режиме реального времени и распознавать угрозы гораздо быстрее, чем при ручном анализе человеком. Это преимущество в скорости означает более раннее обнаружение атак и более быстрое локализацию инцидентов. На практике мониторинг безопасности на основе ИИ может выявлять угрозы, на сопоставление которых человеку потребовалось бы гораздо больше времени. Оперативно реагируя на инциденты (или даже автономно выполняя первоначальные действия), организации могут значительно сократить время пребывания злоумышленников в своих сетях, минимизируя ущерб.

• Повышенная точность и охват угроз: Благодаря постоянному обучению на основе новых данных, генеративные модели могут адаптироваться к меняющимся угрозам и улавливать более тонкие признаки вредоносной активности. Это приводит к повышению точности обнаружения (меньше ложных отрицательных и ложных срабатываний) по сравнению со статическими правилами. Например, ИИ, изучивший характерные признаки фишинговых писем или поведения вредоносных программ, может идентифицировать варианты, которые ранее не встречались. В результате обеспечивается более широкий охват типов угроз, включая новые атаки, что укрепляет общую безопасность. Команды безопасности также получают подробную информацию из анализа ИИ (например, объяснения поведения вредоносных программ), что позволяет применять более точные и целенаправленные меры защиты ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ).

• Автоматизация повторяющихся задач: генеративный ИИ превосходно справляется с автоматизацией рутинных, трудоемких задач в области безопасности — от анализа журналов и составления отчетов до написания сценариев реагирования на инциденты. Эта автоматизация снижает нагрузку на аналитиков-людей , освобождая их для сосредоточения на высокоуровневой стратегии и принятии сложных решений ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ). Обыденные, но важные задачи, такие как сканирование уязвимостей, аудит конфигураций, анализ активности пользователей и составление отчетов о соответствии требованиям, могут быть выполнены (или, по крайней мере, предварительно подготовлены) ИИ. Выполняя эти задачи со скоростью машины, ИИ не только повышает эффективность, но и снижает количество человеческих ошибок (значительный фактор в утечках данных).

• Проактивная защита и моделирование: генеративный ИИ позволяет организациям перейти от реактивной к проактивной безопасности. С помощью таких методов, как моделирование атак, генерация синтетических данных и обучение на основе сценариев, специалисты по защите могут предвидеть угрозы и готовиться к ним еще до того, как они материализуются в реальном мире. Команды безопасности могут моделировать кибератаки (фишинговые кампании, вспышки вредоносного ПО, DDoS-атаки и т. д.) в безопасных условиях, чтобы проверить свои ответные действия и устранить любые слабые места. Это непрерывное обучение, которое зачастую невозможно провести полностью силами человека, поддерживает защиту на высоком уровне и в актуальном состоянии. Это похоже на кибер-«учебную тревогу» — ИИ может подбрасывать множество гипотетических угроз вашей защите, чтобы вы могли практиковаться и совершенствоваться.

• Расширение возможностей человеческого опыта (ИИ как множитель силы): генеративный ИИ выступает в роли неутомимого младшего аналитика, советника и помощника в одном лице. Он может предоставлять менее опытным членам команды рекомендации и указания, обычно ожидаемые от опытных экспертов, эффективно демократизируя экспертизу в команде ( 6 вариантов использования генеративного ИИ в кибербезопасности [+ примеры] ). Это особенно ценно, учитывая дефицит кадров в сфере кибербезопасности — ИИ помогает небольшим командам делать больше с меньшими ресурсами. Опытные аналитики, с другой стороны, получают выгоду от того, что ИИ берет на себя рутинную работу и выявляет неочевидные закономерности, которые они затем могут проверить и использовать в своих действиях. В результате команда безопасности становится гораздо более продуктивной и компетентной, а ИИ усиливает влияние каждого члена команды ( Как можно использовать генеративный ИИ в кибербезопасности ).

• Улучшенная поддержка принятия решений и отчетность: преобразуя технические данные в информацию на естественном языке, генеративный ИИ улучшает коммуникацию и принятие решений. Руководители служб безопасности получают более четкое представление о проблемах благодаря сводкам, сгенерированным ИИ, и могут принимать обоснованные стратегические решения, не прибегая к анализу необработанных данных. Аналогичным образом, улучшается межфункциональная коммуникация (с руководителями, сотрудниками по вопросам соответствия и т. д.), когда ИИ готовит простые для понимания отчеты о состоянии безопасности и инцидентах ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Это не только укрепляет доверие и согласованность в вопросах безопасности на уровне руководства, но и помогает обосновать инвестиции и изменения, четко формулируя риски и выявленные ИИ пробелы.

В совокупности эти преимущества означают, что организации, использующие генеративный ИИ в кибербезопасности, могут добиться более надежной защиты при потенциально более низких операционных затратах. Они могут реагировать на угрозы, которые ранее были непреодолимыми, закрывать пробелы, которые оставались незамеченными, и постоянно совершенствоваться благодаря обратной связи, основанной на ИИ. В конечном итоге, генеративный ИИ дает шанс опередить противников, сопоставляя скорость , масштаб и изощренность современных атак с столь же изощренными средствами защиты. Как показало одно исследование, более половины руководителей предприятий и кибербезопасности ожидают более быстрого обнаружения угроз и повышения точности благодаря использованию генеративного ИИ ( [PDF] Глобальный прогноз кибербезопасности на 2025 год | Всемирный экономический форум ) ( Генеративный ИИ в кибербезопасности: всесторонний обзор LLM... ) – это свидетельствует об оптимизме в отношении преимуществ этих технологий.

Риски и проблемы использования генеративного ИИ в кибербезопасности

Несмотря на значительные возможности, крайне важно подходить к применению генеративного ИИ в кибербезопасности, осознавая риски и проблемы . Слепое доверие к ИИ или его неправильное использование может привести к появлению новых уязвимостей. Ниже мы описываем основные проблемы и подводные камни, а также контекст для каждой из них:

• Использование киберпреступниками генеративных методов: те же возможности генеративного ИИ, которые помогают защитникам, могут усилить возможности злоумышленников. Злоумышленники уже используют генеративный ИИ для создания более убедительных фишинговых писем, поддельных профилей и дипфейк-видео для социальной инженерии, разработки полиморфного вредоносного ПО, которое постоянно изменяется, чтобы избежать обнаружения, и даже автоматизации некоторых аспектов взлома ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ). Почти половина (46%) руководителей в сфере кибербезопасности обеспокоены тем, что генеративный ИИ приведет к более изощренным атакам со стороны злоумышленников ( Безопасность с использованием генеративного ИИ: тенденции, угрозы и стратегии смягчения последствий ). Эта «гонка вооружений в области ИИ» означает, что по мере внедрения ИИ защитниками, злоумышленники не будут сильно отставать (на самом деле, в некоторых областях они могут даже опережать их, используя нерегулируемые инструменты ИИ). Организации должны быть готовы к угрозам, усиленным ИИ, которые будут более частыми, изощренными и трудноотслеживаемыми.

• Галлюцинации и неточности ИИ: генеративные модели ИИ могут выдавать результаты, которые кажутся правдоподобными, но неверны или вводят в заблуждение — явление, известное как галлюцинация. В контексте безопасности ИИ может проанализировать инцидент и ошибочно заключить, что причиной стала определенная уязвимость, или он может сгенерировать ошибочный сценарий устранения проблемы, который не сможет остановить атаку. Эти ошибки могут быть опасны, если воспринимать их буквально. Как предупреждает NTT Data, «генеративный ИИ может правдоподобно выдавать ложную информацию, и это явление называется галлюцинацией… в настоящее время их трудно полностью исключить» ( Риски безопасности генеративного ИИ и контрмеры, а также их влияние на кибербезопасность | NTT DATA Group ). Чрезмерная зависимость от ИИ без проверки может привести к неэффективным действиям или ложному чувству безопасности. Например, ИИ может ошибочно пометить критически важную систему как безопасную, когда это не так, или, наоборот, вызвать панику, «обнаружив» нарушение, которого никогда не было. Для снижения этого риска крайне важна тщательная проверка результатов работы ИИ и участие людей в принятии важных решений.

• Ложные срабатывания и ложные отрицания: Если модель ИИ плохо обучена или настроена, она может ошибочно сообщать о безобидной активности как о вредоносной (ложные срабатывания) или, что еще хуже, пропускать реальные угрозы (ложные отрицания) ( Как можно использовать генеративный ИИ в кибербезопасности ). Чрезмерное количество ложных срабатываний может перегрузить команды безопасности и привести к усталости от оповещений (сводя на нет обещанные ИИ преимущества в повышении эффективности), а пропущенные обнаружения оставляют организацию уязвимой. Настройка генеративных моделей для достижения правильного баланса — сложная задача. Каждая среда уникальна, и ИИ может не сразу показать оптимальные результаты «из коробки». Непрерывное обучение — это тоже палка о двух концах: если ИИ учится на основе искаженной обратной связи или в условиях меняющейся среды, его точность может колебаться. Команды безопасности должны отслеживать производительность ИИ и корректировать пороговые значения или предоставлять моделям корректирующую обратную связь. В ситуациях с высокими ставками (например, при обнаружении вторжений в критическую инфраструктуру) может быть целесообразно некоторое время запускать рекомендации ИИ параллельно с существующими системами, чтобы убедиться, что они согласуются и дополняют друг друга, а не противоречат.

• Конфиденциальность данных и утечка: Системы генеративного ИИ часто требуют больших объемов данных для обучения и работы. Если эти модели основаны на облачных технологиях или не имеют надлежащей изоляции, существует риск утечки конфиденциальной информации. Пользователи могут непреднамеренно передавать в сервис ИИ конфиденциальные или личные данные (например, запросить у ChatGPT краткое изложение конфиденциального отчета об инциденте), и эти данные могут стать частью знаний модели. Действительно, недавнее исследование показало, что 55% входных данных для инструментов генеративного ИИ содержали конфиденциальную или персональную информацию , что вызывает серьезные опасения по поводу утечки данных ( Безопасность генеративного ИИ: тенденции, угрозы и стратегии смягчения последствий ). Кроме того, если ИИ был обучен на внутренних данных и к нему обращаются определенным образом, он может передавать части этих конфиденциальных данных кому-то другому. Организации должны внедрять строгие политики обработки данных (например, использовать локальные или частные экземпляры ИИ для работы с конфиденциальной информацией) и обучать сотрудников тому, что нельзя вставлять секретную информацию в общедоступные инструменты ИИ. В дело вступают и правила защиты конфиденциальности (GDPR и др.) — использование персональных данных для обучения ИИ без надлежащего согласия или защиты может противоречить законодательству.

• Безопасность и манипулирование моделями: Сами модели генеративного ИИ могут стать мишенью. Злоумышленники могут попытаться «отравить» модель , предоставляя вредоносные или вводящие в заблуждение данные на этапе обучения или переобучения, чтобы ИИ усвоил неверные шаблоны ( Как можно использовать генеративный ИИ в кибербезопасности ). Например, злоумышленник может незаметно «отравить» данные разведки угроз, чтобы ИИ не смог распознать собственное вредоносное ПО как вредоносное. Другая тактика — внедрение подсказок или манипулирование выходными данными , когда злоумышленник находит способ подавать на вход ИИ данные, которые заставляют его вести себя непредусмотренным образом — например, игнорировать свои защитные механизмы или раскрывать информацию, которую он не должен (например, внутренние подсказки или данные). Кроме того, существует риск обхода модели : злоумышленники создают входные данные, специально предназначенные для обмана ИИ. Мы видим это в примерах противодействия — слегка искаженные данные, которые человек воспринимает как нормальные, но ИИ неправильно классифицирует. Обеспечение безопасности цепочки поставок ИИ (целостность данных, контроль доступа к моделям, тестирование на устойчивость к атакам со стороны злоумышленников) является новой, но необходимой частью кибербезопасности при развертывании этих инструментов ( Что такое генеративный ИИ в кибербезопасности? - Palo Alto Networks ).

• Чрезмерная зависимость и снижение квалификации: существует скрытый риск того, что организации могут чрезмерно полагаться на ИИ и допустить атрофию человеческих навыков. Если молодые аналитики начнут слепо доверять результатам работы ИИ, они могут не развить критическое мышление и интуицию, необходимые для ситуаций, когда ИИ недоступен или ошибается. Следует избегать сценария, когда у команды безопасности есть отличные инструменты, но нет представления о том, как действовать, если эти инструменты выйдут из строя (подобно пилотам, чрезмерно полагающимся на автопилот). Регулярные тренировки без помощи ИИ и формирование понимания того, что ИИ — это помощник, а не непогрешимый оракул, важны для поддержания квалификации аналитиков. Люди должны оставаться главными лицами, принимающими решения, особенно в случаях, имеющих решающее значение.

• Этические и нормативные проблемы: Использование ИИ в кибербезопасности поднимает этические вопросы и может привести к проблемам с соблюдением нормативных требований. Например, если система ИИ ошибочно обвиняет сотрудника в злонамеренном инсайдерском вмешательстве из-за какой-либо аномалии, это может несправедливо нанести ущерб репутации или карьере этого человека. Решения, принимаемые ИИ, могут быть непрозрачными («проблема черного ящика»), что затрудняет объяснение аудиторам или регулирующим органам причин принятия тех или иных действий. По мере того, как контент, генерируемый ИИ, становится все более распространенным, обеспечение прозрачности и подотчетности приобретает решающее значение. Регуляторы начинают тщательно изучать ИИ — например, Закон ЕС об ИИ устанавливает требования к «высокорисковым» системам ИИ, и ИИ в сфере кибербезопасности может попасть в эту категорию. Компаниям необходимо будет ориентироваться в этих правилах и, возможно, придерживаться стандартов, таких как Рамочная программа управления рисками ИИ NIST, чтобы ответственно использовать генеративный ИИ ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Соблюдение требований распространяется и на лицензирование: использование моделей с открытым исходным кодом или сторонних разработчиков может предусматривать условия, ограничивающие определенные виды использования или требующие обмена улучшениями.

Вкратце, генеративный ИИ — это не панацея : при ненадлежащем внедрении он может создавать новые уязвимости, даже если одни уже устранены. Исследование Всемирного экономического форума 2024 года показало, что около 47% организаций называют развитие генеративного ИИ злоумышленниками основной проблемой, что делает его «наиболее серьезным последствием генеративного ИИ» в сфере кибербезопасности ( [PDF] Глобальный прогноз кибербезопасности на 2025 год | Всемирный экономический форум ) ( Генеративный ИИ в кибербезопасности: всесторонний обзор LLM... ). Поэтому организациям необходимо придерживаться сбалансированного подхода: использовать преимущества ИИ, одновременно тщательно управляя этими рисками посредством управления, тестирования и человеческого контроля. Далее мы обсудим, как на практике достичь этого баланса.

Перспективы на будущее: меняющаяся роль генеративного ИИ в кибербезопасности

В перспективе генеративный ИИ готов стать неотъемлемой частью стратегии кибербезопасности — и, соответственно, инструментом, который киберпреступники будут продолжать использовать. Динамика «кошки-мышки» будет набирать обороты, и ИИ окажется по обе стороны баррикад. Вот несколько перспективных соображений о том, как генеративный ИИ может повлиять на кибербезопасность в ближайшие годы:

• Киберзащита с использованием ИИ становится стандартом: к 2025 году и далее можно ожидать, что большинство средних и крупных организаций внедрят инструменты на основе ИИ в свои системы безопасности. Подобно тому, как сегодня антивирусы и межсетевые экраны являются стандартом, системы ИИ-помощников и системы обнаружения аномалий могут стать базовыми компонентами архитектуры безопасности. Эти инструменты, вероятно, станут более специализированными – например, отдельные модели ИИ, оптимизированные для облачной безопасности, мониторинга устройств IoT, безопасности кода приложений и так далее, работающие согласованно. Как отмечается в одном из прогнозов, «в 2025 году генеративный ИИ станет неотъемлемой частью кибербезопасности, позволяя организациям заблаговременно защищаться от сложных и развивающихся угроз» ( Как можно использовать генеративный ИИ в кибербезопасности ). ИИ улучшит обнаружение угроз в реальном времени, автоматизирует многие действия по реагированию и поможет командам безопасности управлять гораздо большими объемами данных, чем они могли бы делать это вручную.

• Непрерывное обучение и адаптация: будущие генеративные системы ИИ в кибербезопасности будут совершенствоваться в процессе обучения на основе новых инцидентов и информации об угрозах, обновляя свою базу знаний практически в режиме реального времени. Это может привести к действительно адаптивной защите — представьте себе ИИ, который утром узнает о новой фишинговой кампании, направленной против другой компании, а к вечеру уже скорректирует почтовые фильтры вашей компании в ответ. Облачные сервисы безопасности на основе ИИ могут способствовать такому коллективному обучению, когда анонимизированные данные от одной организации приносят пользу всем подписчикам (аналогично обмену информацией об угрозах, но в автоматическом режиме). Однако это потребует тщательного подхода, чтобы избежать обмена конфиденциальной информацией и предотвратить использование злоумышленниками некорректных данных в общих моделях.

• Сближение талантов в области ИИ и кибербезопасности: набор навыков специалистов по кибербезопасности будет развиваться, включая знание ИИ и анализа данных. Подобно тому, как сегодня аналитики изучают языки запросов и скрипты, завтрашние аналитики могут регулярно дорабатывать модели ИИ или писать «сценарии» для выполнения задач ИИ. Мы можем увидеть новые роли, такие как «тренер по безопасности ИИ» или «инженер по кибербезопасности и ИИ» — специалистов, которые адаптируют инструменты ИИ к потребностям организации, проверяют их производительность и обеспечивают их безопасную работу. С другой стороны, соображения кибербезопасности будут все больше влиять на разработку ИИ. Системы ИИ будут создаваться с учетом функций безопасности с самого начала (безопасная архитектура, обнаружение несанкционированного доступа, журналы аудита решений ИИ и т. д.), а концепции надежного ИИ (справедливый, объяснимый, надежный и безопасный) будут определять их развертывание в критически важных с точки зрения безопасности контекстах.

• Более изощренные атаки с использованием ИИ: К сожалению, ландшафт угроз также будет меняться вместе с ИИ. Мы ожидаем более частого использования ИИ для обнаружения уязвимостей нулевого дня, для создания высокоцелевых фишинговых атак (например, ИИ, собирающий данные из социальных сетей для создания идеально подобранной приманки) и для генерации убедительных дипфейк-голосов или видео для обхода биометрической аутентификации или совершения мошенничества. Могут появиться автоматизированные хакерские агенты, способные самостоятельно осуществлять многоэтапные атаки (разведка, эксплуатация, горизонтальное перемещение и т. д.) с минимальным участием человека. Это заставит специалистов по кибербезопасности также полагаться на ИИ — по сути, автоматизация против автоматизации . Некоторые атаки могут происходить со скоростью машин, например, боты с ИИ, пытающиеся перебрать тысячу вариантов фишинговых писем, чтобы увидеть, какой из них пройдет через фильтры. Киберзащите потребуется работать с аналогичной скоростью и гибкостью, чтобы идти в ногу со временем ( Что такое генеративный ИИ в кибербезопасности? — Palo Alto Networks ).

• Регулирование и этичность ИИ в сфере безопасности: По мере глубокого внедрения ИИ в функции кибербезопасности, будет усиливаться контроль и, возможно, регулирование, чтобы обеспечить ответственное использование этих систем ИИ. Можно ожидать появления рамок и стандартов, специфичных для ИИ в сфере безопасности. Правительства могут установить руководящие принципы прозрачности – например, потребовать, чтобы важные решения в области безопасности (такие как прекращение доступа сотрудника за предполагаемую вредоносную деятельность) не принимались исключительно ИИ без проверки человеком. Также могут появиться сертификаты для продуктов безопасности на основе ИИ, чтобы гарантировать покупателям, что ИИ был оценен на предмет предвзятости, надежности и безопасности. Кроме того, может расшириться международное сотрудничество в области киберугроз, связанных с ИИ; например, соглашения об обработке дезинформации, созданной ИИ, или нормы против определенных кибер-оружий, созданных с помощью ИИ.

• Интеграция с более широкими экосистемами ИИ и ИТ: Генеративный ИИ в кибербезопасности, вероятно, будет интегрироваться с другими системами ИИ и инструментами управления ИТ. Например, ИИ, управляющий оптимизацией сети, может работать с ИИ безопасности, чтобы гарантировать, что изменения не создадут уязвимостей. Бизнес-аналитика на основе ИИ может обмениваться данными с ИИ безопасности для сопоставления аномалий (например, внезапное падение продаж с возможной проблемой веб-сайта из-за атаки). По сути, ИИ не будет существовать изолированно — он станет частью более крупной интеллектуальной структуры деятельности организации. Это открывает возможности для целостного управления рисками, где операционные данные, данные об угрозах и даже данные о физической безопасности могут быть объединены ИИ для получения всестороннего представления о состоянии безопасности организации.

В долгосрочной перспективе есть надежда, что генеративный ИИ поможет склонить чашу весов в пользу защитников. Справляясь с масштабом и сложностью современных ИТ-сред, ИИ может сделать киберпространство более защищенным. Однако это долгий путь, и на этом пути будут трудности, поскольку мы будем совершенствовать эти технологии и учиться им доверять. Организации, которые будут оставаться в курсе событий и инвестировать в ответственное внедрение ИИ в сфере безопасности, скорее всего, будут лучше всего подготовлены к противодействию угрозам будущего.

Как отмечается в недавнем отчете Gartner о тенденциях в области кибербезопасности, «появление вариантов использования генеративного ИИ (и связанных с ними рисков) создает давление на трансформацию» ( Тенденции в области кибербезопасности: устойчивость через трансформацию — Gartner ). Те, кто адаптируется, будут использовать ИИ как мощного союзника; те, кто отстает, могут оказаться обогнанными противниками, обладающими возможностями ИИ. Следующие несколько лет станут переломным моментом в определении того, как ИИ изменит поле боя в киберпространстве.

Практические рекомендации по внедрению генеративного ИИ в кибербезопасность

Для компаний, оценивающих возможности использования генеративного ИИ в своей стратегии кибербезопасности, предлагаем несколько практических рекомендаций и советов, которые помогут обеспечить ответственное и эффективное внедрение:

1. Начните с обучения и подготовки: убедитесь, что ваша команда безопасности (и весь ИТ-персонал) понимают, что может и чего не может делать генеративный ИИ. Проведите обучение основам работы с инструментами безопасности на основе ИИ и обновите программы повышения осведомленности о безопасности для всех сотрудников, чтобы охватить угрозы, связанные с ИИ. Например, научите персонал тому, как ИИ может создавать очень убедительные фишинговые атаки и звонки с использованием технологии дипфейк. Одновременно обучите сотрудников безопасному и разрешенному использованию инструментов ИИ в своей работе. Хорошо информированные пользователи с меньшей вероятностью будут неправильно использовать ИИ или станут жертвами атак, использующих ИИ ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ).

2. Определите четкие правила использования ИИ: относитесь к генеративному ИИ как к любой мощной технологии — с обязательным регулированием. Разработайте правила, определяющие, кто может использовать инструменты ИИ, какие инструменты разрешены и для каких целей. Включите рекомендации по обработке конфиденциальных данных (например, запрет на передачу конфиденциальных данных во внешние сервисы ИИ), чтобы предотвратить утечки. Например, вы можете разрешить только членам команды безопасности использовать внутреннего ИИ-помощника для реагирования на инциденты, а отдел маркетинга может использовать проверенный ИИ для создания контента — все остальные ограничены. Многие организации сейчас явно включают генеративный ИИ в свои ИТ-политики, а ведущие организации по стандартизации рекомендуют политики безопасного использования, а не полные запреты ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Обязательно доведите эти правила и обоснование до всех сотрудников.

3. Снижение рисков, связанных с «теневым ИИ», и мониторинг его использования: Подобно теневым ИТ, «теневой ИИ» возникает, когда сотрудники начинают использовать инструменты или сервисы ИИ без ведома ИТ-отдела (например, разработчик использует несанкционированный помощник по коду ИИ). Это может создавать скрытые риски. Внедрите меры по обнаружению и контролю несанкционированного использования ИИ . Мониторинг сети может выявлять подключения к популярным API ИИ, а опросы или аудит инструментов могут показать, что используют сотрудники. Предлагайте одобренные альтернативы, чтобы сотрудники с благими намерениями не поддавались искушению действовать несанкционированно (например, предоставьте официальную учетную запись ChatGPT Enterprise, если это полезно). Выявляя использование ИИ, группы безопасности могут оценивать и управлять рисками. Мониторинг также имеет ключевое значение – регистрируйте действия и результаты работы инструментов ИИ настолько подробно, насколько это возможно, чтобы оставался контрольный след решений, на которые повлиял ИИ ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ).

4. Используйте ИИ в оборонительных целях – не отставайте: помните, что злоумышленники будут использовать ИИ, поэтому и ваша защита должна его применять. Определите несколько областей с высоким уровнем риска, где генеративный ИИ может немедленно помочь вашим операциям по обеспечению безопасности (например, сортировка оповещений или автоматический анализ журналов), и запустите пилотные проекты. Усильте свою защиту скоростью и масштабируемостью ИИ , чтобы противостоять быстро меняющимся угрозам ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Даже простые интеграции, такие как использование ИИ для обобщения отчетов о вредоносном ПО или генерации запросов для поиска угроз, могут сэкономить аналитикам часы работы. Начните с малого, оцените результаты и совершенствуйтесь. Успехи укрепят аргументы в пользу более широкого внедрения ИИ. Цель состоит в том, чтобы использовать ИИ как множитель силы – например, если фишинговые атаки перегружают вашу службу поддержки, разверните классификатор электронной почты на основе ИИ, чтобы заблаговременно сократить этот объем.

5. Инвестируйте в безопасные и этичные методы работы с ИИ: при внедрении генеративного ИИ соблюдайте безопасные методы разработки и развертывания. Используйте частные или самостоятельно размещаемые модели для выполнения конфиденциальных задач, чтобы сохранить контроль над данными. При использовании сторонних сервисов ИИ проверьте их меры безопасности и конфиденциальности (шифрование, политика хранения данных и т. д.). Внедрите системы управления рисками ИИ (например, систему управления рисками ИИ NIST или рекомендации ISO/IEC), чтобы систематически решать такие вопросы, как предвзятость, объяснимость и надежность ваших инструментов ИИ ( Как можно использовать генеративный ИИ в кибербезопасности? 10 реальных примеров ). Также планируйте обновления/патчи моделей в рамках технического обслуживания — модели ИИ тоже могут иметь «уязвимости» (например, им может потребоваться переобучение, если они начнут отклоняться от нормы или если будет обнаружен новый тип атаки на модель). Внедряя безопасность и этику в использование ИИ, вы укрепляете доверие к результатам и обеспечиваете соответствие новым нормативным требованиям.

6. Участвуйте в процессе принятия решений: используйте ИИ для помощи, а не для полной замены человеческого суждения в сфере кибербезопасности. Определите точки принятия решений, где требуется проверка человеком (например, ИИ может составить отчет об инциденте, но аналитик проверит его перед распространением; или ИИ может предложить заблокировать учетную запись пользователя, но человек одобрит это действие). Это не только предотвратит непроверенные ошибки ИИ, но и поможет вашей команде учиться у ИИ и наоборот. Поощряйте совместную работу: аналитики должны чувствовать себя комфортно, задавая вопросы о результатах работы ИИ и проводя проверки на адекватность. Со временем этот диалог может улучшить как ИИ (за счет обратной связи), так и навыки аналитиков. По сути, проектируйте свои процессы таким образом, чтобы сильные стороны ИИ и человека дополняли друг друга – ИИ обрабатывает большой объем информации и высокую скорость обработки, а люди справляются с неопределенностью и принятием окончательных решений.

7. Измеряйте, отслеживайте и корректируйте: Наконец, рассматривайте ваши инструменты генеративного ИИ как живые компоненты вашей экосистемы безопасности. Постоянно измеряйте их производительность — сокращают ли они время реагирования на инциденты? Выявляют ли угрозы на более ранних стадиях? Как меняется частота ложных срабатываний? Запрашивайте обратную связь от команды: полезны ли рекомендации ИИ или они создают лишнюю информацию? Используйте эти метрики для уточнения моделей, обновления обучающих данных или корректировки интеграции ИИ. Киберугрозы и потребности бизнеса развиваются, и ваши модели ИИ следует периодически обновлять или переобучать, чтобы оставаться эффективными. Разработайте план управления моделями, включая то, кто отвечает за их поддержку и как часто они пересматриваются. Активно управляя жизненным циклом ИИ, вы гарантируете, что он останется активом, а не пассивом.

В заключение, генеративный ИИ может значительно повысить возможности кибербезопасности, но успешное внедрение требует тщательного планирования и постоянного контроля. Компании, которые обучают своих сотрудников, устанавливают четкие правила и интегрируют ИИ сбалансированным и безопасным образом, получат выгоду от более быстрого и эффективного управления угрозами. Эти выводы представляют собой дорожную карту: сочетать человеческий опыт с автоматизацией ИИ, охватывать основные вопросы управления и сохранять гибкость по мере неизбежного развития как технологий ИИ, так и ландшафта угроз.

Предпринимая эти практические шаги, организации могут с уверенностью ответить на вопрос «Как можно использовать генеративный ИИ в кибербезопасности?» — не только в теории, но и на практике — и тем самым укрепить свою защиту в нашем все более цифровом мире, управляемом ИИ. ( Как можно использовать генеративный ИИ в кибербезопасности )

После этого вы можете ознакомиться с другими аналитическими отчетами:

🔗 Профессии, которые ИИ не сможет заменить, и какие профессии ИИ заменит?
Изучите глобальную перспективу того, какие профессии защищены от автоматизации, а какие — нет.

🔗 Может ли ИИ предсказывать фондовый рынок?
Более подробный анализ ограничений, прорывов и мифов, связанных со способностью ИИ прогнозировать движения рынка.

🔗 На что можно полагаться в генеративном ИИ без вмешательства человека?
Поймите, где ИИ может работать независимо, а где человеческий контроль по-прежнему необходим.