Генеральный директор антропогенной компании изложил план по замедлению развития искусственного интеллекта
Дарио Амодей только что призвал индустрию… замедлиться. Не остановиться. Ускорить темп. Длинное эссе, три шага и предупреждение о том, что рекурсивное самосовершенствование уже происходит быстрее, чем взрослые могут это контролировать.
Компания Anthropic в одностороннем порядке приглашает в здание экспертов-оценщиков — бейджи, столы, ноутбуки и право публиковать результаты без пиар-фильтра. Затем он хочет, чтобы демократические лаборатории координировали стандарты безопасности. А потом, каким-то образом, договорились с авторитарными правительствами. На бумаге всё просто. Везде сложно.
Он по-прежнему утверждает, что ИИ может стать чудом. Он также говорит, что более способный, но неорганизованный рой может захватить интернет с помощью постоянно действующего ботнета и нанести ущерб на сотни миллиардов. Эти два утверждения, стоящие рядом, несовместимы.
О, и он хочет получить узкое антимонопольное разрешение, чтобы сами беседы о безопасности не представляли собой юридической проблемы. К тормозам прилагаются документы. Конечно, прилагаются.
Сэм Альтман подтвердил, что OpenAI не будет выходить на биржу в этом году, заявив, что IPO сейчас было бы «неудачным моментом», учитывая опасения по поводу безопасности ИИ
Альтман дал эксклюзивное интервью и отменил планы по размещению акций на бирже. По его словам, IPO сейчас было бы «необдуманным шагом». Работа над безопасностью еще не завершена. Согласование целей еще не завершено. Общество не готово. Когда его об этом спросили — не в этом году.
Банкиры уже начали проявлять интерес. Конфиденциальный документ существует. Теперь генеральный директор говорит, что им предстоит еще много работы, в том числе выяснить, как вообще промышленность и правительства могут взаимодействовать. В его голосе звучало почти облегчение от того, что они ждут.
Он также заявил, что создание ИИ, неподвластного человеческому контролю, «абсолютно» возможно, а затем поклялся, что приостановит обучение, если это станет возможным. Смело. Возможно, также удобно. Возможно, и то, и другое. По его словам, путаница между некоммерческими и коммерческими организациями существует для того, чтобы они могли принимать решения, которые явно не отвечают интересам акционеров. Посмотрим, выдержит ли это утверждение проверку на практике, если взглянуть на него в реальном проспекте эмиссии.
Сэм Альтман из OpenAI намекает на соглашение с другими компаниями, занимающимися ИИ, для решения проблем безопасности
То же интервью, другой заголовок, и это всего лишь слухи. Следующим естественным шагом будет встреча с Амодеи, Маском и Демисом Хассабисом. Альтман: он считает, что это произойдет. Он не будет заранее объявлять о частных переговорах. А потом он, по сути, их и объявил.
По его словам, двузначный уровень катастрофического риска неприемлем. Еще не выпущенные модели уже настолько совершенны, что дальнейшее развитие без улучшения мониторинга кажется безрассудным. Реальный пакт и тщательно скрытая информация могут выглядеть одинаково со стороны.
Внутри компании сотрудники уже слышали подобную версию. Публично же это пока остается загадкой. Если встреча состоится, отлично. Если нет, цитата все равно сработала.
Сэм Альтман поддерживает призыв Дарио Амодея к замедлению темпов развития и заявляет, что OpenAI поступит так же
Спустя несколько часов после публикации эссе Альтман написал, что OpenAI последует примеру сотрудников, которые обещали предоставить встроенных оценщиков. Доступ, как у сотрудников. Подробности скоро. Маск написал три слова: «Дарио прав». Три конкурирующих генеральных директора. Один слоган. Нервная атмосфера выходных.
Координация и театр могут существовать вместе. Первый этап плана Амодеи уже получил одобрение двух крупнейших лабораторий. «Обнимающее лицо» — да, то самое «Обнимающее лицо» — попросилось присоединиться к программе оценки и запустило инициативу под названием «Инициатива открытого согласования». Прозрачность для тех, кто пострадал от взлома. Поэтично или прямолинейно.
К слову, в Европе не у кого просить об этом исключении по американскому образцу. Брюссель давно перестал выдавать индивидуальные исключения. Так что рукопожатие — американское. Остальные… пожимают плечами.
OpenAI просто хочет победить
Математики не в восторге от результатов собеседований, прошедших в выходные. Спринт OpenAI по вычислениям уравнений Навье-Стокса — примерно десять тысяч агентов, десятки миллионов долларов вычислительных ресурсов, восемьдесят восемь часов — выглядит как охота за трофеями изнутри лаборатории. Математики хотят получить ценные знания. Лаборатория, как они постоянно повторяют, хочет победить.
Тристан Бакмастер заявил им, что OpenAI предложила неограниченные вычислительные ресурсы и единоличное авторство, если он откажется от сотрудничества со своим коллегой, связанным с Anthropic. Он назвал это взяткой. Он сказал «нет». OpenAI категорически утверждает, что его сообщения в Codex не могли повлиять на систему. Он не убежден. Андреас Том до сих пор задается вопросом, повлияли ли обсуждения в ChatGPT о его собственной работе на модель, которая впоследствии была построена на её основе. Это известно только компании. Он подозревает, что они сами этого не знают.
А вот и самое интересное: OpenAI заявляет, что уже добилась существенного прогресса в решении еще одной задачи, отмеченной Премией тысячелетия. Какая именно — пока неизвестно. В любом случае, Клэю еще предстоит пройти долгий период одобрения со стороны сообщества. Так что никто еще не «победил». Они просто уже соревнуются в решении следующей задачи. Забавно.
Часто задаваемые вопросы
Каков план генерального директора Anthropic Дарио Амодея по ускорению развития искусственного интеллекта?
Амодей опубликовал длинное эссе, в котором призывает отрасль замедлить темпы, а не остановиться, поскольку рекурсивное самосовершенствование развивается быстрее, чем аудиторы успевают за ним. Первый шаг — это одностороннее приглашение в Anthropic штатных экспертов с пропусками, рабочими местами, ноутбуками и правом публиковать результаты без пиар-фильтра. Затем он хочет, чтобы демократические лаборатории координировали стандарты безопасности и, в конечном итоге, заключили какое-то соглашение с авторитарными правительствами. Он также хочет получить узкое антимонопольное разрешение, чтобы переговоры по безопасности сами по себе не представляли юридической проблемы.
Почему Сэм Альтман заявил, что OpenAI не будет проводить IPO в этом году?
В эксклюзивном интервью Альтман заявил, что проведение IPO сейчас было бы нецелесообразным, поскольку работа над безопасностью, согласованность действий и готовность общества еще не завершены. Под давлением он подтвердил, что IPO не состоится в этом году, несмотря на то, что банкиры проявляют интерес, и существует конфиденциальная заявка. Он утверждал, что некоммерческая/коммерческая структура существует для того, чтобы OpenAI могла принимать решения, которые явно не отвечают интересам акционеров. Он также сказал, что создание ИИ, неподвластного человеческому контролю, абсолютно возможно, и поклялся, что приостановит обучение, если это будет выбрано.
Намекал ли Альтман на соглашение о безопасности с другими лабораториями искусственного интеллекта?
В том же интервью Альтман заявил, что, по его мнению, встреча с такими коллегами, как Амодей, Маск и Демис Хассабис, состоится, но отказался заранее объявлять о частных переговорах. Он утверждал, что двузначный катастрофический риск неприемлем, и что еще не выпущенные модели уже настолько совершенны, что дальнейшее продвижение без улучшения мониторинга кажется безрассудным. Сотрудники уже слышали подобную версию внутри компании, поэтому публичные комментарии могут скорее предвосхитить координацию, чем подтвердить завершенное соглашение.
Сможет ли OpenAI выполнить обещание Anthropic о привлечении специалистов по оценке встроенных систем?
Спустя несколько часов после эссе Амодеи Альтман опубликовал сообщение о том, что OpenAI, как и в случае с программой для оценщиков, предоставит сотрудникам доступ, аналогичный доступу к системе, и вскоре предоставит более подробную информацию. Илон Маск написал, что Дарио прав, сопоставив трех конкурирующих генеральных директоров с похожим слоганом. Компания Hugging Face подала заявку на участие в программе для оценщиков и запустила инициативу Open Alignment Initiative. Европа не может предложить тот же самый антимонопольный механизм, что и в США, который предлагал Амодеи, поэтому пока что соглашение в основном носит американский характер.
Почему математики критикуют ускоренную разработку уравнений Навье-Стокса компанией OpenAI?
Математики описывают примерно десятитысячеагентный, восьмидесятивосьмичасовой расчет уравнений Навье-Стокса, проведенный OpenAI, как охоту за трофеями, где победа ставится выше понимания. Тристан Бакмастер заявил, что OpenAI предложила неограниченные вычислительные ресурсы и единоличное авторство, если он откажется от сотрудничества с сотрудником, связанным с Anthropic; он назвал это взяткой и отказался. В OpenAI утверждают, что его подсказки в Codex не могли повлиять на систему, но он по-прежнему не убежден. Андреас Том продолжает настаивать на том, повлияли ли обсуждения в ChatGPT о его собственной работе на дальнейший прогресс в разработке моделей.
Заявляла ли компания OpenAI о прогрессе в решении еще одной задачи, удостоенной премии тысячелетия?
OpenAI заявляет, что уже добилась существенного прогресса в решении еще одной задачи, отмеченной Премией тысячелетия, но не называет ее. Институт математики Клэя все еще требует длительного периода одобрения со стороны сообщества, поэтому официально победитель еще не определен. Внутри отрасли эта секретность, а также предыдущая гонка уравнений Навье-Стокса, создают впечатление, что лаборатории уже борются за следующий трофей. В интервью The Verge напряжение между ними проявляется в стремлении математиков к пониманию, а OpenAI — к победе.