В 1837 году кузнец из Гранд-Детура, штат Иллинойс, наткнулся на мельнице на сломанную стальную пыльцу; он взял лезвие домой — к тому времени стали было мало — и превратил его в плуг, идеально подходящий для плотной почвы этого региона. Он начал массовое производство этого инструмента и вскоре имя John Deere стало синонимом сельскохозяйственной продукции. Сегодня компания все чаще производит автономные тракторы и комбайны, беспилотные машины, собирающие и обрабатывающие данные для оптимизации урожайности. "Сельскохозяйственные работы не просто приходят", - увлекается Мустафа Сулейман. - "Они здесь".
Господин Сулейман знает кое-что о новых технологиях. В 2010 году вместе с Демисом Хассабисом и Шейном Леггом он основал DeepMind с нескромной целью: "решить проблему интеллекта" - то есть воспроизвести человеческое познание с помощью компьютеров - и "сделать мир лучше". Компания DeepMind, приобретенная Google в 2014 году за разработку типа искусственного интеллекта, называемого глубокой учебой, добилась ряда потрясающих достижений. Одна из ее программ, AlphaFold, смогла предусмотреть трехмерную структуру белков на основе их аминокислотной последовательности, что стало научным прорывом. Неудивительно, что Сулейман глубоко верит в возможности искусственного интеллекта. Но кое-что в будущем, которое он так хорошо представляет себе после многих часов размышлений и работы над его созданием, шокировало его. В книге The Coming Wave он надеется и нас огорчить.
Хорошая новость, говорит нам Сулейман, заключается в том, что ИИ — вместе с синтетической биологией, технологией, направленной на создание организмов — готов "открыть новый рассвет для человечества". Он предполагает вселенную благоприятных перспектив. По его словам, ИИ находится на правильном пути, чтобы "помогать управлять нашим бизнесом, лечить наши недуги и вести наши битвы". "Кажется, не существует очевидного верхнего предела возможного".
Но он напуган тем, что распространение этих технологий позволит "множеству злоумышленников спровоцировать разрушение, нестабильность и даже катастрофу невероятного масштаба". Его страх вызван убеждением, что технологии имеют тенденцию становиться "дешевле и проще в использовании, и в конечном итоге они распространяются повсюду". (Один пример - автомобиль, другой - смартфон.) Новые технологии, по словам г-на Сулеймана, являются "усилителями хрупкости", потенциально давая "рычаг с глобальными последствиями" в чужие руки. Он пишет, что дипфейки – манипулятивная имитация изображения или голоса – уже быстро распространяются, отравляя местные выборы в Индии и создавая возможности для банковского мошенничества в Гонконге. Вскоре, опасается он, возможность синтезировать биологическое оружие или использовать вооруженные дроны будет широко распространена — и это лишь некоторые из других тревожных сценариев.
Кроме неукротимой природы самой технологии, существует сложность выяснения того, как лучше всего модулировать наше стремление к ее расширению и использованию. Любому подобному усилию противодействует объединение мощных сил: например, страны, яростно конкурирующие за стратегическое преимущество или отчаянно решающие общие проблемы, такие как снабжение продовольствием, изменение климата и болезни. Сулейман допускает, что технология сама по себе не может быть ответом на подобные опасения, но это по-прежнему самый мощный инструмент, который у нас есть. Сдерживание осложняется также стремлением к прибыли, особенно учитывая, что приближающаяся "волна" технологий представляет собой "наибольшую экономическую награду в истории".
Но технологии трудно сдержать по другой причине: наша собственная нестабильная смесь любопытства и эго, наша запрограммированная неспособность "оставлять плоды на дереве", как выразился Сулейман. Он признает в своих коллегах (и в себе) свойство, высказанное Дж. Робертом Оппенгеймером, директором по исследованиям атомной бомбы в Лос-Аламосе, штат Нью-Мексико: “Когда вы видите что-то технически хорошее, вы идете вперед и делаете это, и вы Будете спорить о том, что с этим делать, только после того, как добьетесь технического успеха”.
Что же делать? Для начала, предлагает Сулейман, мы должны преодолеть наши первые рефлексивные реакции: отрицать наличие проблемы или немедленно обратиться к регулированию. По его словам, масштаб проблемы может вызвать реакцию, которую он называет "ловушкой отвращения к пессимизму": охваченные страхом, мы смотрим в другую сторону. Или мы можем потребовать законодательных исправлений. Однако для разработки эффективной регулировки требуется много времени, а технология просто развивается слишком быстро.
Наша цель, утверждает Сулейман, должна состоять не столько в том, чтобы остановить появление новых технологий, сколько в том, чтобы "вылепить" их и обеспечить их адаптацию к нашим потребностям. Он предлагает сделать их объектом надзора и обеспечить соблюдение правил, включая аудит и внешнюю проверку, и выступает за «более лицензированную среду», в которой самые сложные системы искусственного интеллекта будут производиться «только ответственными сертифицированными разработчиками». Он выступает за давление на критически важные точки, например, ограничение экспорта передовых компьютерных чипов или ограничение передачи данных оптоволоконными кабелями большого объема, чтобы сдержать скорость развития. Однако он признает, что даже если его длинный список пожеланий будет принят, этого может оказаться недостаточно.
Футурист Рой Амара однажды сказал, что "мы склонны переоценивать эффект технологии в краткосрочной перспективе и недооценивать эффект в долгосрочной перспективе", и точка зрения Сулеймана о том, что мы балансируем на грани нирваны и гибели, кажется, подтверждает эту тенденцию. ИИ и синтетическая биология, возможно, развиваются быстрее, чем многие из нас думают, но не так быстро, как они думают. В частности, описывая прогресс в биологии, он склонен прыгать от ранних успехов (например, создание синтетического бактериального генома) до того, что он считает неизбежным конечным состоянием: скажем, "мира дешевых персонализированных лекарств" или продуктов питания, производимых по требованию. На самом деле это будущее гораздо дальше, чем он себе представляет.
Но даже если время г-на Сулеймана ошибочно, его видение будущего кажется правильным: искусственный интеллект и синтетическая биология создают возможности для преобразований и экзистенциальные опасности. Как он жалобно утверждает, сейчас самое время считаться с обеими возможностями. Как мы можем управлять технологией таким образом, чтобы мы могли извлечь выгоду из ее необычных перспектив, не разрушаясь при этом ее исключительной мощью?
