OpenAI создала специальную "группу готовности", которая будет заниматься исследованием и управлением "катастрофическими" рисками, связанными с искусственным интеллектом. Группу возглавит директор Центра развертывания машинного обучения Массачусетского технологического института (MIT) Александр Мадри, который присоединился к компании OpenAI в мае.
Основные задачи новой команды предполагают мониторинг, прогнозирование и защиту от потенциальных угроз, связанных с развитием искусственного интеллекта. Эти угрозы охватывают способность ИИ убеждать и обманывать людей, создание вредоносного кода и другие потенциальные опасности.
Кроме того, OpenAI проводит конкурс, в рамках которого собирает идеи и исследования по управлению рисками. Авторы лучших предложений получат приз в $25,000 и возможность присоединиться к группе готовности.
OpenAI призывает ученых и исследователей вместе с компанией разработать политику развития с учетом рисков, подробно описывающих подход к оценке и мониторингу моделей искусственного интеллекта, а также шаги по снижению рисков и структуру управления в этом процессе.
Сэм Альтман, генеральный директор OpenAI, выразил обеспокоенность по поводу потенциальных рисков, связанных с развитием искусственного интеллекта, и отметил важность обеспечения безопасности высокопроизводительных систем ИИ.
