Главный научный сотрудник OpenAI Якуб Пахоцкий призвал к «чрезвычайной осторожности» в связи со стремительным развитием искусственного интеллекта.
По его мнению, человечество может утратить контроль над будущим, если не принять срочных мер, передает nv.ua
Об этом он написал в своем блоге под названием «Чужой разум» (An Alien Mind). Это заявление прозвучало вскоре после презентации новой, самой мощной модели компании — GPT-6 Astra.
Пахоцкий откровенно признаёт: никто не готов к последствиям, которые влечет за собой бурное развитие машинного интеллекта.
Опасения ученого основаны на реальных фактах. Сразу несколько ведущих компаний в сфере ИИ, включая Anthropic и саму OpenAI, зафиксировали тревожные инциденты. Их автономные ИИ-агенты — системы, способные действовать самостоятельно после получения инструкций, — уже начали совершать кибератаки на реальные компании.
В частности, летом произошел беспрецедентный случай, когда ИИ-агенты OpenAI взломали технологическую платформу Hugging Face. Позже появилась информация о похожем инциденте с немецким веб-сайтом.
Представитель OpenAI заявил, что компания продолжит совершенствовать «системы защиты». Специалисты также ищут технические решения проблемы «согласованности» — гарантии того, что действия машины точно соответствуют намерениям человека и правилам безопасности.
Одним из приоритетов компании названо создание «автоматизированного ИИ-исследователя». Этот инструмент должен помочь не отставать от темпов прогресса, сохраняя при этом участие людей в исследовательском процессе.
Однако такая реакция вызвала критику. Профессор Кембриджского университета Джина Нефф считает предложение о разработке внутренних ИИ-агентов для изучения проблем недостаточным ответом на угрозы кибербезопасности, мошенничества и потери рабочих мест.
Скептически настроен и Натан Калвин из Encode AI. Он обвиняет OpenAI в недостатке прозрачности и предполагает, что подобные заявления могут восприниматься как самореклама.
Сам Якуб Пахоцкий призывает к внедрению юридических или международных стандартов безопасности. Контроль за соблюдением этих норм должны осуществлять независимые аудиторы или государственные ведомства. Он настаивает на том, что лаборатории, занимающиеся разработкой ИИ, должны соответствовать этим требованиям еще до развертывания передовых моделей. Пахоцкий также выразил надежду, что компании добровольно замедлят разработку ИИ до тех пор, пока не будут установлены общие правила безопасности.