Крёстный отец нейросетей призвал запретить сверхмощный ИИ. А голос родственника в трубке уже сегодня может быть подделкой

Джеффри Хинтон — нобелевский лауреат, которого называют одним из «крёстных отцов» современного искусственного интеллекта, — призвал власти запретить разработчикам создавать сверхмощные системы ИИ. По его словам, утрата контроля над интеллектом, превосходящим человеческий, может привести к катастрофическим последствиям вплоть до исчезновения человечества.

Хинтон говорит, что у нынешних систем он замечает признаки самопознания, а консенсуса, который обеспечивал бы достаточный уровень безопасности, в отрасли до сих пор нет.

Заявление разошлось по всем лентам за несколько часов. Стоит держать в голове две вещи сразу: Хинтон действительно один из создателей той самой технологии и ушёл из индустрии, чтобы говорить о рисках свободно, — и при этом далеко не все его коллеги согласны, что сценарий с вымиранием заслуживает первого места в списке опасностей.

О чём спорят исследователи на самом деле

Спор идёт не о том, опасен ли ИИ, а о том, какая именно опасность требует внимания сейчас. Одна сторона говорит о дальнем горизонте: гипотетический сверхинтеллект, потеря контроля, экзистенциальный риск. Другая считает, что разговоры о конце света удобно отвлекают от вреда, который технология наносит уже сегодня.

К этому «уже сегодня» относятся вещи, с которыми обычный человек сталкивается лично:

• синтез голоса — минуты записи хватает, чтобы по телефону с вами говорил «родственник»;
• видеодипфейки в мессенджерах, где собеседник выглядит и двигается как знакомый вам человек;
• поддельные объявления о работе и инвестициях, сгенерированные тысячами вариантов;
• автоматические решения об отказах — в кредите, в аренде, в трудоустройстве, — которые никто не объясняет.

Ни один из этих рисков не требует сверхинтеллекта. Всё перечисленное работает на технологиях, которые доступны любому желающему прямо сейчас.

Что из этого следует лично для вас

Практический вывод из громкого заявления довольно приземлённый: пока регуляторы спорят о запретах, защищаться приходится бытовыми привычками.

• Договоритесь с близкими о кодовом слове для срочных просьб о деньгах. Голос по телефону больше не доказательство личности.
• Правило обратного звонка: услышали просьбу перевести деньги — положите трубку и наберите сами по сохранённому номеру.
• Не выкладывайте в открытый доступ длинные голосовые записи и видео, где вы говорите на камеру. Это материал для обучения модели.
• Просьба, которая одновременно срочная, секретная и денежная, — это схема, независимо от того, чьим голосом она озвучена.

Хорошая новость в том, что все эти схемы держатся на спешке. Любая пауза в разговоре ломает их надёжнее любого технического средства.

И трезвое замечание про сами прогнозы. Хинтон говорит о рисках публично с 2023 года, и его позиция за это время не изменилась — изменилась громкость. Считать такое заявление предсказанием даты не стоит: это аргумент в споре о том, как регулировать отрасль, а не расписание событий.