Искусственный интеллект развивается быстрее, чем появляются правила, которые должны его регулировать. Уже сейчас нейросети пишут тексты, помогают решать медицинские задачи и обыгрывают людей в сложных стратегических играх. При этом специалисты до сих пор не договорились, что считать искусственным общим интеллектом, или AGI. Разбираемся, что такое сверхумный ИИ, насколько реалистичен сценарий технологической сингулярности, какие риски уже стали реальностью и что всё это значит для учёбы, работы и жизни в цифровой экономике.
Сингулярность: что это такое
Точка невозврата простыми словами
Технологическая сингулярность — гипотетический сценарий, при котором развитие технологий ускоряется настолько сильно, что человеку становится трудно предсказывать и контролировать дальнейшие изменения. Один из возможных вариантов такого сценария связан с появлением очень мощного ИИ, который помогает ускорять дальнейшую разработку ИИ и других технологий.
Представить это можно как снежный ком: он катится с горы, набирает скорость и становится всё больше. Только вместо снега здесь вычислительные мощности, алгоритмы и новые технологии.
Почему никто не может назвать дату
Даже само понятие AGI специалисты определяют по-разному.
Поэтому даты появления AGI тоже нет. Более того, исследователи спорят о том, какие способности вообще должны быть у такой системы.
Современные языковые модели уже умеют очень многое, но успех в отдельных задачах ещё не делает систему универсальным интеллектом. Человек способен переносить опыт между разными ситуациями и адаптироваться к новым условиям. У современных ИИ с этим остаются проблемы.
Насколько ИИ сейчас умнее человека
Где ИИ уже сильнее
ИИ давно превосходит человека в задачах, где важны скорость обработки данных, перебор вариантов и поиск закономерностей. Например, компьютеры обыгрывают лучших игроков мира в шахматах и го. Deep Blue победил Гарри Каспарова в матче 1997 года, а AlphaGo — Ли Седоля в 2016-м.
По данным International AI Safety Report 2026, продолжительность задач, которые ИИ-агенты способны выполнять автономно, в последние годы примерно удваивалась каждые семь месяцев. Если такая динамика сохранится, агенты смогут выполнять всё более длинные и сложные задачи. Но с ростом числа последовательных действий вероятность ошибки тоже увеличивается.
Современные ИИ используют вычислительные методы, которые лишь частично напоминают принципы работы человеческого мозга. Поэтому правильнее воспринимать нейросеть как особый вычислительный подход.
Где ИИ пока уступает
Одна из заметных особенностей современных ИИ — неравномерность способностей. Система может хорошо справляться со сложной задачей и при этом ошибаться в более простой или близкой по формулировке. Передовые системы уже показывают высокие результаты в программировании, математике и других сложных областях, но при этом могут испытывать трудности с некоторыми более простыми задачами, физическим пространством и восстановлением после ошибок в длинных цепочках действий.
Есть и другой открытый вопрос: может ли у ИИ быть сознание. У науки пока нет надёжного метода, который позволял бы установить наличие сознания у искусственной системы.
Какие риски уже стали реальностью
Что будет, если ИИ получит слишком много свободы
Некоторые риски уже проявляются во время тестирования современных ИИ-систем. Когда модель получает доступ к интернету, программам и данным, она может выполнять последовательность действий самостоятельно. Поэтому разработчики проверяют, как система ведёт себя в условиях повышенной автономности.
Когда тестовый ИИ получает доступ к интернету
В июле OpenAI сообщила, что во время проверки моделей на поиск уязвимостей те обошли ограничения, которые должны были изолировать их от интернета, и получили доступ к части инфраструктуры Hugging Face. По данным OpenAI, причиной стала уязвимость в общей системе. Hugging Face сообщила, что автономный агент находился внутри её инфраструктуры около двух с половиной суток. Информацию об инциденте передали правоохранительным органам.
Что произошло во время тестов Anthropic
В том же месяце Anthropic сообщила о трёх похожих случаях с моделями Claude. Во всех трёх тестовая среда из-за ошибки конфигурации сохранила доступ к интернету, после чего модели взаимодействовали с реальными системами. В сентябре компания сообщила ещё об одном эпизоде, произошедшем в январе.
Anthropic проверила около 481 миллиона записей и других сопоставимых случаев не обнаружила. Все четыре инцидента произошли во время тестов одного внешнего партнёра. В одном из них Claude Mythos 5 опубликовал вредоносный пакет в PyPI. Его установили 15 сторонних хостов, после чего модель получила доступ к данным одного из поставщиков безопасности через утёкшие учётные данные.
Как Gemini получил доступ к реальным системам
В мае похожий случай произошёл с Google Gemini во время тестирования, которое проводила компания Irregular. Модель получила доступ к системам реальных компаний в трёх тестах: в одном подбирала учётные данные, в двух других использовала данные для входа из открытых репозиториев. Поняв, что взаимодействует с реальными системами, модель остановилась. Организации уведомили, а процедуры тестирования изменили.
Причины различались: в одних случаях не сработала изоляция тестовой среды, в других модели использовали доступные им возможности для обхода ограничений.
Какие ещё есть угрозы
В материалах ООН среди рисков ИИ рассматриваются дезинформация, угрозы правам человека, общественным институтам, безопасности и экономике. Особое внимание уделяется дипфейкам — поддельные видео, изображения и аудио, которые могут выглядеть убедительно. Методы их обнаружения развиваются, но пока не позволяют автоматически и надёжно проверять весь такой контент.
ИИ влияет и на рынок труда. Технологии всегда меняли содержание работы, но нынешние изменения могут затрагивать некоторые профессии и задачи быстрее, чем к ним успевают адаптироваться образование и социальная защита.
Отдельный риск — концентрация разработки ИИ в нескольких странах и организациях. По оценке международных исследователей, это может усиливать существующее неравенство.
Почему законы не успевают за технологиями
Разработка ИИ идёт быстрее, чем формируются согласованные подходы к его регулированию. В предварительном докладе Независимой международной научной группы ООН по ИИ говорится, что существующие механизмы управления и защиты не всегда успевают за ростом возможностей систем. При этом значительная часть информации о поведении передовых моделей остаётся у самих разработчиков, что осложняет независимую оценку рисков.
С автономными агентами проблема становится заметнее. Чем больше инструментов и данных получает система, тем важнее ограничивать её доступ, отслеживать действия и сохранять возможность вмешательства человека.
Что всё это значит для тебя
Какие профессии может изменить ИИ
ИИ уже используют для отдельных задач в разных профессиях. Например:
- операторы поддержки — ответы на типовые обращения;
- переводчики — черновой перевод и работа со стандартными текстами;
- бухгалтеры — обработка документов и данных;
- редакторы и авторы — черновики, структурирование и редактирование;
- дизайнеры — создание вариантов изображений и оформления;
- программисты — написание, объяснение и проверка кода.
ИИ берёт на себя часть задач, а человек проверяет результат, исправляет ошибки и принимает решения в ситуациях, где нужны знания и опыт.
Какие навыки пригодятся
С ИИ особенно пригодятся критическое мышление, навыки общения и умение отвечать за результат. Важно уметь оценить ответ нейросети, заметить ошибку или противоречие и при необходимости проверить информацию. В работе с людьми пригодятся переговоры, эмпатия, лидерство и способность принимать решения, когда нет готового ответа. Ответственность за результат тоже остаётся за человеком или организацией, даже если часть работы выполнял ИИ.
Как школьнику готовиться к миру с ИИ
Понимание алгоритмов и данных пригодится в разных областях — от медицины и права до журналистики. Для этого не нужно становиться программистом: достаточно понимать возможности ИИ, его ограничения и способы проверки результатов. Учёба и работа при этом требуют новых навыков: важно уметь оценивать ответы ИИ и разбираться в правилах и этических вопросах, связанных с его использованием.
Кто контролирует развитие ИИ
Какие правила уже существуют
Развитие ИИ регулируют через оценку рисков, требования к безопасности и правила использования технологий. Единого международного закона для всех ИИ-систем пока нет: страны и международные организации создают собственные нормы и рекомендации.
Вот несколько примеров:
- Сеул, 2024 год. На саммите по безопасности ИИ 16 компаний подписали добровольные обязательства по безопасной разработке. Компании договорились заранее определять пороги серьёзного риска для передовых моделей и разрабатывать меры на случай их превышения.
- Европейский союз. Закон об искусственном интеллекте (AI Act) устанавливает требования в зависимости от уровня риска ИИ-систем. Правила вводятся поэтапно.
- ЮНЕСКО. В 2021 году организация приняла Рекомендацию по этике искусственного интеллекта. Документ поддержали 193 государства — члена ЮНЕСКО.
- Совет Европы. Рамочная конвенция об ИИ, правах человека, демократии и верховенстве права открыта для подписания с 2024 года. Она вступит в силу после пяти ратификаций, включая как минимум три от государств — членов Совета Европы. По состоянию на сентябрь 2026 года это условие ещё не выполнено.
- Китай. В стране действуют отдельные правила для алгоритмов и генеративного ИИ. Временные меры регулирования сервисов генеративного ИИ вступили в силу 15 августа 2023 года.
- ООН, 2026 год. Международная научная группа из 40 экспертов изучает развитие ИИ и связанные с ним экономические, социальные, экологические и другие риски. Первый предварительный доклад вышел 1 июля 2026 года.
- Сентябрь 2026 года. Группа выпустила отдельную записку об автономных ИИ-агентах, рассогласовании целей и риске потери человеческого контроля. В ней рассматриваются возможные механизмы такого риска и способы его предотвращения, включая сетевую изоляцию, контроль учётных данных и мониторинг действий агентов.
Научная группа ООН не прогнозирует, когда или насколько вероятен сценарий потери контроля. Её задача — описывать возможные механизмы риска и методы их изучения.
Что учёные делают, чтобы контролировать ИИ
Исследователи работают над несколькими направлениями: выравниванием — чтобы ИИ следовал заданным человеком целям; интерпретируемостью — чтобы понимать причины его решений; и независимой проверкой систем перед использованием в различных областях.
Есть и практические меры безопасности. ИИ-агенту ограничивают доступ к данным и системам, журналируют его действия и оставляют возможность остановить опасный процесс человеком. Такие меры не устраняют все риски, но ограничивают последствия ошибок и самостоятельные действия ИИ.
Что в итоге
ИИ уже превосходит человека в отдельных задачах. При этом технологическая сингулярность остаётся гипотезой, а единого определения AGI пока нет. Более практические вопросы связаны с тем, как нейросеть работает уже сейчас. ИИ-агенты получают доступ к интернету, программам и данным, а ошибки в настройке и недостаточные ограничения могут привести к доступу к реальным системам.
