21 декабря 2025

Обстоятельная статья, которая указывает, что человечество, обсуждая вопросы безопасности и контроля AGI, когда и если таковой возникнет, упускает возможность появления “лоскутного” или распределенного AGI, который будет образован роем агентов, по отдельности до уровня AGI не дотягивающих, но вместе демонстрирующих разумное поведение.

Этакий набор агентов Смитов вместо единой Матрицы.

Правда, предлагаемые механизмы безопасности предусматривают в основном попытки очень человеческого регулирования, уязвимого во многих точках — централизация создает единые точки отказа, создание “проницаемой песочницы” предполагает какую-то фильтрацию, тоже уязвимую к атакам или социальной инженерии. При этом человеческий контроль явно будет не успевать или тормозить работу легальных систем, а контроль с помощью другого AI выглядит абсурдным.

Но давайте теперь бояться распределенных агентов, конечно.

Веерные отключения электричества в Сан-Франциско 20 декабря парализовали около трети города — 125 тысяч домов и предприятий по данным PG&E. Неожиданным последствием стал транспортный коллапс, вызванный беспилотниками Waymo, которые замерли на перекрёстках с неработающими светофорами.

В соцсетях выкладывают десятки видео — по три, пять машин на одном углу, мигающие красными огнями под дождём. Обычные водители спокойно объезжали их, следуя базовому правилу проезда нерегулируемого перекрёстка. Беспилотники оказались неспособными с этим справиться.

Вероятно, проблема была вызвана не только отсутствием сигналов, но и нестабильной сотовой связью. Waymo сочла за лучшее прекратить работу сервиса, видимо, не имея возможности надежно контролировать автомобили.

Одесситы, прожившие с прошлой пятницы от пяти до семи дней в условиях полного отсутствия энергоснабжения и с полным сигналом LTE примерно на уровне 30-40 мБит/с в пригородах, воздерживаются от комментариев.