БлоGнот

Скотт Александер выложил эссе «King Ludd», где пробует переопределить понятие луддита — по его версии, настоящий луддит не противник техники, а изобретатель, испугавшийся собственного творения. Эссе связывает две фигуры: Неда Лудда, мифического вождя луддитов 1810-х, и Ноденса — романо-британского бога, известного лишь по надписям в двух местах у валлийско-английской границы, где ему поклонялись между 100 и 400 годами. Через ирландского Нуаду Серебряной Руки, валлийского Ллуда и Короля Луда из Гальфрида Монмутского логика изложения доходит до Толкина (Келебримбор, «Серебряная рука» на синдарине, и табличка с проклятием вору кольца из храма Ноденса, которую Толкин изучал в 1929 году), Лавкрафта, Блейка, Люка Скайуокера и Питера Петтигрю. Немного странно, что серебряная рука, которую Корвин в “Хрониках Амбера” приносит из Тир-на-Ног (потустороннего мира в кельтской мифологии), в тексте не упомянута. Общий сюжет у всех один: мастер выпускает в мир опасную технологию и остаток жизни пытается её обуздать.

А, ну да, есть еще сюжет “Сильмаррилиона”, когда драгоценные сильмариллы похищаются Морготом, который уносит их в Средиземье, и их создатель Феанор клянется отомстить, творит немало зла и в итоге погибает в попытке вернуть похищенное.

В общем, мне кажется, прекрасный взгляд на разворачивающийся сюжет вокруг контроля за развитием AI. Могу еще добавить мою любимую аналогию — особенно актуальную в ситуации, когда агентам сообщали, что доступа в интернет нет, а он был и агенты не верили, — это фрагмент из “Полдень. XXII век” Стругацких, когда в очень мощную машину заложили снимок мозга молодого барана и “еще некоторые сведения о баранах”, стоявшего между двух охапок сена, и предложили машине обосновать выбор, сделанный таким “буридановым ослом”. Машина думала два года, потом стала строить диковинные модели — и в итоге директор центра с удивлением обнаружил, что программисты из своих побуждений сообщили машине, что у барана 7 ног и нет мозжечка. Бедная машина в попытках решить задачу нагенерировала уйму материала для теории ошибок, конечно.

И, конечно, стоит помнить, что человек — это просто первый биологический вид, который способен догадаться, что он не является венцом развития природы. Не факт, что последний, между прочим.

Сегодня в Telegram-канале:

Anthropic сообщила узкому кругу акционеров, что закончит текущий квартал со скорректированной операционной прибылью — вт…

Всю прошлую неделю мир AI сотрясался от дискуссий вокруг безопасности AI — причем уже не гипотетической, со страшилками думеров вроде Юдковского “Нас всех убьет AI”, а на вполне практических примерах типа взлома Hugging Face агентами OpenAI, атаки ими же на RubyGems, аналогичных атак агентами Anthropic, причем картину оттеняли высказывания специалистов из компаний, начиная с громко уволившегося из Anthropic Джекоба Коксона.

В итоге Дарио Амодеи, основатель и глава Anthropic опубликовал очередное эссе “We Must Pace the Frontier” — уже из названия понятен призыв текста, в котором изложен план такого замедления. Дарио предлагает встраивать независимых экспертов-оценщиков в компании для проверки безопасности (Anthropic в одностороннем порядке уже выдает METR постоянный доступ сотрудников с рабочими местами в офисе, пропусками и правом публиковать выводы без согласования), координировать стандарты компаний демократических стран и глобально координировать усилия на уровне правительств.

Самое удивительное, что с ним согласились все лидеры AI — Сэм Альтман согласился и пообещал, что OpenAI также допустит независимых оценщиков, Илон Маск поддержал Дарио, Демис Хассабис согласился, правда, указал, что у DeepMind есть предложение по формированию единого отраслевого органа для оценки, и Сатья Наделла приветствовал “осознанное замедление”.

С замедлением есть одна проблема, и Дарио ее уже назвал — если лидеры гонки в виде американских Frontier-компаний замедлятся, то неизвестно, сделает ли это догоняющая группа в виде китайских компаний, которые уже сокращали отставание. Си Цзиньпинь на саммите BRICS призвал к зоне открытого AI, пообещав поддержку Китая в разработке LLM странам Глобального Юга.

Многие считают, что размах дискуссий вокруг этой проблемы — это такой маркетинг Anthropic для своего IPO. Размещение компании действительно обещает быть рекордным и позиционирование как наиболее ответственного разработчика AI читается ясно. Что, впрочем, не отменяет проблемы — даже если у вас паранойя, это не означает, что за вами не следят.

Я склонен добавить в число факторов общую культуру OpenAI — судя по разным эпизодам, ощущение ответственности у сотрудников компании вполне соответствует стереотипу ученого, то есть практически отсутствует в духе “Сначала взорвем всё, интересно же, что получится”.

Добавляется и политический аспект — громкая тема накануне и без того проблемных выборов в США и внешнеполитических событий охотно подхватывается политиками со всех сторон.

Я сильно сомневаюсь, что вожделенная многими встреча Трампа и Си Цзиньпиня через пару недель как-то повлияет на ту самую координацию, описанную Дарио Амодеи — рассчитывать, что Трамп вообще способен артикулировать какую-то позицию по вопросу вряд ли приходится (он уже заявил, что никаких рисков нет, погодите, потом он заявит, что это были самые прекрасные риски), так что Си просто не с кем договариваться. И слова Альтмана, что за такую договоренность можно было бы двум лидерами присудить Нобелевскую премию мира, выглядят очень примитивной попыткой побудить довольно престарелого человека хоть на что-то.

Рискну высказать мысль, что компании и правда могут сами замедлиться. Причем опасения, что китайцы в итоге догонят, не так уж абсолютны — пока ситуация выглядит так, что их успехи в значительной части зависят от дистилляции западных моделей, а дистилляция по умолчанию даёт потерю качества. Если при этом противодействовать дистилляции, то дистанция между frontier-моделями и китайскими может сократиться заметно, но не исчезнет совсем.

Fable на данный момент, пожалуй, лучшая модель, которую можно использовать для разработки (хотя я её, честно говоря, постоянно использую для всего), но она достаточно прожорлива в плане ресурсов, что ощущается даже на дорогих подписках. Меня долгое время от перерасхода лимитов спасала старая привычка всё оптимизировать — поэтому подавляющее большинство задач моими агентами выполняется с запуском субагентов, с четким указанием моделей.

Но у Fable есть интересная особенность — по умолчанию, если задать жесткие инструкции по выбору моделей для делегирования, модель как будто не знает о существовании Opus. В логе можно увидеть рассуждения типа “Выбираю для субагента Fable, поскольку тут требуется лучшее рассуждение, чем может Sonnet”. В результате одна из задач запустила параллельно восемь субагентов на Fable, израсходовав солидное количество лимитов за одну задачу.

Победить это промптами (то есть уговорами) довольно сложно — само рассуждение на эту тему тоже приведет к расходу лимитов и все равно остается высокая вероятность, что агент найдет основания выбрать дорогой Fable. Но и не надо — можно просто указать в settings.json переменную окружения:

{
  "env": {
    "CLAUDE_CODE_SUBAGENT_MODEL": "opus"
  }
}

Результат будет виден довольно быстро — там, где в конфиге субагента прописан sonnet, он и будет использован, а вот все агенты, которые запускаются из основной сессии без указания модели, уже перестанут так безудержно расходовать лимиты.

Наткнулся на текст, где разработчик игр жалуется, что ему просто не нравится использовать AI в работе, он не получает того удовольствия и его расстраивает, что многие мелкие утилиты, которые он написал для себя, теперь воспроизводятся одним промптом. Поэтому он выбирает делать вещи сложным путем — то есть самостоятельно, — так он получает удовольствие.

Все же высокий уровень жизни, достигнутый западной цивилизацией за последние десятилетия, привел к девальвации понятия “работа” — нет, я не спорю, что она должна приносить удовольствие. Но целевой функцией работы все же является извлекаемая материальная польза в том числе — когда человек говорит “Нет, я сделаю все вручную, медленно и с непонятным качеством, но получу удовольствие”, очевидно, что он игнорирует денежную сторону вопроса в принципе. Но тогда это не работа, это хобби. Или какая-то очень нишевая кустарщина. Ах, да, извините, теперь принято говорить “крафт”.

Сегодня в Telegram-канале: