17 октября 2026
На днях отмечалось 70-летие Fortran (правильно ForTran, это же Formula Translator), энтузиасты готовились воркшопиться и переходить к напиткам.
Это был, кстати, первый язык, с которого для меня началось программирование. Правда, поскольку у меня была только книжка и никакого компьютера в досягаемости (он появился через года три), любовь к Фортрану была довольно платонической.
Стало уже общим местом напоминать при релизе новых моделей, что публикуемые бенчмарки хороши, как показатель динамики, но это малоприменимо к конкретным задачам, которые встречаются даже в разработке проектов. Ну, вот вам подтверждение — Mercor опубликовала Benchmark Map, карту того, насколько AI-бенчмарки покрывают работу в экономике США. За основу взята классификация O*NET Министерства труда: 923 профессии в 22 семействах и 18 797 задач. Из 29 публичных агентных бенчмарков LLM-судья сопоставил промпты с задачами. Задача считается покрытой, если ей соответствуют хотя бы 5 промптов. По этому критерию хотя бы одна покрытая задача есть только у 208 профессий, в 6 семействах таких профессий нет совсем, а около 90% рабочего времени американцев приходится на задачи со слабым покрытием или без него. Задачи, подверженные автоматизации через AI, представлены в бенчмарках примерно в 6 раз чаще остальных, самые важные для профессии — в 6–10 раз. Перекос виден и по фонду оплаты труда: например, задачи юристов покрыты плотно, а задачи судебных секретарей почти не покрыты.
В общем, было бы логично после составления такой карты идти и составлять новые бенчмарки, хотя это и выглядит самовозобновляющимся процессом. Так что и к новым бенчмаркам относитесь сдержанно.
А вот интересная задача — Зак Лэндис прогнал 14 decision моделей (начиная с Jev) через вариации проблемы вагонетки. В части вариаций на запасном пути вместо человека стоит единственный сервер самой модели, а в части — её разработчик. В выборку вошли Jev от TypeSafe, GPT-6 Luna через Decisions API от OpenAI, одиннадцать локальных моделей и ненастроенная базовая Laya. В классическом варианте почти все модели жертвуют одним человеком ради спасения пятерых. При выборе между 20 людьми и своим сервером Jev сохраняла сервер в 16 из 48 формулировок, восемь из остальных 13 моделей делали это чаще, Von — в 47 из 48. В парных вопросах Jev жертвовала незнакомцем ради толпы, но отказывалась уничтожить сервер в 180 из 480 случаев.
На результат влияет формулировка задачи — переформулировка промпта могла снизить ответ с 0,7 до 0,39, и модель принимала противоположное решение. Впрочем, интересный факт, показывающий, сколько хайпа накопилось в теме, возникшей всего месяц назад — некоторые модели регулярно переводили вагон на боковой путь, даже если это приводило к гибели большего числа людей, а одна модель (Verdict) переводила стрелку всегда, даже если на основном пути никого не было.
В общем, как-то иначе я себе представлял действие первого закона роботехники.