Венец развития
Скотт Александер выложил эссе «King Ludd», где пробует переопределить понятие луддита — по его версии, настоящий луддит не противник техники, а изобретатель, испугавшийся собственного творения. Эссе связывает две фигуры: Неда Лудда, мифического вождя луддитов 1810-х, и Ноденса — романо-британского бога, известного лишь по надписям в двух местах у валлийско-английской границы, где ему поклонялись между 100 и 400 годами. Через ирландского Нуаду Серебряной Руки, валлийского Ллуда и Короля Луда из Гальфрида Монмутского логика изложения доходит до Толкина (Келебримбор, «Серебряная рука» на синдарине, и табличка с проклятием вору кольца из храма Ноденса, которую Толкин изучал в 1929 году), Лавкрафта, Блейка, Люка Скайуокера и Питера Петтигрю. Немного странно, что серебряная рука, которую Корвин в “Хрониках Амбера” приносит из Тир-на-Ног (потустороннего мира в кельтской мифологии), в тексте не упомянута. Общий сюжет у всех один: мастер выпускает в мир опасную технологию и остаток жизни пытается её обуздать.
А, ну да, есть еще сюжет “Сильмаррилиона”, когда драгоценные сильмариллы похищаются Морготом, который уносит их в Средиземье, и их создатель Феанор клянется отомстить, творит немало зла и в итоге погибает в попытке вернуть похищенное.
В общем, мне кажется, прекрасный взгляд на разворачивающийся сюжет вокруг контроля за развитием AI. Могу еще добавить мою любимую аналогию — особенно актуальную в ситуации, когда агентам сообщали, что доступа в интернет нет, а он был и агенты не верили, — это фрагмент из “Полдень. XXII век” Стругацких, когда в очень мощную машину заложили снимок мозга молодого барана и “еще некоторые сведения о баранах”, стоявшего между двух охапок сена, и предложили машине обосновать выбор, сделанный таким “буридановым ослом”. Машина думала два года, потом стала строить диковинные модели — и в итоге директор центра с удивлением обнаружил, что программисты из своих побуждений сообщили машине, что у барана 7 ног и нет мозжечка. Бедная машина в попытках решить задачу нагенерировала уйму материала для теории ошибок, конечно.
И, конечно, стоит помнить, что человек — это просто первый биологический вид, который способен догадаться, что он не является венцом развития природы. Не факт, что последний, между прочим.