14 сентября 2025

Мира Мурати наконец показала, над чем работает её Thinking Machines Lab с двумя миллиардами seed-финансирования. На этой неделе компания запустила собственный блог и выложила первую статью в нем. Статья посвящена попытке сделать ответы LLM детерминированными — воспроизводимыми при одинаковых запросах.

Исследователь Хорас Хе пишет о проблеме недетерминированности в LLM — когда даже при установке температуры в 0, API языковых моделей выдают разные результаты при одинаковых запросах. Многие считают, что причина недетерминированности - это комбинация параллельных вычислений и неассоциативности операций с плавающей точкой на GPU. Хорас показывает, что это не полная картина.

Главная причина недетерминированности - отсутствие batch-инвариантности в ядрах GPU. Когда размер батча (количество одновременно обрабатываемых запросов) меняется, результаты для отдельных элементов могут отличаться из-за разного порядка суммирования чисел с плавающей точкой. В статье предлагается создать batch-инвариантные версии ключевых операций. По результатам тестирования на модели Qwen3-235B удалось добиться полной идентичности ответов — правда, ценой снижения производительности в 1,6 раза.

Это, конечно, еще не полное оправдания полученного финансирования, но хорошая иллюстрация его полезности, как мне кажется.

Penske Media первым из крупных американских медиахолдингов подал антимонопольный иск против Google из-за AI Overviews. Претензии стандартные: Google использует контент изданий без компенсации и перехватывает трафик.

По данным Penske, примерно 20% результатов поиска, содержащих хотя бы одну ссылку на сайты холдинга (а в их число входят Rolling Stone и Hollywood Reporter) сопровождаются теперь AI Overviews. При этом доход от партнерских ссылок на сайтах холдинга упали больше чем на треть с конца 2024 года.

Google в ответ заявил, что AI Overviews улучшает качество поиска для пользователей, а те, кто переходят на сайты по ссылкам оттуда, проводят на сайтах больше времени. В общем, стандартные ответы.

Этой дилемме уже лет 20 и решения не предвидится — люди строят бизнесы, серьезно зависящие от источников трафика, в частности, от поисковиков, и уверены, что имеют право на стабильность этого бизнеса. С другой стороны, как правило, они склонны переоценивать уникальность и полезность своего контента.

OpenAI и другие AI компании ходят и фактически покупают доступ к такому контенту — правда, эти деньги не способны заместить выбывающие доходы. Но, предположим, можно закрыть доступ для ChatGPT — а что будет делать тот же самый Penske Media, пропав из поиска вообще?