21 марта 2025

Anthropic добавили в Claude возможность веб-поиска — теперь LLM может искать информацию в интернете, чтобы предоставлять более актуальные и релевантные ответы. Найденную информацию Claude оформляет как цитату, указывая ссылку на источник — собственно, как это делают все остальные.

Функция веб-поиска уже доступна в предварительной версии для всех платных пользователей Claude в США. Поддержка для бесплатных пользователей и других стран появится в ближайшее время. Чтобы начать использование, нужно включить веб-поиск в настройках профиля и начать разговор с Claude 3.7 Sonnet.

Cloudflare представила интересное решение против ботов и AI-краулеров — “AI Labyrinth”. Вместо простой блокировки несанкционированных ботов, которые игнорируют директивы “no crawl”, система создает AI-генерируемые страницы-ловушки, чтобы замедлить, запутать и истощить ресурсы этих ботов.

Суть в том, что когда AI-краулер пытается собирать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на AI-сгенерированные страницы. Боты следуют по этим ссылкам и попадают в “лабиринт” связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят и не кликают на них.

Это дает двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит “приманкой” для идентификации ботов — если кто-то перешел на четвертую страницу AI-генерированной бессмыслицы, это почти наверняка бот, а не человек.

По данным Cloudflare, AI-краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. AI Labyrinth доступен для всех клиентов Cloudflare, включая бесплатный тариф, и активируется одним переключателем на панели управления.

Выглядит устрашающе, если задуматься — как скоро этим роботам в интернете начнут мешать люди?