Яндекс

Аномалии трафика Яндекса

Всё в соцсетях становится убедительнее, если показать непонятный график. Именно таким образом последние пару дней по интернету носят график Cloudflare Radar с комментариями “В интернете стало меньше пророссийских ботов”. Что означает график, никого не волнует, разумеется. А на графике изображен трафик, зафиксированный сервисами Cloudflare из AS13238 Яндекса. Если на слове “AS” вы перестали понимать, RTFM, pls.

Остальным вкратце поясню — нет ничего удивительного, что из AS четвертой или пятой по величине поисковой системы генерируется много трафика. Причем это на 99% трафик ботов, потому что практически всё это один бот, YandexBot, который обходит интернет, начиная с 1997 года. Если вы выберете любую другую поисковую систему, вы увидите похожее соотношение — будь-то Google или Baidu.

У Яндекс.Cloud, кстати, отдельная AS200350 — и там тоже такое соотношение, что совершенно неудивительно — это же хостинг, каких живых людей вы ожидаете увидеть из его диапазона адресов? Посмотрите на графики Hetzner или даже на Mirohost.

Подумайте про источник данных Cloudflare. Правильно, это же сайты, стоящие за этим сервисом. А разве Facebook или Twitter им пользуются? Или, может, Telegram перенес свои сервисы за CF? Так в каком месте планируется увидеть трафик между датацентром в рф и датацентром Facebook?

Что действительно можно отметить на графиках Cloudflare — это масштабную перекачку данных Yandex.Cloud, которая началась сегодня ночью. График не показывает в какую сторону, поэтому есть два варианта — либо клиенты начали миграцию на внешние сервисы за Cloudflare, либо сервис начал массовое восстановление, качая пакеты из Docker Hub или npm (это гипотезы).

Трафик из сетей Яндекса по данным Cloudflare Radar
Трафик из сетей Яндекса по данным Cloudflare Radar

А если закопаться глубже и не в графики Cloudflare, то можно увидеть, что с ударом по Владимиру Яндекс потерял канал в RETN. Это не лишает его сеть внешней связности, конечно, есть как минимум ТрансТелеКом и РасКом, но, вероятно, привело к сбою индексации сайтов. Вчера днем ее перезапустили чуть в меньшем объеме.

График показывает падение доли html-страниц в трафике — это падение активности поискового индексатора.
График показывает падение доли html-страниц в трафике — это падение активности поискового индексатора.

P.S. Заявления “чешских депутатов” нормальный человек комментировать не может.
P.P.S. А количество ботов в телеграме никак не изменилось.

Атака на Яндекс в Сасово — последствия и что дальше

Меня сегодня несколько раз уже спрашивали и просили комментарии по поводу последствий атаки на датацентр Яндекса в Сасово, так что соберу здесь коротко.

Прежде всего — для самого Яндекса последствия пока ограниченные. Да, ДЦ Сасово немаленький, на старте в 2014 году заявлялось 12 МВт, сейчас, скорее всего, выше, но вряд ли больше 20. Не самый крупный — два ДЦ во Владимире имеют мощность по 40 МВт, в Калуге — до 63, хотя это проектная. Для ориентира — это примерно столько же, сколько у OVH в Европе. Самым большим ДЦ Яндекса был Мянтсяля, но он отошел Nebius, сейчас его реальная мощность 75 МВт, хотя проект предусматривает 310 МВт.

Но Яндекс уже пару десятилетий живет более чем на одной площадке, еще в начале 2010х число технологических площадок (логически это и есть отдельные датацентры, с отдельным питанием и линиями связи), на которых работали сервисы, превышало десяток. Причем после ряда аварий, когда и по независящим от компании причинам сервисы серьезно деградировали или вообще становились недоступными (примерно в конце 2000-х) департамент эксплуатации серьезно подошел к вопросу и была разработана четкая концепция надежности — ключевые сервисы (поиск, почта, потом карты и так далее) должны безболезненно для пользователя переживать потерю двух датацентров, коммерческие (директ, маркет) — одного, инфраструктурные могли ограниченно деградировать при потере одного датацентра (например, отчеты для клиентов директа можно и с опозданием на пару часов сформировать). Регулярно проводились учения — выключали (опускали сеть) один из ДЦ и проверяйте, что у вас в сервисе поломалось, хотя не должно было.
 С другой стороны, нынешние крупные датацентры типа “Владимир” (1 и 2), “Сасово”, “Калуга” и “Мытищи” реально намного качественнее, дешевле в эксплуатации по массе причин. Это и более низкие местные платежи (не Москва), и наличие площадок с подведенной мощностью, а ДЦ во Владимире вообще построены в нескольких сотнях метров от крупнейшей подстанции 750/500 кВ в Европе, через которую в энергосистему России выдается электроэнергия, выработанная на Жигулевской ГЭС, Калининской АЭС и Костромской ГРЭС. Компания явно заявляла, что закрывает площадки в Москве, где электричество дорогое и дефицитное, и, вероятно, сконцентрировала основные сервисы в перечисленных выше ДЦ. Еще один ДЦ — первый самостоятельный, — был в Ивантеевке под Москвой, но он, видимо, закрыт. Еще один строится в Можайске и планируется к запуску в следующем году.

Все это приведено для того, чтобы было понятно — мощностей у Яндекса достаточно и потеря одного ДЦ заметна, но сервисы живут дальше.

Впрочем, есть одна существенная потеря — по некоторым данным, именно в Сасово было развернуто два из трех имевшихся у Яндекса кластеров из нескольких тысяч A100 — именно на них работал Yandex.GPT. Тут у меня странное ощущение, поскольку одновременно я читаю, как Nebius предоставляет услуги по доступу к GB300 NVL72.

Вот кто не живет — это клиенты. Владимир, Сасово, Калуга и Мытищи — это 4 площадки сервиса Яндекс.Cloud, который занимается предоставлением услуг облачного хостинга. Гиперскейлер, то есть аналог AWS, Google Cloud и Microsoft Azure. Сервисы Яндекса, живя в этих же датацентрах, резервируются, а вот для любого клиента облака резервирование означает поддержание нескольких экземпляров в разных регионах сервиса (или в разных сервисах, но это не совсем для России). Это дорого и проблематично. Именно поэтому пропажа датацентра так отразилась на сайтах, вроде никак с Яндексом не связанных — у них там были виртуалки или хранились данные или что угодно еще. Меня сегодня спросили “А ведь по украинским датацентрам тоже бьют, что, вам лучше?”. На самом деле нам непросто, но вообще-то да, лучше. У меня есть клиент с сайтом в Мирохосте и парой доменов в imena.ua. Ничто из этого не почувствовало потерю датацентра Мирохоста — сервис давно поднял резервные площадки в Европе и спокойно перенес многих клиентов туда. А многие просто давно размещены в Европе — часто это дешевле и быстрее. Что мешает так же сделать российским сервисам (ну, кроме Яндекса и подсанкционных)? В первую очередь — законы. В России действует закон, согласно которому персональную информацию граждан РФ можно хранить только на территории РФ. Имя, фамилия, адрес электронной почты или телефон храните — закон к вам относится. Именно по этому закону в России 10 лет назад заблокировали LinkedIn.

Именно поэтому же вариантов мигрировать данные клиентов Cloud или сервисы Яндекса на площадки в другие страны — например, в Казахстан, где есть две площадки Яндекс.Cloud — тоже не вариант. Даже не говоря о том, что связность между РФ и Казахстаном, мягко говоря, недостаточна для нормальной работы сервисов для российской аудитории.

Что будет дальше? Это будет зависеть от размаха охоты на датацентры. Они очень уязвимы для воздушных ударов и, прямо скажем, не проектировались в расчете на такое. Более того, если после удара по НПЗ он просто перестает работать на пару недель или месяцев, делают ремонт, меняют оборудование и запускают снова, то с датацентром хуже — пожар означает потерю данных, уничтожение серверов и огромного количества другого оборудования, включая оптику. Сейчас Яндекс сообщает, что скорее всего не сможет восстановить ДЦ Сасово. Количество серверов там можно оценить в 30-40 тысяч. И датацентр надо просто строить заново. В прошлый раз это заняло года два. Прилеты по другим датацентрам будут приводить к более масштабным сбоям, а бежать особо некуда.

Много говорится о том, что надо бы атаковать и такие места, как М9 — головную точку обмена трафика MSK-IX. Но тут не надо особо обнадеживать себя — во-первых, это Москва со всеми эшелонами ПВО, во-вторых, площадок у М9 только в Москве несколько, к ней же относятся и региональные IX-ы — короче говоря, точно по тем же причинам, по которым атаки на украинские датацентры не положат связность интернета тут, атаки на российские IX-ы не положат интернет там.

Напрашивается иронический вывод, что предмет гордости россиян в технологиях — крупные интернет-компании, — теперь станут уязвимым местом. В Украине с нашей децентрализацией просто нет одной-двух таких компаний, в которых бы сконцентрировались все цифровые сервисы, и даже атаки на явных лидеров не разрушают жизнь людей.

P.S. Что отдельно порадовало, так это скорость, с которой сотрудники Яндекс.Карт размыли спутниковые снимки мест расположения своих датацентров. Теперь, когда вы открываете на Яндекс.Картах спутниковый снимок города Владимир, вы ни за что не догадаетесь, что такое секретное находится в единственном мутном месте в городе рядом с крупной подстанцией и микрорайоном Энергетик.

Привет от Яндекс.Украины

Меня один бывший коллега обвинил в том, что я своими регулярными высказываниями в адрес российской “оппозиции” пытаюсь психологически “отгрести” от Яндекса, мол, я руководил дочкой российской компании — столпа путинской пропаганды до последнего, а теперь пытаюсь выглядеть весь в белом. Ирония, впрочем, в том, что я не стесняюсь и не буду никогда стыдиться работы руководителем Яндекс.Украины. Это тем более глупо делать, помня, сколько раз я, как сейчас бы сказали, весьма токсично влезал в работу сервисов, требуя немедленно переделать то, что выглядело плохо для украинской аудитории, неприемлемо или неправильно. В моём профиле на внутреннем сайте стояло сообщение “Если вы что-то не сделали для Украины, к вам придёт злобный я”, и я приходил, задавал токсичные вопросы, объяснял, что так делать нельзя и запустить это для Украины я не дам. Менеджер сервиса в те времена мог возражать Воложу и Колмановской и настаивать на запуске сервиса, но в Украине это право не действовало. Mea culpa, что в данном случае переводится как “й цім я пишаюсь”.

Мне особенно приятно вспомнить команду, которая работала в украинской компании. Молодые (я почти всё время был самым старым), веселые, красивые и умные — как-то вот так получилось почти самой собой и практически без традиционной айтишной текучки. А еще оказалось, что все украинцы не только по паспорту. Это я ощутил в 2014-м, это я вижу сейчас, видя их соцсети.

Короче, это было такое длинное предисловие к картинке. Одно из подшефных подразделений ВСУ — это минометчики, которые с удовольствием передают регулярные и горячие приветы сами понимаете кому. Ну, мы и попросили передать вот такой привет.

Привет от Яндекс.Украины

Не скрою, где-то у меня есть надежда, что если кто-то и останется достаточно жив, чтобы прочесть текст, то у него гарантированно бомбанёт в результате.

Яндекс избавился от домена и новостей

Яндекс объявил о закрытии сделки по продаже Новостей и Дзена — их покупает VK, а главная страница Яндекса переедет на домен ya.ru, избавившись от большинства блоков. Взамен Яндекс приобретает Delivery Club.

Компания фактически отказывается от домена yandex.ru, поскольку на нем будет стоять редирект на dzen.ru под управлением VK. Если я не ошибаюсь, то какие-то намеки на то, как это будет выглядеть, уже сейчас присутствуют на главной странице — она практически полностью состоит из ленты Дзена с блоком новостей и только в шапке присутствует строка поиска и кнопки других сервисов.

Яндекс избавился от домена и новостей

Как сообщают, новая главная страница будет концентрироваться на идее Поиска, то есть возвращаясь к истокам. Проблема только в том, что в таком виде идея уже тупиковая — потенциал роста рынка, на котором может работать компания, исчерпан полностью, а выйти на новые рынки уже не получится.

Яндекс без границ

Компания “Яндекс”, видимо, окончательно задолбалась улавливать пожелания, как ей рисовать границы на картах и решила их вовсе не рисовать. Причем границы областей присутствуют, но граница между Черниговской и Киевской областями Украины ничем визуально не отличается от границы между Черниговской и Гомельской. Зато на карте по умолчанию видно какое-то подобие физической карты — рельеф, лесополосы и так далее.

Фрагмент карт Яндекса без границ

Я не склонен трактовать это как громкое заявление, что, мол, сервису плевать на все границы, как и всему российскому государству, но получилось предельно нелепое нововведение с совершенно непонятной целью. С другой стороны, если учесть, что буквально вчера некто путин заявил, что его миссия “собирать земли”, то можно воспринять решение компании как стремление предвосхитить — мол, все равно границ у “русского мира” не будет, так чего отгораживаться?

Волож под санкциями

Вчера Евросоюз опубликовал очередной санкционный список и туда теперь включен Аркадий Волож, основатель и CEO группы компаний Яндекс, в первую очередь, Yandex N.V., зарегистрированной в Нидерландах и собственно являющейся холдинговой компанией.

Description

Яндекс.Маркет Б/у

Меня уже несколько человек попросили прокомментировать запуск продажи подержанных товаров на Яндекс.Маркете. Нет, ребята, это, конечно, не для продажи награбленного. Это маркер обнищания.

Умное Голосование и ключевые слова

Российские суды взяли новую недосягаемую высоту и запретили поисковым системам Яндекс и Google “использовать обозначение «Умное голосование» в поисковой выдаче принадлежащей ответчику поисковой системе в качестве одного из ключевых слов поиска”. Решения загадочны во всех смыслах.

Во-первых, поисковая система не делает того, что ей запретили — то есть не использует “обозначение в поисковой выдаче в качестве ключевых слов поиска”. Запрос вводит пользователь поиска, система лишь отвечает ему. Что в данном случае не должна делать система — не отвечать на запрос? Не находить определенные сайты? Передавать данные пользователя в ФСБ?

Во-вторых, действительно, существует практика, по которой владелец торговой марки может запретить её использование в рекламе — например, в тексте объявления или на баннере. При этом использование ключевых слов, входящих в торговую марку, в качестве условия для показа рекламы широко распространенно и не является нарушение прав владельца.

Решения сами по себе написаны сверхбезграмотно — в одном предложении речь идет о том, что поисковая система распространяет рекламу, в другом — что она использует ключевые слова для индексирования сайтов, а решение в итоге уже говорит о ключевых словах поиска.

Поисковая подсказка на главной странице Яндекса

Кстати, прямо сейчас Яндекс прямо подсказывает в поисковой подсказке полный запрос — что естественно, учитывая его популярность.

Я думаю, что никакого эффекта не воспоследует — поисковые системы обжалуют определение, возможно, сменится инстанция, и так это не торопясь доживет две недели до того, что в соседней стране почему-то называют выборами. Всё это никак не скажется на реальной жизни и только поисковики жалко.