Сегодня в Telegram-канале:
С утра пришло сообщение, что нашими дронами атакован датацентр VK в Санкт-Петербурге, точнее, в Новосергиевке. Сообщается о сбоях в социальной сети, жалобах, по сообщениям повреждена подстанция 330 кВ.
Чем хорош интернет? Тем, что это достаточно прозрачная сеть, где многое можно измерить и наблюдать. Особенно это касается больших сетей — если они были, а затем пропали или сильно уменьшились, то это хорошо заметно.
Итак, куда попали и каков эффект? Датацентр в Новосергиевке (Всеволожский район, вплотную к границе Санкт-Петербурга) расположен вплотную к подстанции 330 кВ “Восточная” (почти как датацентр Яндекса во Владимире) и, вероятно, является первым собственным датацентром компании. Он построен в 2011 году на площадке бывшего испытательного центра высоковольтного аппаратостроения (ИЦВА) — поэтому к площадке подведена мощность около 20 МВт. Подстанция “Восточная” является частью энергокольца Петербурга, через нее в кольцо поступает энергия Ленинградской АЭС и ТЭЦ северо-западной части города и расходится по северным районам и Выборгу. Мощность самого датацентра ниже — публичных данных нет, но можно оценить ее до 10 МВт собственно серверов. Сообщалось о 20 тысяч серверов.
Исторически сеть VK состоит из нескольких сегментов. AS47541 — это сеть самого Вконтакте, находящаяся в Санкт-Петербурге, в основном, это vk.com и VK Video. Еще две автономные системы — AS47542 и AS28709 — это соответственно московский и региональный CDN соцсети. AS47764 — это сеть бывшего Mail.ru, в ней работает сам Mail.ru, Одноклассники, тот самый мессенджер Max и забранный у Яндекса Дзен с главной страницей. Эта сеть всегда была в Москве и к Питеру отношения не имеет. VK Cloud также размещен в Москве в разных датацентрах — группа арендует большие мощности у разных игроков, кроме того, есть два датацентра в Домодедово, где размещена как минимум одна облачная зона. VK Cloud изначально строился отдельно, в отличие от традиционного для гиперскейлеров подхода, когда собственные сервисы являются первыми потребителями облака.
Атакованный датацентр — это как раз самая первая AS47541. По внешним признакам можно сказать, что датацентр пострадал заметно, хоть и сообщается, что все сервисы работают штатно. Но у сети пропали два аплинка в Питере (RETN и Telecom Italia Sparkle) и перестали отвечать примерно половина адресов автономной системы. По статистике BGP-сессий заметен резкий рост количества анонсов именно в момент ударов — это показывает, что часть маршрутов стала недоступна. На данный момент эти маршруты не восстановились — то есть эти сегменты продолжают лежать. Трафик Cloudflare это тоже показывает — часть запросов из AS упали почти до нуля. Одновременно наблюдается рост трафика из AS московского CDN, гипотетически это может свидетельствовать о переносе трафика из пострадавшей сети. Обратите внимание, что это не трафик пользователей VK, это исходящие запросы из сетей компании.
Судя по фотографиям, пострадал именно датацентр, подобное повреждение имеет последствия внутри. Что именно пострадало — оборудование энергоснабжения, вентиляционное оборудование, возможно, это последствие срабатывания системы пожаротушения, или все же повреждено сетевое и серверное оборудование, — по одному снимку сказать нельзя. Было ли возгорание и в каком масштабе — неясно. Повреждения подстанции явно не очень большие, поскольку отключения не носят значительный характер — серьезный ущерб подстанции нанести сложно и в этом случае перебои затронули бы значительную часть города. На видео с моментами удара видно, что свет гаснет, но он восстанавливается через некоторое время на большинстве объектов.
Надо смотреть на то, как восстановится трафик из замолчавших сегментов сети — это покажет масштаб ущерба. Это не Яндекс, где легло практически все облако, но тоже неплохо. Кстати, о Яндексе — там облако продолжает почти лежать, за неделю восстановления не произошло. По некоторым признакам можно предположить, что без новых ударов работу удалось стабилизировать на оставшихся зонах, возможно, спешно арендовали часть сторонних мощностей и помогают клиентам мигрировать. Тарификация Cloud остановлена до конца октября. Будем надеяться, пока.
Сегодня в Telegram-канале:
Сегодня в Telegram-канале:
Всё в соцсетях становится убедительнее, если показать непонятный график. Именно таким образом последние пару дней по интернету носят график Cloudflare Radar с комментариями “В интернете стало меньше пророссийских ботов”. Что означает график, никого не волнует, разумеется. А на графике изображен трафик, зафиксированный сервисами Cloudflare из AS13238 Яндекса. Если на слове “AS” вы перестали понимать, RTFM, pls.
Остальным вкратце поясню — нет ничего удивительного, что из AS четвертой или пятой по величине поисковой системы генерируется много трафика. Причем это на 99% трафик ботов, потому что практически всё это один бот, YandexBot, который обходит интернет, начиная с 1997 года. Если вы выберете любую другую поисковую систему, вы увидите похожее соотношение — будь-то Google или Baidu.
У Яндекс.Cloud, кстати, отдельная AS200350 — и там тоже такое соотношение, что совершенно неудивительно — это же хостинг, каких живых людей вы ожидаете увидеть из его диапазона адресов? Посмотрите на графики Hetzner или даже на Mirohost.
Подумайте про источник данных Cloudflare. Правильно, это же сайты, стоящие за этим сервисом. А разве Facebook или Twitter им пользуются? Или, может, Telegram перенес свои сервисы за CF? Так в каком месте планируется увидеть трафик между датацентром в рф и датацентром Facebook?
Что действительно можно отметить на графиках Cloudflare — это масштабную перекачку данных Yandex.Cloud, которая началась сегодня ночью. График не показывает в какую сторону, поэтому есть два варианта — либо клиенты начали миграцию на внешние сервисы за Cloudflare, либо сервис начал массовое восстановление, качая пакеты из Docker Hub или npm (это гипотезы).
А если закопаться глубже и не в графики Cloudflare, то можно увидеть, что с ударом по Владимиру Яндекс потерял канал в RETN. Это не лишает его сеть внешней связности, конечно, есть как минимум ТрансТелеКом и РасКом, но, вероятно, привело к сбою индексации сайтов. Вчера днем ее перезапустили чуть в меньшем объеме.
P.S. Заявления “чешских депутатов” нормальный человек комментировать не может.
P.P.S. А количество ботов в телеграме никак не изменилось.
Меня сегодня несколько раз уже спрашивали и просили комментарии по поводу последствий атаки на датацентр Яндекса в Сасово, так что соберу здесь коротко.
Прежде всего — для самого Яндекса последствия пока ограниченные. Да, ДЦ Сасово немаленький, на старте в 2014 году заявлялось 12 МВт, сейчас, скорее всего, выше, но вряд ли больше 20. Не самый крупный — два ДЦ во Владимире имеют мощность по 40 МВт, в Калуге — до 63, хотя это проектная. Для ориентира — это примерно столько же, сколько у OVH в Европе. Самым большим ДЦ Яндекса был Мянтсяля, но он отошел Nebius, сейчас его реальная мощность 75 МВт, хотя проект предусматривает 310 МВт.
Но Яндекс уже пару десятилетий живет более чем на одной площадке, еще в начале 2010х число технологических площадок (логически это и есть отдельные датацентры, с отдельным питанием и линиями связи), на которых работали сервисы, превышало десяток. Причем после ряда аварий, когда и по независящим от компании причинам сервисы серьезно деградировали или вообще становились недоступными (примерно в конце 2000-х) департамент эксплуатации серьезно подошел к вопросу и была разработана четкая концепция надежности — ключевые сервисы (поиск, почта, потом карты и так далее) должны безболезненно для пользователя переживать потерю двух датацентров, коммерческие (директ, маркет) — одного, инфраструктурные могли ограниченно деградировать при потере одного датацентра (например, отчеты для клиентов директа можно и с опозданием на пару часов сформировать). Регулярно проводились учения — выключали (опускали сеть) один из ДЦ и проверяйте, что у вас в сервисе поломалось, хотя не должно было. С другой стороны, нынешние крупные датацентры типа “Владимир” (1 и 2), “Сасово”, “Калуга” и “Мытищи” реально намного качественнее, дешевле в эксплуатации по массе причин. Это и более низкие местные платежи (не Москва), и наличие площадок с подведенной мощностью, а ДЦ во Владимире вообще построены в нескольких сотнях метров от крупнейшей подстанции 750/500 кВ в Европе, через которую в энергосистему России выдается электроэнергия, выработанная на Жигулевской ГЭС, Калининской АЭС и Костромской ГРЭС. Компания явно заявляла, что закрывает площадки в Москве, где электричество дорогое и дефицитное, и, вероятно, сконцентрировала основные сервисы в перечисленных выше ДЦ. Еще один ДЦ — первый самостоятельный, — был в Ивантеевке под Москвой, но он, видимо, закрыт. Еще один строится в Можайске и планируется к запуску в следующем году.
Все это приведено для того, чтобы было понятно — мощностей у Яндекса достаточно и потеря одного ДЦ заметна, но сервисы живут дальше.
Впрочем, есть одна существенная потеря — по некоторым данным, именно в Сасово было развернуто два из трех имевшихся у Яндекса кластеров из нескольких тысяч A100 — именно на них работал Yandex.GPT. Тут у меня странное ощущение, поскольку одновременно я читаю, как Nebius предоставляет услуги по доступу к GB300 NVL72.
Вот кто не живет — это клиенты. Владимир, Сасово, Калуга и Мытищи — это 4 площадки сервиса Яндекс.Cloud, который занимается предоставлением услуг облачного хостинга. Гиперскейлер, то есть аналог AWS, Google Cloud и Microsoft Azure. Сервисы Яндекса, живя в этих же датацентрах, резервируются, а вот для любого клиента облака резервирование означает поддержание нескольких экземпляров в разных регионах сервиса (или в разных сервисах, но это не совсем для России). Это дорого и проблематично. Именно поэтому пропажа датацентра так отразилась на сайтах, вроде никак с Яндексом не связанных — у них там были виртуалки или хранились данные или что угодно еще. Меня сегодня спросили “А ведь по украинским датацентрам тоже бьют, что, вам лучше?”. На самом деле нам непросто, но вообще-то да, лучше. У меня есть клиент с сайтом в Мирохосте и парой доменов в imena.ua. Ничто из этого не почувствовало потерю датацентра Мирохоста — сервис давно поднял резервные площадки в Европе и спокойно перенес многих клиентов туда. А многие просто давно размещены в Европе — часто это дешевле и быстрее. Что мешает так же сделать российским сервисам (ну, кроме Яндекса и подсанкционных)? В первую очередь — законы. В России действует закон, согласно которому персональную информацию граждан РФ можно хранить только на территории РФ. Имя, фамилия, адрес электронной почты или телефон храните — закон к вам относится. Именно по этому закону в России 10 лет назад заблокировали LinkedIn.
Именно поэтому же вариантов мигрировать данные клиентов Cloud или сервисы Яндекса на площадки в другие страны — например, в Казахстан, где есть две площадки Яндекс.Cloud — тоже не вариант. Даже не говоря о том, что связность между РФ и Казахстаном, мягко говоря, недостаточна для нормальной работы сервисов для российской аудитории.
Что будет дальше? Это будет зависеть от размаха охоты на датацентры. Они очень уязвимы для воздушных ударов и, прямо скажем, не проектировались в расчете на такое. Более того, если после удара по НПЗ он просто перестает работать на пару недель или месяцев, делают ремонт, меняют оборудование и запускают снова, то с датацентром хуже — пожар означает потерю данных, уничтожение серверов и огромного количества другого оборудования, включая оптику. Сейчас Яндекс сообщает, что скорее всего не сможет восстановить ДЦ Сасово. Количество серверов там можно оценить в 30-40 тысяч. И датацентр надо просто строить заново. В прошлый раз это заняло года два. Прилеты по другим датацентрам будут приводить к более масштабным сбоям, а бежать особо некуда.
Много говорится о том, что надо бы атаковать и такие места, как М9 — головную точку обмена трафика MSK-IX. Но тут не надо особо обнадеживать себя — во-первых, это Москва со всеми эшелонами ПВО, во-вторых, площадок у М9 только в Москве несколько, к ней же относятся и региональные IX-ы — короче говоря, точно по тем же причинам, по которым атаки на украинские датацентры не положат связность интернета тут, атаки на российские IX-ы не положат интернет там.
Напрашивается иронический вывод, что предмет гордости россиян в технологиях — крупные интернет-компании, — теперь станут уязвимым местом. В Украине с нашей децентрализацией просто нет одной-двух таких компаний, в которых бы сконцентрировались все цифровые сервисы, и даже атаки на явных лидеров не разрушают жизнь людей.
P.S. Что отдельно порадовало, так это скорость, с которой сотрудники Яндекс.Карт размыли спутниковые снимки мест расположения своих датацентров. Теперь, когда вы открываете на Яндекс.Картах спутниковый снимок города Владимир, вы ни за что не догадаетесь, что такое секретное находится в единственном мутном месте в городе рядом с крупной подстанцией и микрорайоном Энергетик.
Сегодня в Telegram-канале: