ЦОД
Спустя 2 месяца, я наконец посетил один из крупнейших центров обработки данных в России - IXcellerate Moscow South
На самом деле, это название кампуса, на котором расположено 4 датацентра, 2 из них еще достраиваются
Хоть я и знал общее устройство датацентров, но более глубокое погружение в терминологию и мелкие детали реализации были реально интересные. Кто-ж знал, что сервера сертифицированные протоколом PCI DSS(это чтобы можно было на сайте карточки банковские вводить) закрываются клетками и еще одним уровнем допуска сотрудников)
На самом деле, при проектировании огромных систем очень важно учитывать расположение и сетевое взаимодействие серверов. Например, синхронная репликация будет невозможна, если шарды будут на разных уголках России. Ну, точнее возможна, но будет очень плохо работать) Поэтому большие цоды имеют выделенный канал связи друг с другом. Между разными ЦОДами IXcellerate по всей Москве идут интернетные кабеля, с пропускной способностью более 400TB/s на один. Причем, поддерживается как L3, так и L2 сеть. Цифры просто ошеломляют, особенно когда вспоминаем сколько в телефоне интернет выдает)
Также немаловажную роль играет отказоустойчивость питаня, ведь смысл датацентра - работать всегда. Каждая серверная стойка буквально воткнута в 2 розетки. Одна - от сетевого луча из города, вторая, резервная, от дизельных генераторов. Между всеми ними стоят огромные аккумуляторы, способные держать весь датацентр на пиковой нагрузке 12 минут. Дизелю достаточно минуты чтобы выйти на пиковую мощность, так-что у аккумуляторов очень маленкьй шанс разрядиться) Также они служат фильтром сети от луча, чтобы сервера получали стабильное питание без перебоев и скачков
Охлаждение цода тоже стоит отдельно рассмотреть
В каждой машинной комнате 2 стены - не стены) А огромные радиаторы, выдувающие холодный воздух. Буквально холодный. Это позволяет серверам засасывать его из коридоров. А отдают сервера горячий воздух в противоположный коридор, откуда тепло отводиться через потолок. Причем, теплые коридоры замкнуты в специальные мини-стены, чтобы горячий воздух шел именно наверх. Вообще машинная комната штука прикольная, в одном месте мерзнешь, в другом жарко) И еще и настолько шумно, что говорить невозможно
Вообще, серверная стойка штука очень интересная. Это буквально стеллаж для серверов, где каждый сервер занимает какую-то высоту. Бывают сервера на один юнит, бывают и на 8(зачастую, в таких серверах стоят видюхи для мля). В стойке примерно от 42 до 52 юнитов. Но оставляют место и для инженерной инфраструктуры - коммутаторы, панели управления, оптические кассеты
Вообще мозг ломается, когда понимаешь, что те самые ручки и тот самый код, который ты пишешь проходит миллион стадий компиляции до ASM, работает на серверах, которые сами по себе инженерное чудо, а организация питания, охлаждения, пожаротушения, сетевой связанности еще больше его воплощает
Увы, фоткать нам не разрешили, поэтому немного посмотреть как оно выглядит можно вот тут)
Забыл самый фан факт, цод, жрет 360+ мегават электричества. Весь Нижний Новгород потребляет меньше)
Спустя 2 месяца, я наконец посетил один из крупнейших центров обработки данных в России - IXcellerate Moscow South
На самом деле, это название кампуса, на котором расположено 4 датацентра, 2 из них еще достраиваются
Хоть я и знал общее устройство датацентров, но более глубокое погружение в терминологию и мелкие детали реализации были реально интересные. Кто-ж знал, что сервера сертифицированные протоколом PCI DSS(это чтобы можно было на сайте карточки банковские вводить) закрываются клетками и еще одним уровнем допуска сотрудников)
На самом деле, при проектировании огромных систем очень важно учитывать расположение и сетевое взаимодействие серверов. Например, синхронная репликация будет невозможна, если шарды будут на разных уголках России. Ну, точнее возможна, но будет очень плохо работать) Поэтому большие цоды имеют выделенный канал связи друг с другом. Между разными ЦОДами IXcellerate по всей Москве идут интернетные кабеля, с пропускной способностью более 400TB/s на один. Причем, поддерживается как L3, так и L2 сеть. Цифры просто ошеломляют, особенно когда вспоминаем сколько в телефоне интернет выдает)
Также немаловажную роль играет отказоустойчивость питаня, ведь смысл датацентра - работать всегда. Каждая серверная стойка буквально воткнута в 2 розетки. Одна - от сетевого луча из города, вторая, резервная, от дизельных генераторов. Между всеми ними стоят огромные аккумуляторы, способные держать весь датацентр на пиковой нагрузке 12 минут. Дизелю достаточно минуты чтобы выйти на пиковую мощность, так-что у аккумуляторов очень маленкьй шанс разрядиться) Также они служат фильтром сети от луча, чтобы сервера получали стабильное питание без перебоев и скачков
Охлаждение цода тоже стоит отдельно рассмотреть
В каждой машинной комнате 2 стены - не стены) А огромные радиаторы, выдувающие холодный воздух. Буквально холодный. Это позволяет серверам засасывать его из коридоров. А отдают сервера горячий воздух в противоположный коридор, откуда тепло отводиться через потолок. Причем, теплые коридоры замкнуты в специальные мини-стены, чтобы горячий воздух шел именно наверх. Вообще машинная комната штука прикольная, в одном месте мерзнешь, в другом жарко) И еще и настолько шумно, что говорить невозможно
Вообще, серверная стойка штука очень интересная. Это буквально стеллаж для серверов, где каждый сервер занимает какую-то высоту. Бывают сервера на один юнит, бывают и на 8(зачастую, в таких серверах стоят видюхи для мля). В стойке примерно от 42 до 52 юнитов. Но оставляют место и для инженерной инфраструктуры - коммутаторы, панели управления, оптические кассеты
Вообще мозг ломается, когда понимаешь, что те самые ручки и тот самый код, который ты пишешь проходит миллион стадий компиляции до ASM, работает на серверах, которые сами по себе инженерное чудо, а организация питания, охлаждения, пожаротушения, сетевой связанности еще больше его воплощает
Увы, фоткать нам не разрешили, поэтому немного посмотреть как оно выглядит можно вот тут)
Забыл самый фан факт, цод, жрет 360+ мегават электричества. Весь Нижний Новгород потребляет меньше)
🔥11💔4🍓4
Минск
Не успел я вернуться в Москву, как пришло время ехать в Беларусь) Была командировочка, летели на хакатон PROD. Дада, я очень люблю и фанатею по проду, поэтому стараюсь не пропускать ни одного евента. Там свой вайб, своя атмосфера и некий уют
Летел я со Стасяном, поэтому поездка стала х10 веселее) И, по прилету нас встречает: реклама казино на выходе, телеграм без впна, все без впна, и оргининальная кола в автомате
Счастью не было предела, хотя казалось бы, Беларусь, не сильно далеко ушла от России
Сразу с танца на балл, в ресторан к коллегам болтать о событиях, прошедших за 2 месяца с нашей последней командировки) Тоже прод, кстати. Да и вообще катаюсь я только на прод. Прод.
Все необычно. Блюда не непонятном мне языке с какими то прикольными символами. Цены - как будто я в раю, маленькие и двузначные) В итоге, как я мог не заказать картофанчика! И он правда очень вкусная. Картошка. В беларуси. Кто бы мог подумать. Но вот мясо в картошке я не ожидал, ведь я вообще не знакомился с традициями Беларуси
Вышел из ресторана - просто благодать. Чисто до ужаса, мало людей, огромная территория, свежо. Просто мечта - так и оказалось
Офис Т в минске тоже мегавайб. Много зелени, разный. Не спейс который на каждом этаже одинаковый
Вот все пока в Минске хорошо, должно быть но. Но его нет. Вот правда нет. Люди добрые, простые, не пытаются ничего нарушить. Открытые и всегда готовы что-то рассказать и показать
Ну а на последок, мы купили по 6кг колбасы и по 2кг сыра каждый, в ажропорту их как то поребалансировали, и спокойно улетели назад)
Не успел я вернуться в Москву, как пришло время ехать в Беларусь) Была командировочка, летели на хакатон PROD. Дада, я очень люблю и фанатею по проду, поэтому стараюсь не пропускать ни одного евента. Там свой вайб, своя атмосфера и некий уют
Летел я со Стасяном, поэтому поездка стала х10 веселее) И, по прилету нас встречает: реклама казино на выходе, телеграм без впна, все без впна, и оргининальная кола в автомате
Счастью не было предела, хотя казалось бы, Беларусь, не сильно далеко ушла от России
Сразу с танца на балл, в ресторан к коллегам болтать о событиях, прошедших за 2 месяца с нашей последней командировки) Тоже прод, кстати. Да и вообще катаюсь я только на прод. Прод.
Все необычно. Блюда не непонятном мне языке с какими то прикольными символами. Цены - как будто я в раю, маленькие и двузначные) В итоге, как я мог не заказать картофанчика! И он правда очень вкусная. Картошка. В беларуси. Кто бы мог подумать. Но вот мясо в картошке я не ожидал, ведь я вообще не знакомился с традициями Беларуси
Вышел из ресторана - просто благодать. Чисто до ужаса, мало людей, огромная территория, свежо. Просто мечта - так и оказалось
Офис Т в минске тоже мегавайб. Много зелени, разный. Не спейс который на каждом этаже одинаковый
Вот все пока в Минске хорошо, должно быть но. Но его нет. Вот правда нет. Люди добрые, простые, не пытаются ничего нарушить. Открытые и всегда готовы что-то рассказать и показать
Ну а на последок, мы купили по 6кг колбасы и по 2кг сыра каждый, в ажропорту их как то поребалансировали, и спокойно улетели назад)
2🍓11🍾5💔2 1