Страшная статья про Facebook от data-science ученого: http://veekaybee.github.io/facebook-is-collecting-this/

Вкратце: записывают абсолютно всё, ничего не удаляют и эксперименты проводят какие захотят (это самая жуткая часть, на самом деле).

Тот нашумевший эксперимент фб провел ещё в 2012 году, научная статья о нем вышла в 2014. Статья оказалась плохим PR-ом, так что больше мы о таких опытах не узнаем.

Ищу второго системного администратора в Медузу. Работа удаленная, подробное описание вакансии внутри: https://dev.meduza.io/поиск-второго-админа-operations-engineer-в-команду-медузы-919b9f033f01

Scaleway демпингует по-жесткому, сравните их новое Intensive Workloads предложение с аналогом в DigitalOcean.

Пятничное чтение: мы делаем слишком тяжелые сайты при том, что у многих людей медленный интернет.

Может показаться оторванным от реальности брюзжанием, если бы не пример с AirBnB (сайт ломается при медленном интернете, а ведь именно в путешествии он такой).

Интересная цитата:
When I was at Google, someone told me a story about a time that “they” completed a big optimization push only to find that measured page load times increased. When they dug into the data, they found that the reason load times had increased was that they got a lot more traffic from Africa after doing the optimizations. The team’s product went from being unusable for people with slow connections to usable, which caused so many users with slow connections to start using the product that load times actually increased.

https://danluu.com/web-bloat/

Разбавим томный рабочий день https://github.com/search?utf8=%E2%9C%93&q=remove+password&type=Commits&ref=searchresults

Дело в том, что часто программисты сначала пишут пароль от систем прямо в коде, а уже потом переносят его в секретный файл конфигурации. Тот неудобный момент, когда оказалось, что исходный код и вся история его правок доступна всему миру.

Мы с друзьями-коллегами долго ломали голову, зачем все крупные игроки / модные стартапы держат данные в облаке, когда ежу понятно, что железо+админ почти всегда дешевле, чем все эти квадриллионы value added services, разработку и поддержку которых осуществляют очень хорошо оплачиваемые инженеры. Ну и админ вам понадобится в любом случае :troll:.

И недавно дошло - дело ведь в искусственном интеллекте, машинном обучении. Вот тут с Google, Microsoft и особенно Amazon тягаться бессмысленно. Лучшие команды ученых, неограниченные вычислительные мощности. И готовые API, которые доступны за вполне разумную цену. Если вы держите данные у провайдера в облаке. Если нет - тут уже совсем другой разговор, и не факт, что вообще получится.

Вот все и катят свои snowmobileы в гигантские дата-центры бегемотов. Аминь.

Вот Amazon начал и обычным смертным объяснять, как использовать их АПИ, умея только Hello world. https://aws.amazon.com/blogs/ai/welcome-to-the-new-aws-ai-blog/

В суперкомпьютерной платформе IBM стоимостью 300 миллионов долларов нашли уязвимость, позволяющую украсть петабайты пользовательских данных. (Тот самый адов бигдата.)

Уязвимость - не многоступенчатый 0-day, а детская ошибка в конфигурации системы виртуализации, про которую можно прочитать в документации. Нашёл не супер хакер, а обычный технарь за вечер.

Это к вопросу о безопасности.

Статья достойна прочтения целиком - сколько они патчили ошибку и сколько заплатили нашедшему - не буду спойлить.

https://wycd.net/posts/2017-02-21-ibm-whole-cluster-privilege-escalation-disclosure.html

MS исследует возможность строить контейнерные дата-центры в море, когда пачку серверов и свитчей запаивают в отрезок толстой железной трубы (типа подлодки) и держат под водой. Контейнеры можно добавлять во флотилию по-необходимости, не строя зданий. Ну и серьезная экономия на охлаждении.

Насчет того, что нельзя поменять сломавшийся жесткий диск или сервер (контейнер-то запаян): уже сейчас крупные площадки меняют серверный стойки только целиком, чинить серверы по-одному экономически нецелесообразно.

Основная проблема — моллюски, которые начинают жить на внешней оболочке контейнеров, они мешают охлаждению.

http://spectrum.ieee.org/computing/hardware/want-an-energyefficient-data-center-build-it-underwater

(пошучу, что MS-то поисследует, а сливки соберут, как всегда, Google и Amazon)

схема

тестовый контейнер

Исследователи из CWI и Гугла представили практическую атаку на SHA1.

SHA1 — это хэш-функция, то есть алгоритм, создающий цифровой отпечаток файла. Редактируешь хоть одну букву в гигантском файле и отпечаток меняется радикально, никак не перепутаешь. Файлы большие, а отпечатки — маленькие. Теория информации и теория множеств доказывает, что в такой ситуации всё-таки существуют два разных файла, имеющих один и тот же отпечаток. Вся суть хэш-функций в том, чтобы подобрать второй файл было как можно сложнее, читай практически невозможно.

SHA1 придумали в 1995 году в NSA (том самом агенстве национальной безопасности США) и с тех пор он активно использовался для большинства HTTPS-сертификатов в интернете. В 2005-м году исследователи обнаружили слабость в алгоритме, позволявшую теоретически произвести атаку на коллизии — подобрать второй файл с таким же отпечатком SHA1, что и у заданного первого файла. Начиная с 2010 сертификаты начали по-умолчанию использовать SHA2 или SHA3 — более свежие версии алгоритмов.

Но это всё были умные научные статьи, где пропускаешь формулы, потому что доверяешь научному сообществу и смотришь только на выводы.

Тут же можно самому скачать две разные PDF-ки, у которых совпадают SHA1. Довольно мощное впечатление.

Теперь модно давать крупным атакам имя и делать персональные сайты-объяснения. Встречайте https://shattered.io/

Помните, какой страшный FB? А вот люди, которые делают AI для него.

https://backchannel.com/inside-facebooks-ai-machine-7a869b922ea7

Крутая история, разворачивающаяся прямо сейчас: крупнейший CDN CloudFlare (им пользуются тысячи сайтов) сливал личные данные пользователей в паблик в течении месяцев. https://medium.com/@samat/cloudflare-сливал-данные-пользователей-в-паблик-в-течении-месяцев-c4add72b2143

У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.

Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.

Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.

За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673

Мы в медузе используем s3 для хранения картинок, но при этом очень агрессивно кешируем все на своём самодельном CDN, так что пока эффекта нет (upd: с европейским амазоном пока всё ок).

Конечно, есть сервисы, где простой недопустим - но их обычно программируют люди, разбирающиеся в термине "единая точка отказа". Всем остальным можно расслабиться и запастись попкорном, такое не часто случается.