История ещё не закончилась - админы продолжают восстанавливать эту многострадальную базу до сих пор - в прямом эфире! Стабильно 5000 вьюверов. https://m.youtube.com/watch?v=nc0hPGerSd4

Впервые столкнулся с антиспамом/антифишингом в ФБ https://medium.com/@samat/приключения-одной-статьи-в-фб-71b8b534d5d

(поправил ссылку, у части читателей была 404)

Страшная статья про Facebook от data-science ученого: http://veekaybee.github.io/facebook-is-collecting-this/

Вкратце: записывают абсолютно всё, ничего не удаляют и эксперименты проводят какие захотят (это самая жуткая часть, на самом деле).

Тот нашумевший эксперимент фб провел ещё в 2012 году, научная статья о нем вышла в 2014. Статья оказалась плохим PR-ом, так что больше мы о таких опытах не узнаем.

Ищу второго системного администратора в Медузу. Работа удаленная, подробное описание вакансии внутри: https://dev.meduza.io/поиск-второго-админа-operations-engineer-в-команду-медузы-919b9f033f01

Scaleway демпингует по-жесткому, сравните их новое Intensive Workloads предложение с аналогом в DigitalOcean.

Пятничное чтение: мы делаем слишком тяжелые сайты при том, что у многих людей медленный интернет.

Может показаться оторванным от реальности брюзжанием, если бы не пример с AirBnB (сайт ломается при медленном интернете, а ведь именно в путешествии он такой).

Интересная цитата:
When I was at Google, someone told me a story about a time that “they” completed a big optimization push only to find that measured page load times increased. When they dug into the data, they found that the reason load times had increased was that they got a lot more traffic from Africa after doing the optimizations. The team’s product went from being unusable for people with slow connections to usable, which caused so many users with slow connections to start using the product that load times actually increased.

https://danluu.com/web-bloat/

Разбавим томный рабочий день https://github.com/search?utf8=%E2%9C%93&q=remove+password&type=Commits&ref=searchresults

Дело в том, что часто программисты сначала пишут пароль от систем прямо в коде, а уже потом переносят его в секретный файл конфигурации. Тот неудобный момент, когда оказалось, что исходный код и вся история его правок доступна всему миру.

Мы с друзьями-коллегами долго ломали голову, зачем все крупные игроки / модные стартапы держат данные в облаке, когда ежу понятно, что железо+админ почти всегда дешевле, чем все эти квадриллионы value added services, разработку и поддержку которых осуществляют очень хорошо оплачиваемые инженеры. Ну и админ вам понадобится в любом случае :troll:.

И недавно дошло - дело ведь в искусственном интеллекте, машинном обучении. Вот тут с Google, Microsoft и особенно Amazon тягаться бессмысленно. Лучшие команды ученых, неограниченные вычислительные мощности. И готовые API, которые доступны за вполне разумную цену. Если вы держите данные у провайдера в облаке. Если нет - тут уже совсем другой разговор, и не факт, что вообще получится.

Вот все и катят свои snowmobileы в гигантские дата-центры бегемотов. Аминь.

Вот Amazon начал и обычным смертным объяснять, как использовать их АПИ, умея только Hello world. https://aws.amazon.com/blogs/ai/welcome-to-the-new-aws-ai-blog/

В суперкомпьютерной платформе IBM стоимостью 300 миллионов долларов нашли уязвимость, позволяющую украсть петабайты пользовательских данных. (Тот самый адов бигдата.)

Уязвимость - не многоступенчатый 0-day, а детская ошибка в конфигурации системы виртуализации, про которую можно прочитать в документации. Нашёл не супер хакер, а обычный технарь за вечер.

Это к вопросу о безопасности.

Статья достойна прочтения целиком - сколько они патчили ошибку и сколько заплатили нашедшему - не буду спойлить.

https://wycd.net/posts/2017-02-21-ibm-whole-cluster-privilege-escalation-disclosure.html

MS исследует возможность строить контейнерные дата-центры в море, когда пачку серверов и свитчей запаивают в отрезок толстой железной трубы (типа подлодки) и держат под водой. Контейнеры можно добавлять во флотилию по-необходимости, не строя зданий. Ну и серьезная экономия на охлаждении.

Насчет того, что нельзя поменять сломавшийся жесткий диск или сервер (контейнер-то запаян): уже сейчас крупные площадки меняют серверный стойки только целиком, чинить серверы по-одному экономически нецелесообразно.

Основная проблема — моллюски, которые начинают жить на внешней оболочке контейнеров, они мешают охлаждению.

http://spectrum.ieee.org/computing/hardware/want-an-energyefficient-data-center-build-it-underwater

(пошучу, что MS-то поисследует, а сливки соберут, как всегда, Google и Amazon)

схема

тестовый контейнер

Исследователи из CWI и Гугла представили практическую атаку на SHA1.

SHA1 — это хэш-функция, то есть алгоритм, создающий цифровой отпечаток файла. Редактируешь хоть одну букву в гигантском файле и отпечаток меняется радикально, никак не перепутаешь. Файлы большие, а отпечатки — маленькие. Теория информации и теория множеств доказывает, что в такой ситуации всё-таки существуют два разных файла, имеющих один и тот же отпечаток. Вся суть хэш-функций в том, чтобы подобрать второй файл было как можно сложнее, читай практически невозможно.

SHA1 придумали в 1995 году в NSA (том самом агенстве национальной безопасности США) и с тех пор он активно использовался для большинства HTTPS-сертификатов в интернете. В 2005-м году исследователи обнаружили слабость в алгоритме, позволявшую теоретически произвести атаку на коллизии — подобрать второй файл с таким же отпечатком SHA1, что и у заданного первого файла. Начиная с 2010 сертификаты начали по-умолчанию использовать SHA2 или SHA3 — более свежие версии алгоритмов.

Но это всё были умные научные статьи, где пропускаешь формулы, потому что доверяешь научному сообществу и смотришь только на выводы.

Тут же можно самому скачать две разные PDF-ки, у которых совпадают SHA1. Довольно мощное впечатление.

Теперь модно давать крупным атакам имя и делать персональные сайты-объяснения. Встречайте https://shattered.io/

Помните, какой страшный FB? А вот люди, которые делают AI для него.

https://backchannel.com/inside-facebooks-ai-machine-7a869b922ea7