Так-так-так, Гугл. Пытаемся получить доступ к bluetooth при попытке авторизоваться?

Удивительно, но на собственном опыте понял, почему бизнесу выгодно инвестировать в психотерапию сотрудников.

Потому что терапия помимо прочего учит ассертивности — вкратце, это такое умение не думать о том, что о тебе подумают, если ты что-то сделаешь или скажешь. Это позволяет признаваться, что ты не знаешь или не понимаешь чего-то, не брать на себя чужую ответственность, выстраивать границы, позволять себе ошибаться.

Разумеется, это доступно не только людям, прошедшим психотерапию, но по моему опыту это скорее исключение, чем правило.

Чем это полезно на работе?
— здоровые отношения между коллегами;
— более счастливые сотрудники из-за умения выстраивать work-life balance;
— адекватное отношение к своим ошибкам и ошибкам других;
— отстутствие безосновательной боязни конфронтации с поставщиками и клиентами;
— умение отстаивать свою правоту.

То есть представьте, сотрудник, прошедший психотерапию — это (ну, если всё остальное в порядке) человек, который поддерживает хорошие отношения с коллегами, хороший руководитель: позволяет совершать ошибки другим, не убивается от собственных ошибок, не страдает от «синдрома самозванца», счастлив, потому что посвящает время и себе/семье и работе, так ещё и не стесняется и не боится отстаивать интересы компании в переговорах. Мне кажется, классно. Компании, эксплуатирующие психологические проблемы сотрудников, безусловно должны уйти в прошлое.

Интернет обсуждает “The Kinesis Incident”, случившийся пятью днями ранее и повлёкший массовый даунтайм во всём us-east-1, самом важном регионе AWS.

Согласно опубликованному post-mortem, проблема возникла при плановом вводе новых фронтенд-нод Kinesis (сервиса для риалтайм процессинга потоков данных) отвечающих за приём и направление запросов на правильные бэкенд-ноды. В работе фронтов используется shard-map, такой кэш о том, куда какие потоки должны направляться. Фронт-серверы поддерживают между собой связь, создавая thread для каждого соединения. В результате ввода новых нод в кластер, количество активных тредов, созданных на нодах, превысило лимиты ОС.

Полное восстановление после аварии заняло больше 12 часов, из них четыре с половиной инженеры AWS искали причину. По результатам аварии они планируют использовать более мощные сервера, снизив их количество, начать мониторить количество свободных тредов и провести тесты для увеличения лимита в ОС.

Всё это довольно стандартная история, но общественность обсуждает такой аспект: вместе с Кинезисом упал CloudWatch, амазоновский сервис мониторинга всего на свете, что потянуло за собой недоступность Lambda, ECS и EKS, иными словами, сервисов, которые вообще на первый взгляд с Кинезисом не связанные, но использующие его глубоко под капотом.

Никто не знает эти подкапотные связи и появляющиеся как грибы после дождя сервисы в AWS становятся всё сильнее и сильнее зависимы друг от друга. При этом мы даже не знаем, как именно, не знаем, насколько они изолированы и не станет ли неполадка в каком-то не очень популярном сервисе следующей причиной массового даунтайма длиною в день накануне Чёрной Пятницы.

Кстати, согласно традиции, Service Health Dashboard, в котором публикуются сообщения об авариях долгое время «горел зелененьким», потому что... да-да, выход из строя Кинезиса повлёк за собой недоступность сервиса Cognito, использующегося для авторизации персонала в дашборде, и какое-то время они вспоминали, что у них вообще-то есть протокол на этот случай 🤡

Начался re:Invent, ежегодная конференция AWS, на которой они представляют новые услуги и сервисы. Я не уверен, что у меня получится эффективно следить за новинками, там три недели презентаций и лекций, но я лично слежу за тем, что касается «традиционных» serverless, dynamodb, ec2 и так далее, так что о чём-то всё-таки расскажу.

Lambda теперь биллит с точностью до миллисекунды! Это тектоническое изменение и потенциально огромная куча сэкономленных денег для тех, кто запускает много мелких лямбд. Комикс (см. ниже) больше не актуален, ура! (это изменение улетело в продакшен слишком рано, официального анонса нет, но я проверил на своём аккаунте: Duration: 54.23 ms Billed Duration: 55 ms)

В EC2 появились macOS инстансы! Будут доступны mac mini с процессорами Intel и 32Гб оперативки, а в следующем году и Apple Silicon инстансы. Особенность — арендуется целый сервер, без виртуализации, то есть все ресурсы макминика будут ваши. Цен я пока не нашёл.

#reinvent

​​Прошёл первый keynote AWS re:Invent, вот самое интересное (для меня):

— AWS S3 теперь strong consistent! Иными словами, теперь гарантированно чтение объекта сразу после записи вернёт нужные данные. О, это классно.

— Новые gp3 volumes для EBS. Апгрейдите ваши вольюмы до gp3 — получаете уменьшенную на 20% стоимость и прибавку в производительности.

— Миллисекундная точность биллинга в Лямбде подтверждена официально. Обратите внимание, что Lambda@Edge так и осталась с округлением до 50 мс.

Тут надо остановиться подробнее — AWS словили много хайпа на этой новости, и я написал про это как про важное изменение, простите. Как подсказывают коллеги, экономия, какой бы она ни была, в абсолютных числах для каждого пользователя будет не очень большой — Lambda сама по себе очень дёшевая.

— Поддержка запуска Lambda-функций в ваших контейнерах размером до 10 Гб. При этом обещают очень быстрый холодный старт. Вкупе с новым рантаймом на 10 Гб памяти и 6 vCPU для лямбды, выглядит очень неплохо. Можно даже какие-то ML-штуки запускать в лямбде.

— Aurora Serverless v2, новая версия managed db (mysql, в начале следующего года PostgreSQL), которая умеет скейлиться как в 0, так и в «бесконечность», теперь — за доли секунды. Настоящий геймчейнджер (если всё правда так классно, как они обещают), так как managed СУБД сейчас одна из самых дорогих частей стандартной LAMP-архитектуры в облаке. Теперь больше проектов смогут переехать на базу, которая может скейлиться под нагрузку автоматически. Это определённо тот сервис, на который надо смотреть, если вы не готовы переходить на DynamoDB и ваша нагрузка не постоянна.

— AWS Proton, новый сервис для автоматического менеджмента для контейнерезируемых и серверлесс приложений. Честно говоря, даже не смог сразу понять, что это такое. Оказалось, что не я один. Вот твиттер-тред с объяснением. Спойлер: если у вас в команде меньше 15 человек, скорее всего, это не для вас.

Другие новинки в обновляемом блог-посте от AWS, enjoy.

P.S. Так как амазоновской назменой станцией для связи со спутниками уже никого не удивишь, в этом году моим фаворитом будут сенсоры, устанавливающиеся на промышленное оборудование, которые снимают показания вибрации и температуры, анализируют и пытаются предсказать поломки с помощью ML-технологий (на фото).

#reinvent

​​Появилась реализация алгоритма из 2006 года, который описывает метод, который позволяет депикселизировать текст.

На вход программа получает пикселизированное изображение и алфавит набранный предполагаемым шрифтом в таком же размере. На выходе — довольно точная догадка, что скрывается за пикселизацией.

https://github.com/beurtschipper/Depix

Пару лет назад мне посоветовали книгу Finansowy Ninja (Финансовый Ниндзя) польского блогера Михала Шафраньского. Эта книга помогла мне убедиться, что мой подход к домашнему бюджету правильный, помогла начать откладывать деньги и дала достаточно уверенности, чтобы я начал инвестировать.

Фактически это всеобъемлющая энкциклопедия финансовой грамотности. И мне безумно жаль, что я не знаю ничего подобного на русском языке, чтобы посоветовать вам. Бóльшая часть подобных книг написаны американскими авторами для американцев, платящих американские налоги и инвестирующих в американские компании. Эти реалии сильно отличаются от наших, а книга Михала оказалась мне намного ближе и понятнее.

Один из советов в этой книге — экономить в первую очередь на повторяющихся тратах, например, абонементе в спортзал или аренде за квартиру. Выторгованные (хм, мне одному кажется, что у этого слова в русском языке негативная коннотация?) у лендлорда три тысячи рублей в месяц складываются в 36 000 рублей за год.

В бизнесе/отделе/проекте довольно значительная (если не бóльшая) часть расходов — повторяющаяся, при этом масштабы совершенно другие. Неделя переговоров и сэкономленные на CDN или серверах 200 000 рублей в месяц по итогам года дадут 2,4 миллона рублей.

Мне кажется, это классно.

Два с половиной года назад я писал о том, что статическая генерация сайтов и всяческий serverless, где никому больше не придётся настраивать сервер — это next big thing, и так оно и происходит.

Сейчас мне хочется рассказать про следующий хайп-трейн, который несёт нас в светлое будущее. Это Privacy First.

Самыми заметными пионерами этого подхода были, кажется, Mozilla, но в своё время мир не был сильно озабочен прайваси, чтобы обратить на это достаточное внимание. Потом случился Сноуден, превращение Google в корпорацию зла, скандалы с Facebook. В это время Дуров запускает Telegram под эгидой безопасности, Apple выключает third-party cookies в Safari, Евросоюз вводит GDPR, а Фейсбуку хочешь-не хочешь приходится озаботиться персональными данными пользователей.

Что такое Privacy First? Давайте на примерах. Privacy-first поисковик не собирает историю ваших поисков и вообще никак не отслеживает ваши персональные данные. Ему достаточно вашего запроса, чтобы показать релевантную рекламу, а вам достаточно закрыть страницу, чтобы интернет забыл, что вы только что искали. Privacy-first аналитика вообще не использует куки, потому что можно захэшировать ваш IP и user-agent, чтобы использовать их как ваш уникальный обезличенный идентификатор на ближайшие сутки.

Privacy First — это подход, в котором на первое место ставится приватность пользователя. Это когда вы не собираете ненужные персональные данные своих юзеров и не даёте их собирать кому попало. Виджету live support на сайте не нужно ставить куку и записывать IP пользователя до того момента, как он заполнил обращение, так зачем же они это собирают? Или зачем виджету лайка нужно запоминать, какую статью я открыл до того, как я нажал like? И, я думаю, GDPR сильно подтолкнёт (подтолкнул?) компании к осознанному подходу к сбору персональных данных. Например, прежде, чем поставить пользователю куку Google Analytics, каждый сайт должен спросить на это разрешение; аналогично с эмбедами постов из Facebook и так далее. И у компаний на самом деле есть выбор — можно не ломать свой сайт отстойнешими баннерами и не использовать решения, которые зачем-то отслеживают всех подряд.

Поводом для этого поста стал релиз privacy-first системы аналитики от Cloudflare. Эта аналитика будет работать даже без запроса разрешения пользователя, потому что куки не ставятся, да и вообще, никакие персональные данные, даже IP, не собираются. Впрочем, мне пока больше нравится аналогичный стартап Fathom Analytics (реф. ссылка с бонусом $10, вот ссылка без бонуса ). Я наткнулся на него, когда передо мной возник именно этот вопрос — почему я должен портить UX проекта только потому что Google хочет всех отслеживать?! И я очень рад, что соответствующее решение нашлось.

Быть privacy-first — это win-win для всех, кроме желающего вас отслеживать Google и Facebook. Но и их годы безумного вторжения в нашу личную жизнь сочтены. GDPR, который по началу не вызывал ничего, кроме раздражения, стал одним из самых моих любимых интернет-законов. Я верю, что он изменит отношение людей к своей privacy, он заставит измениться корпорации. Вот увидите, гигантам придётся прогнуться и равняться на Apple.

В 2021 все новые проекты и сайты должны быть privacy-first и активно об этом заявлять.

GDPR подразумевает, что вы знаете все компании, с которыми вы делитесь персональными данными пользователей и заключили с ними специальный договор (DPA).

Все крупные сервисы сделали возможность заключить подобный договор (который описывает, помимо прочего, какие данные и как собираются), сведя это в целом к формальности. Как вариант, каждый сервис может также в своей Privacy Policy заявить о том, что никаких персональных данных он не собирает — в таком случае договариваться не о чем.

Но есть один сервис, который используется почти на каждом сайте, и который до сих пор не сделал ни того, ни другого. Это Google Fonts. Вот issue с огромным обсуждением этого кейса: по какой-то причине Google не хочет прямо указать, какие данные они собирают от пользователей Google Fonts. В результате, во всяком случае в теории, чтобы соблюдать GDPR, европейские сайты не должны грузить шрифты с CDN Google Fonts.

Google в своём официальном ответе отсылает к FAQ, который говорит о том, что ничего не отслеживается и не хранится, а все запросы вообще кэшируются на уровне браузера. Проблема в том, что это не юридический документ, в отличии от Privacy Policy. Почему Google за два года не описали политику приватности для этого сервиса, неизвестно.

А вы знали, что Cloudflare использует лава-лампы в качестве одного из генераторов случайных чисел?

Всё дело в том, что компьютеры сами по себе очень предсказуемые, и на одинаковые входные данные программы выдадут одинаковый результат. В то же время случайность (randomness) очень важна для любой современной криптографии — она базируется на генерации больших случайных чисел и в ситуации, когда можно предсказать, какое число будет сгенерировано в определённый момент, шифр становится уязвим. Cloudflare — компания, отвечающая более, чем за 15% мирового трафика и для шифрования интернет-соединения они используют в том числе фотографии стенда с лава-лампами, которые в каждый момент времени по-настоящему уникальны. Помимо этого стенда компания также использует маятник в Лондоне и радиоактивный уран в Сингапуре для получения по-настоящему рандомных чисел.

https://www.youtube.com/watch?v=1cUUfMeOijg

​​Бесплатный open-source status page и мониторинг аптайма, основанный на GiHub Actions.

https://upptime.js.org

Ещё один пример, что можно сделать, базируюясь исключительно на serverless и no code.

Если вы заметили, что в последнее время GMail или любой другой популярный поисковик, которым вы пользуетесь, стал добавлять в спам вполне безобидные письма, то я думаю, я знаю в чём дело.

В связи с популяризацией SPF, DKIM и, что самое главное, DMARC, письма, которые вы получаете всё чаще и чаще бывают настроены таким образом, что принимающий сервер имеет право отправить их в спам в случае, если не валидируется криптографическая подпись, которую может знать только легитимный отправитель, или если письмо было отправлено через сервис или с IP-адреса, которые не указаны как доверенные администратором домена-отправителя.

Иными словами, всё чаще и чаще ваш почтовый сервис, получая письма, адресованные вам, может отправлять их в спам просто на основании метаданных. Казалось бы, всё отлично, ведь правильные метаданные может установить только настоящий владелец домена. Но не всё так просто.

Многие люди пользуются одним ящиком, на который форвардят письма, например, с рабочей почты. В целом такой способ организации инбокса для многих стал стандартом, GMail даже имеет классную настройку «отвечать от имени того аккаунта, на которое пришло письмо».

И вот в тот момент, когда письмо отправляется автоматической переадресацией с вашей рабочей почты на личную, его метаданные меняются, например, IP-адрес реального отправителя меняется на адрес сервера вашей рабочей почты. И сервер вашей персональной почты отправляет такое письмо в спам, потому что не может валидировать отправителя.

Ровно то же самое происходит с группами Google, которые многие используют как сборный ящик для нескольких получателей, но там Google придумала решения, переотправляя письмо от имени группы (таким образом в поле «от» встаёт имя группы, а реальный отправитель вставляется в Reply-to).

Но с обычными ящиками это не происходит, и всё больше и больше почты уходит в спам.

Вы знали, что таймер на айфоне вам лжёт и показывает ненастоящее время?

TL;DR время отображается с надбавкой 500мс, таким образом делая считывание времени более интуитивным.

https://lukashermann.dev/writing/why-the-iphone-timer-displays-fake-time/

Гитхаб теперь полностью доступен для разработчиков из Крыма и Ирана: Майкрософту удалось договориться с американским правительством.

https://github.blog/2021-01-05-advancing-developer-freedom-github-is-fully-available-in-iran/

Ого, JetBrains TeamCity находится в центре расследования Минюста США по делу о «российских хакерах» — предположительно, взломщики получили доступ к государственной внутренней сети с помощью уязвимостей в ПО чешской компании или использовав скомпрометированные пароли пользователей. Помимо Минюста о взломе их приватной сети 31 декабря сообщила Microsoft. JetBrains пообещали полное сотрудничество с американскими властямич

https://www.nytimes.com/2021/01/06/us/politics/russia-cyber-hack.html

​​Modern problems require modern solutions.

https://www.bufferi.ng/ — имитируй плохое качество соединения в Zoom.

Классный рассказ секьюрити-исследователя о том, как ему удалось перехватить контроль над целой доменной зоной независимого государства, что в теории могло привести к созданию десятка разных векторов атаки от DDoS до подделки SSL-сертификатов и MitM.

https://labs.detectify.com/2021/01/15/how-i-hijacked-the-top-level-domain-of-a-sovereign-state/