Technologique
660 subscribers
143 photos
3 videos
42 files
945 links
Deeply involved developers about various aspects, tendencies & conceptions of programming technologies, FLOSS, Linux, security, cloud infrastructures & DevOps practices, distributed systems, data warehousing & analysis, DL/ML, web3, etc.
Author: @andrcmdr
Download Telegram
Когда баги пофиксены, всё покрыто тестами и мониторится на тестовом инстансе уже месяц, и приходит осознание работоспособности кода - ты доволен собой, ЧСВ зашкаливает
Заказчик тоже доволен =)
Но ничто уже не приносит большей радости, чем осознание работоспособности созданного кода
А дальше только тлен, тьма и пустота...
Тщетно бытие!
Возможно, когда твоя душа и сознание проскиллуются до уровня понимания тонких материй - тонкое астральное тело покинет бренное тело и обретёт покой...
А бренное физическое тело сгорит на удалённой работе...
Твои коллеги развеют его по ветру из банки кофе Folgers (отличный кофе кстати) =)
В Docker большие изменения в позиционировании продукта и модели разработки - новая нумерация версий (год.месяц) и разделение на Docker Community Edition (CE) и Docker Enterprise Edition (EE)

https://www.docker.com/enterprise-edition

https://blog.docker.com/2017/03/docker-enterprise-edition/

http://www.eweek.com/enterprise-apps/docker-debuts-enterprise-edition-to-advance-container-deployments.html
"The real work is in the details" - Linus Torvalds.

https://youtu.be/Efi9wa4Fwds

Беседа Джима Землина, исполнительного директора The Linux Foundation, с Линусом Торвальдсом на конференции Open Source Leadership Summit 2017, прошедшей буквально недавно, 14-16 февраля, на озере Тахо в Калифорнии.

Эту беседу уже разобрали на цитаты. Особенно цитируемым стало высказывание про инновации. Но всё это было вырвано из контекста вопроса, заданного Линусу. Поэтому советую посмотреть видео - Линуса всегда интересно послушать, ведь только вдумайтесь несколько крупным Open Source проектом он управляет - разработкой самого широко используемого ядра для ОС - Linux.
Также, всегда интересно послушать Брюса Шнайера, широко известного криптографа, специалиста по информационной безопасности, автора симметричных криптошифров BlowFish, TwoFish и ThreeFish, а также множества книг по криптографии и информационной безопасности.
Особенно это интересно в свете последних событий - публикации Google быстрого метода нахождения коллизий в алгоритме хэширования SHA1 для разреженных файлов, форматов типа PDF.
Коллизии алгоритмов хэширования - это приведение двух разных разреженных файлов (например бинарных образов диска) методом недеструктивной комплиментации к виду, дающему одинаковый хэш, чего вообще быть не должно, каждый хэш должен быть уникален для входящего набора данных.
Если очень упрощённо, это опасно тем, например, что при применении таких алгоритмов к хэшированию паролей, злоумышленник проводящий коллизионную атаку может за приемлемое время не зная исходного пароля подобрать другой пароль, с таким же хэшем и система будет скомпрометирована.
Хэши также используются проверки цифровых подписей, для проверки публичных ключей в асимметричных алгоритмах шифрования (DSA, ElGamal, RSA, который используется в SSL и TLS для HTTPS протокола), и вообще для проверки целостности и идентификации в широком спектре задач.
На уязвимость и возможность проведения коллизионных атак на алгоритмы хэширования специалисты по криптоанализу указывали давно - слабыми к коллизиям считаются MD4, MD5, SHA1 и SHA256, устойчивыми считаются SHA3, SHA512, Whirlpool, с большей разрядностью и соответственно длиной и уникальностью хэша.

https://youtu.be/8tDU0zcptCY
Опубликованы результаты исследования сообщества пользователей Go на основе проведённого в декабре прошлого года опроса. В ноябре прошлого года проекту языка Go исполнилось семь лет.

https://blog.golang.org/survey2016-results

Из исследования видно шаблонное мышление массы участников и что информация об изменениях, нововведениях и токостях работы языка и компилятора Go не достигает пользователей языка - люди по прежнему хотят дженерики, контроль зависимостей и IDE, когда в Go это всё есть (generics, Gogland IDE) и многое даже было изначально (модульность и контроль зависимостей, через go build).

Чего действительно не хватает в Go так это единой и стройной экосистемы/инфраструктуры/репозитория пакетов и документации (однако, есть go doc и https://godoc.org), и хорошего пакетного менеджера в Tools языка (однако, есть go get, go install, go list), тесно интегрированного с Git и GitHub, и Go Tools (go fmt, import correction).

Менеджеров пакетов очень много:
https://github.com/golang/go/wiki/PackageManagementTools
Есть нативные встроенные возможности Go Tools (go get, go install, go list, go build):
https://golang.org/cmd/go/#hdr-Download_and_install_packages_and_dependencies
https://golang.org/cmd/go/
https://golang.org/cmd/
https://golang.org/doc/cmd
https://golang.org/doc/
Есть пара классных подкастов по Go - GoTime на английском и GolangShow на русском.
Все ведущие - профессиональные разработчики.

GoTime Podcast:
http://gotime.fm
https://changelog.com/gotime
https://twitter.com/gotimefm
https://github.com/GoTimeFM/ping

GolangShow:
http://golangshow.com
Очень печальная новость. 😔
Знаменитый исследователь информационной безопасности Крис Касперски (Николай Лихачёв) погиб при прыжке с парашютом 10 февраля этого года.

Последнее видео прыжка #253 с парашютом с экшн-камеры на его канале YouTube было опубликовано 9 февраля:
https://youtu.be/K9bT2dXsMrM

Крис увлекался парашютным спортом давно - на его счету было более 250 прыжков.

Последний коммит в его репозитории был от 7 февраля:
https://github.com/kris-kaspersky/flysight/commit/8c95bacb1c5039a60c458d973110765cc45df7ee

https://github.com/kris-kaspersky/flysight/tree/master/logs/17-02-06

Коммит содержит лог GPS трекера о прыжке, совершеённом 5 февраля:
2017-02-05T19:36:02.80Z 27.8172526 -80.5006010

http://www.openstreetmap.org/?mlat=27.8172526&mlon=-80.5006010#map=12/27.8172526/-80.5006010

10 февраля произошёл инцидент при прыжке на низкой высоте - позднее раскрытие парашюта привело к жёткой посадке и тяжёлым травмам головы и ноги, после которых Крис уже не оправился. 18 февраля его отключили от аппаратов искусственного жизнеобеспечения, т.к. электроэнцефалограмма не показывала никаких признаков мозговой активности. [1][2][3][4][5]
Крису было 40 лет.

Он написал много интересных статей и вдохновляющих книг по информационной безопасности и реверс инженерингу, и очень сильно своими книгами повлиял на мои взгляды и мировоззрение.

В второй половине 2008-го года Крис опубликовал информацию о низкоуровневых уязвимостях в микрокоде процессоров Intel, которые могут быть проэксплуатированы удалённо с эскалацией привелегий и исполнением кода в пространстве привелегий ядра, ring0. Эксплоит-код этих уязвимостей тогда так и не был предан публичности. В конце года Крис выступил с докладом об этом на конференции по информационной безопасности Hack in the Box в Куала-Лумпуре в Малайзии, где был продемонстрирован proof-of-concept JavaScript код эксплоита данных уязвимостей для его исполнения браузерным движком SpiderMonkey (Mozilla Firefox). Будучи на конференции он уже полгода как работал в компании Endeavor Security, после чего он переехал в США, город Рестон в штате Вирджиния. В 2009-м Endeavor Security стала частью McAfee, а в 2010-м году McAfee была куплена Intel. В 2014 McAfee переименовали в Intel Security и в 2016 году Intel продала контрольный пакет 51% акций фонду TPG Capital.
Более подробно можно прочитать в статье - https://xakep.ru/2012/12/30/kris-kasperski/

Интервью с Крисом, уже после того как он уехал из России в США и начал работу в подразделении безопасности McAfee в Intel.
https://xakep.ru/2011/01/12/54475/ - см. часть "Северная Америка и Крис Касперски"

С 2013 года Крис работал в Check Point Security и в последнее время планировал переезд в штат Флорида.

https://xakep.ru/2017/03/07/kris-kasperski-rip/

Светлой памяти Криса Касперски и мои искренние соболезнования всем родственникам и друзьям
These techniques permit the CIA to bypass the encryption of WhatsApp, Signal, Telegram, Wiebo, Confide and Cloackman by hacking the "smart" phones that they run on and collecting audio and message traffic before encryption is applied.
http://telegra.ph/Wikileaks-Vault7-NEWS

https://twitter.com/durov/status/839184766998044672

АНБ и ЦРУ не сломало криптозащиту секретных чатов Телеграм - они ломают пратформы! Упоминание любых мессенджеров - это дезинформация!


Тем не менее сути проблемы это не меняет - мобильные (и не только мобильные - Windows в ту же топку) платформы оказались скомпрометированы на уровне сетевых сокетов и сетевого стэка ОС в которых намеренно (с доплатой и содействием 😉) оставляют бэкдоры для извлечения приватных ключей шифрования прямо с устройств и чтения "шифрованных" чатов, и даже перехвата всех данных ещё до их шифрования на прикладном уровне!
Все данные - согласно утечке WikiLeaks - https://wikileaks.org/ciav7p1/
Более того - ваш умный телик с мобильной ОС тоже за вами присматривает. 😉 Про телевизоры Samsung это известно уже давно.
А ещё ассистенты, Amazon Echo+Alexa, Google Home, умные часы, носимая электроника, IoT... Рай для датамайнинга - отсюда и берутся большие данные для целей информационной разведки.
Забудьте про приватную частную жизнь - с программируемыми устройствами и закрытым (и даже с открытым) кодом это невозможно!
To become a giant, you may have to stand on the shoulders of others.Isaac Newton rephrasing

Год назад Wired писали о самом масштабном переносе данных в истории - об исходе сервиса DropBox из облачной инфраструктуры Amazon Cloud. [1]

https://www.wired.com/2016/03/epic-story-dropboxs-exodus-amazon-cloud-empire/

Посмотрите обязательно видео в заголовке статьи - на нём те самые петабайтные машины Diskotech, которые относительно компактны, но стойка с ними имеет вес автомобиля.

Меня больше всего поразила часть "Too Big to Scale" ("Слишком огромны для масштабирования").
Инженеры DropBox (как и других больших компаний) разрабатывают своё кастомное железо для дисковых массивов - машины Diskotech. Один слой в одной стойке такой системы, ящик размером 1.5 фута в ширину на 3.5 фута в длину и 6 дюймов в высоту, имеет ёмкость в петабайт данных. 50 таких ящиков способны хранить практически всю письменную информацию человечества. Софт, управляющий таким дисковым массивом, позволяющий выполнять быструю горячую замену носителей и резервное копирование между носителями, назвали Magic Pocket. Благодаря ему DropBox способен хранить сотни петабайт данных в датацентрах. При этом эффективность хранения естественно на много превышает показатели Amazon, который только ограничивал рост компании DropBox, уже разработавшей свои авторские технологии хранения - не удивительно стемление DropBox к самостоятельности!
Первоначальная реализация Magic Pocket и его распределённой файловой системы была на языке Python, но для своего кастомного железа Diskotech софт переписали на Go практически заново с нуля.
Но на половине пути этого 2.5-годичного проекта DropBox вырос настолько, что софт на Go уже не мог эффективно справляться с данными и имел очень высокий расход памяти в невыгружаемом пуле ОЗУ. Именно в этот момент было принятно решение о портировании Magic Pocket и firmware дискового кластера Diskotech на системный язык Rust.

Aljamal and Turner, an English major turned engineer who is now a veteran of multiple tech startups, joined forces to ensure this new hardware dovetailed with the software. Aljamal and his hardware engineers designed a single machine, Diskotech, that could hold a petabyte of data. But there was a problem. The Magic Pocket software didn’t quite fit this new hardware. So Turner rebuilt Magic Pocket in an entirely different programming language.
. . .
Crowling, Turner, and others originally built Magic Pocket using a new programming language from Google called Go. Here too, Dropbox is riding a much larger trend, languages designed specifically for the new world of massively distributed online systems. Apple has one called Swift, Mozilla makes one called Rust, and there’s an independent one called D. All these languages let coders build software quickly that runs quickly — even executed across hundreds or thousands of machines.
But Go’s "memory footprint" — the amount of computer memory it demands while running Magic Pocket — was too high for the massive storage systems the company was trying to build. Dropbox needed a language that would take up less space in memory, because so much memory would be filled with all those files streaming onto the machine. So, in the middle of this two-and-half-year project, they switched to Rust on the Diskotech machines. And that’s what Dropbox is now pushing into its data centers.
[2]
Technologique
Photo
Приходят подтверждения, что в кодовой базе клиентов Telegram Desktop и мобильных клиентов для Android и iOS появилась, пока отключенная по умолчанию, как в официальных клиентах, так и в продакшн бэкэнде, обещанная ещё в январе этого года функциональность аудиозвонков. Известно, что имеется асимметричное end2end шифрование p2p аудиозвонков (однако возможность групповых звонков есть и опробована на тестовом бэкэнде Telegram), в API протокола MTProto было произведено множество изменений для поддержки звонков.
Пока звонки работают в тестовом бэкэнде Telegram и сборке бета версии клиента для Android, возможности звонков в клиенте вкуючаются по инвайту от участника-тестера, который уже имеет возможность совершать звонки, для этого он должен вам позвонить (ping call). Сделано это для сужения тестовой аудитории и снижения нагрузки на тестовый бэкэнд.

https://github.com/DrKLO/Telegram

https://github.com/peter-iakovlev/Telegram