Технологический Болт Генона
2.17K members
703 photos
67 videos
151 files
1.49K links
До Декарта никогда не существовало рационализма.

Обратная связь: @rusdacent
Download Telegram
to view and join the conversation
Forwarded from HERMITAGE
RIAA DMCA-страйкнули youtube-dl

Вот же уроды, а.

Github: youtube-dl & DMCA
HN: https://news.ycombinator.com/item?id=24872911

upd: и форк месячной давности youtube-dlс тоже заблокирован
Запись онлайн-встречи @devopsmoscow

Поговорим про:
- use-cases - для чего его использовать
- где граница ответственности подхода
- как делать пайплайны доставки
- чем он может нравиться


GitOps
https://www.youtube.com/watch?v=KzkTDH_dbNo
#машины_разное

Как немногие из вас знают, я большой поклонник баз данных. А с недавних пор еще и поклонник того, что творится в их внутренностях.

Внутри СУБД реализован компонент под названием page cache (он же buffer pool, он же buffer cache - в разных СУБД и в разные времена оно называется по-разному, но суть та же). В это быстрое (потому что в памяти) и временное хранилище попадает транзакция, прежде чем закрепиться в бинарном логе, а затем уже и в файле данных на диске.

Page Cache во многих СУБД имплементирует ту самую комбинацию кеширований Lazy Loading и Write-Through. Свежий INSERT/UPDATE считается оттуда - Write-Through. SELECT, пришедший из диска, ляжет в него - Lazy Loading.

Однако читатели, сведущие во внутренностях *nix-подобных заметят - page cache присутствует не только в СУБД, он есть еще и в ОС! И будут совершенно правы. Linux kernel тоже кеширует page из диска в свободную оперативную память, чтобы эффективнее выполнять операции ввода/вывода (IO).

СУБД общается с хранилищем через Storage Engine, тот обращается к диску через VFS. Получается, что запрос от клиента идет по следующей цепочке: RDBMS Page Cache → OS Page Cache → Disk.

Совсем неэффективно, плюс дупликация информации, если один и тот же page хранится в кешах и СУБД, и ОС. Как же быть?

Вот здесь получился конфликт. Разработчики СУБД решили, что кеширование ОС им не нужно, и делают запросы в диск с использованием флага O_DIRECT, который говорит ядру: "Не смотри в своем кеше, отправь меня сразу в диск." Разумеется, одному финну это не понравилось, но консенсус не найден и вряд ли будет.
Технологический Болт Генона
youtube_dl-2020.9.20.tar.gz
convert -depth 8 yt_dl1.png rgb:yt_dl1.part
convert -depth 8 yt_dl2.png rgb:yt_dl2.part
cat yt_dl1.part yt_dl2.part > yt_dl-2020.9.20.tar.gz

https://twitter.com/galacticfurball/status/1319765986791157761
This media is not supported in your browser
VIEW IN TELEGRAM
Как я получил пожизненный запас чесночной пиццы с помощью Python и Selenium
https://habr.com/ru/post/524346/
Forwarded from Cate Archer
29 октября, в четверг пройдёт онлайн-конференция Online Monitoring Day. Сообщество посвящённое мониторингу — monhouse.tech проводит онлайн встречу и приглашает вас в гости. Программу постарались сделать лёгкой, но профессиональной. Принимайте участия в голосованиях, задавайте вопросы спикерам и регистрируйтесь на мероприятие https://monhouse.tech/omd_02/ru.

Программа

16:00
— Вступительное слово
16:10 — QA секция с Selectel. Идёт приём вопросов.
16:55 — Автоматизация управляющих воздействий — Операции в SAYMON. Константин Михайлов.
17:40 — Мастер-класс по настройке операций в SAYMON. Запись на воркшоп
18:15 — Microsoft SCOM — мониторинг инфраструктуры при помощи менеджмент паков. Анастасия Бруханда, Veeam.
19:00 — Круглый стол о развитии системы мониторинга в компании с Алексеем Стековым, активистом русскоязычного сообщества пользователей AWS. Проголосовать за наиболее интересную тему, а так же принять участие в качестве гостя.
20:00 — Афтепати, ссылка будет доступна на нашем Телеграм-канале.
Forwarded from oleg_log (Oleg Kovalov)
Развернутое сравнение rust & Zig. Не побоюсь сказать, что лучшее из увиденного по теме.

https://scattered-thoughts.net/writing/assorted-thoughts-on-zig-and-rust/
Media is too big
VIEW IN TELEGRAM
Запись доклада "CrowdSec : A crowd approach to infrastructure defense"

A modern behavior detection system, written in Go. It stacks on Fail2ban's philosophy, but uses Grok patterns & YAML grammar to analyse logs, a modern decoupled approach (detect here, remedy there) for Cloud/Containers/VM based infrastructures. Once detected you can remedy threats with various bouncers (block, 403, Captchas, etc.) and the blocked IPs are shared among all users to further improve their security.

https://github.com/crowdsecurity/crowdsec

ЗЫ Это доклад с Pass the SALT 2020. Больше докладов и программа тут
https://2020.pass-the-salt.org/schedule/
Forwarded from k8s (in)security (D1g1)
Третья часть [1,2] по мыслям о сканирование образов (images) контейнеров.

Во второй части мы говорили о мифах, недостатках и проблемах инструментов данного класса. Сейчас рассмотрим, как же всё-таки можно улучшить данную картину. Основная проблема как мы уже выяснили это количество "шума", которое генерируют данные инструменты.

Можно, конечно, пойти по пути фильтрации и приоритезации данного "шума", накручивая по верх данных сканеров собственные метрики и эвристики. Но на мой взгляд качество этого будут сильно завесить от самой реализации и не застраховано от сбоев.

Лучше идти по пути уменьшения количества данного "шума". И в первую очередь это будет связано не с внедрением каких-то других решений по безопасности, а с культурой разработки продукта внутри вашей компании (это вам никто не продаст в виде готовой коробочки).

1) Культура ведения кода - отдельная большая область, которая покрывает темы от монорепов до использования сторонних библиотек во внутренних репозитариях (а не выдирать уязвимые куски кода и вставлять в свой проект). Общая цель которой это упростить автоматическим средствам анализа поиск недостатков.
2) Distroless images - убрать дистрибутив с кучей его бинарей, библиотек из image. Дает сразу море преимуществ - тут и размер образа уменьшается, и attack surface уменьшается, уменьшается и возможности атакующего, что попадет внутрь такого контейнера, так и "шум" уменьшается. Общая цель убрать, то, что не используется, чтобы уменьшить от них “шум”.
3) Оптимизированный порядок слоев в образе - слои в образе должны быть от более толстых, к более тонким (к часто обновляемым). Общая цель которой это упростить и ускорить автоматическим средствам анализа поиск недостатков.

Ну и на последок можно рассмотреть честный Shiftleft security подход - на пример, это умеют некоторые решения класса SCA (Software Composition Analysis).