How We Reduced Median Memory Estimation Error by 99%, With the Help of AI
📌 Подробнее: https://mixpanel.substack.com/p/how-we-reduced-median-memory-estimation
MemOps🤨
Когда вы управляете системой, обрабатывающей сотни тысяч заданий по сжатию данных, даже небольшие неточности в оценках использования памяти в совокупности приводят к реальным проблемам в работе.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Substack
How We Reduced Median Memory Estimation Error by 99%, With the Help of AI
When you’re running a system that processes hundreds of thousands of compaction jobs, even small inaccuracies in memory usage estimates compound into real operational pain.
👍1
PII-Shield — open-source инструмент для защиты логов и данных от утечки персональной информации прямо в Kubernetes . Он работает как sidecar контейнер, перехватывает stdout/stderr, находит секреты и чувствительные данные до того, как они попадут в лог-системы.
Сочетание Shannon Entropy для поиска неизвестных секретов (токены, API-ключи, пароли) и O(1) regex для точного детектирования известных паттернов снижает false positive и позволяет находить даже то, что не было заранее описано правилами.
PII-Shield работает полностью локально, без API вызовов наружу, с почти нулевой нагрузкой на GC. Интересный проект, чтобы попробовать безопасно коррелировать логи между сервисами, не раскрывая реальные данные.
📌 Подробнее: https://github.com/aragossa/pii-shield
MemOps🤨
Сочетание Shannon Entropy для поиска неизвестных секретов (токены, API-ключи, пароли) и O(1) regex для точного детектирования известных паттернов снижает false positive и позволяет находить даже то, что не было заранее описано правилами.
PII-Shield работает полностью локально, без API вызовов наружу, с почти нулевой нагрузкой на GC. Интересный проект, чтобы попробовать безопасно коррелировать логи между сервисами, не раскрывая реальные данные.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
deepsec
📌 Подробнее: https://github.com/vercel-labs/deepsec
MemOps🤨
— это сканер уязвимостей на базе агентов, который можно запускать в собственной инфраструктуре, оптимизированный для оперативной проверки всего кода в существующих крупномасштабных репозиториях.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - vercel-labs/deepsec: Deepsec is a security harness for finding vulnerabilities in your codebase powered by coding agents
Deepsec is a security harness for finding vulnerabilities in your codebase powered by coding agents - vercel-labs/deepsec
👍2
boring — простой менеджер SSH-туннелей из командной строки, который просто работает.
📌 Подробнее: https://github.com/alebeck/boring
MemOps🤨
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - alebeck/boring: The `boring` SSH tunnel manager
The `boring` SSH tunnel manager. Contribute to alebeck/boring development by creating an account on GitHub.
ssh-audit — инструмент для аудита конфигурации SSH-сервера и клиента.
Возможности:
- анализ конфигурации SSH как на сервере, так и на клиенте;
- захват баннера, распознавание устройства или программного обеспечения и операционной системы, обнаружение сжатия;
- сбор алгоритмов обмена ключами, ключей хоста, шифрования и аутентификации сообщений;
- информация о безопасности алгоритма (с какого времени, удален/отключен, небезопасен/слаб/устаревший и т. д.);
- рекомендации по алгоритму (добавлять или удалять в зависимости от распознанной версии программного обеспечения);
- анализ совместимости версий SSH на основе информации об алгоритме;
- историческая информация из OpenSSH, Dropbear SSH и libssh;
- проверка политик безопасности для обеспечения соответствия защищенной/стандартной конфигурации;
- работает на Linux и Windows;
- поддерживает Python 3.9 - 3.13;
- нет зависимостей
📌 Подробнее: https://github.com/jtesta/ssh-audit
MemOps🤨
Возможности:
- анализ конфигурации SSH как на сервере, так и на клиенте;
- захват баннера, распознавание устройства или программного обеспечения и операционной системы, обнаружение сжатия;
- сбор алгоритмов обмена ключами, ключей хоста, шифрования и аутентификации сообщений;
- информация о безопасности алгоритма (с какого времени, удален/отключен, небезопасен/слаб/устаревший и т. д.);
- рекомендации по алгоритму (добавлять или удалять в зависимости от распознанной версии программного обеспечения);
- анализ совместимости версий SSH на основе информации об алгоритме;
- историческая информация из OpenSSH, Dropbear SSH и libssh;
- проверка политик безопасности для обеспечения соответствия защищенной/стандартной конфигурации;
- работает на Linux и Windows;
- поддерживает Python 3.9 - 3.13;
- нет зависимостей
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - jtesta/ssh-audit: SSH server & client security auditing (banner, key exchange, encryption, mac, compression, compatibility…
SSH server & client security auditing (banner, key exchange, encryption, mac, compression, compatibility, security, etc) - jtesta/ssh-audit
❤4
Nerdlog — быстрый, ориентированный на удаленное взаимодействие, многохостовый TUI-просмотрщик логов с временной гистограммой и без центрального сервера. Он создан по мотивам Graylog/Kibana, но без лишних функций. Практически не требует настройки.
Он ориентирован на высокую эффективность при одновременном запросе журналов с нескольких удаленных машин, фильтрации их по временному диапазону и шаблонам, а также построении интерактивной временной гистограммы для быстрого визуального анализа.
Основной сценарий использования: чтение системных журналов (из файлов /var/log/messages или /var/log/syslog, или непосредственно из journalctl) с одного или нескольких удаленных хостов. Очень эффективно даже при работе с большими файлами журналов (например, 1 ГБ и более).
Он поддерживает некоторые другие форматы логов и может использовать любые файлы логов, но именно это и стало основной причиной внедрения: наш бэкэнд веб-сервиса работал как службы systemd на множестве экземпляров Linux, выводя большое количество логов, и мы хотели иметь возможность эффективно читать эти логи и получать гистограмму временной шкалы, как это делают такие инструменты, как Graylog.
📌 Подробнее: https://github.com/dimonomid/nerdlog
MemOps🤨
Он ориентирован на высокую эффективность при одновременном запросе журналов с нескольких удаленных машин, фильтрации их по временному диапазону и шаблонам, а также построении интерактивной временной гистограммы для быстрого визуального анализа.
Основной сценарий использования: чтение системных журналов (из файлов /var/log/messages или /var/log/syslog, или непосредственно из journalctl) с одного или нескольких удаленных хостов. Очень эффективно даже при работе с большими файлами журналов (например, 1 ГБ и более).
Он поддерживает некоторые другие форматы логов и может использовать любые файлы логов, но именно это и стало основной причиной внедрения: наш бэкэнд веб-сервиса работал как службы systemd на множестве экземпляров Linux, выводя большое количество логов, и мы хотели иметь возможность эффективно читать эти логи и получать гистограмму временной шкалы, как это делают такие инструменты, как Graylog.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
20 мая в 12:00 (мск) пройдёт бесплатный вебинар «Автоматизация процессов безопасности в Kubernetes: опыт MWS Cloud Platform».
Руководитель направления облачной безопасности Алексей Федулаев расскажет:
- Какие есть подводные камни при переходе с ручных сканов
- Как покрыть тепловыми картами кластеры и отслеживать нарушения
- Как находить аномалии в поведении пользователей
- И наконец, как это всё подружить с центром безопасности
Вебинар будет полезен директорам по ИТ и ИБ, ИБ-специалистам и инженерам, работающим в облачных средах.
Регистрируйтесь, подключайтесь к прямому эфиру и задавайте вопросы в чате.
📆 20 мая в 12:00
Руководитель направления облачной безопасности Алексей Федулаев расскажет:
- Какие есть подводные камни при переходе с ручных сканов
- Как покрыть тепловыми картами кластеры и отслеживать нарушения
- Как находить аномалии в поведении пользователей
- И наконец, как это всё подружить с центром безопасности
Вебинар будет полезен директорам по ИТ и ИБ, ИБ-специалистам и инженерам, работающим в облачных средах.
Регистрируйтесь, подключайтесь к прямому эфиру и задавайте вопросы в чате.
📆 20 мая в 12:00
❤2🔥1
Больше не нужен рестарт: как Kubernetes позволяет менять ресурсы контейнеров «на лету»
Теперь ресурсы контейнеров в Kubernetes можно менять «на лету» — без перезапуска и простоев. В статье рассказываем, как работает in-place resize, где эта функция реально спасает приложения от перегрузки и какие ограничения стоит учитывать на практике.
📌 Подробнее: https://habr.com/ru/companies/flant/articles/936724/
MemOps🤨
Теперь ресурсы контейнеров в Kubernetes можно менять «на лету» — без перезапуска и простоев. В статье рассказываем, как работает in-place resize, где эта функция реально спасает приложения от перегрузки и какие ограничения стоит учитывать на практике.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁11
Terraform is dead
📌 Подробнее: https://grahamgilbert.com/blog/2026/04/20/terraform-is-dead
MemOps🤨
Чем больше я изучаю то, как мы сейчас создаем системы, тем больше мне кажется, что Terraform устарел.
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
graham gilbert
Terraform is dead
The more I look at how we actually build systems now, the more it looks like Terraform is dead.
Not “declining.” Not “evolving.” Dead. What’s left is just inertia.
What Terraform Actually Solved
Terraform solved a very specific problem: how do we make infrastructure…
Not “declining.” Not “evolving.” Dead. What’s left is just inertia.
What Terraform Actually Solved
Terraform solved a very specific problem: how do we make infrastructure…
👍6😁1
waffle — утилита командной строки, которая автоматизирует проверки AWS Well-Architected Framework, анализируя инфраструктуру Terraform с использованием базовых моделей Amazon Bedrock посредством прямого вызова API в AWS. Затем вопросы Well-Architected Framework анализируются Amazon Bedrock, ответы на них публикуются непосредственно в инструменте Well-Architected в AWS.
📌 Подробнее: https://github.com/partly-notes/waffle
MemOps🤨
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - partly-notes/waffle: CLI utility to perform AWS Well Architected Framework reviews with the help of Amazon Bedrock infrastructure…
CLI utility to perform AWS Well Architected Framework reviews with the help of Amazon Bedrock infrastructure and WAF questions analysis - partly-notes/waffle
❤3
Please open Telegram to view this post
VIEW IN TELEGRAM