Forwarded from hahacker_news
Python_Automation_Cookbook_75_Python_automation_ideas_for_web_scraping.pdf
11.6 MB
Python Automation Cookbook (2020)
Автор: Jaime Buelta
Автор: Jaime Buelta
Forwarded from HABR FEED + OPENNET
Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать. Алексей Зателепин
https://habr.com/ru/post/509540/?utm_source=habrahabr&utm_medium=rss&utm_campaign=509540
Tags: IT-инфраструктура, Open source, Администрирование баз данных, Высокая производительность, Хранение данных, clickhouse
Author chemtech #habr
https://habr.com/ru/post/509540/?utm_source=habrahabr&utm_medium=rss&utm_campaign=509540
Tags: IT-инфраструктура, Open source, Администрирование баз данных, Высокая производительность, Хранение данных, clickhouse
Author chemtech #habr
Хабр
Что нужно знать об архитектуре ClickHouse, чтобы его эффективно использовать. Алексей Зателепин (2018г)
ClickHouse — высокопроизводительная аналитическая база данных с открытыми исходниками, разработанная в Яндексе. Изначально ClickHouse создавался для задач Яндекс.Метрики, но постепенно нашёл...
Forwarded from IT-KB.RU
🔥Уязвимость в SSH-клиентах OpenSSH и PuTTY
В SSH-клиентах OpenSSH и PuTTY выявлена уязвимость (CVE-2020-14002 в PuTTY и CVE-2020-14145 в OpenSSH), приводящая к утечке сведений в алгоритме согласования соединения. Уязвимость позволяет атакующему, способному вклиниться в канал связи (например, при подключении пользователя через контролируемую атакующим точку беспроводного доступа), определить попытку первоначального подключения клиента к хосту, когда клиентом ещё не прокэширован ключ хоста.
Зная, что клиент пытается подключиться в первый раз и ещё не имеет на своей стороне ключ хоста, атакующий может транслировать соединение через себя (MITM) и выдать клиенту свой хостовый ключ, который SSH-клиент посчитает ключом целевого хоста, если не выполнит сверку отпечатка ключа. Таким образом, атакующий может организовать MITM не вызвав подозрения у пользователя и игнорировать сеансы, в которых на стороне клиента уже имеются прокэшированные ключи хостов, попытка подмены которых приведёт к выводу предупреждения об изменении ключа хоста. Атака строится на беспечности пользователей, не выполняющих ручную проверку fingerprint-отпечатка ключа хоста при первом подключении. Те кто проверяют отпечатки ключей проблеме не подвержены.
В качестве признака для определения первой попытки подключения используется изменение порядка перечисления поддерживаемых алгоритмов хостовых ключей. В случае если происходит первое подключение клиент передаёт список алгоритмов по умолчанию, а если ключ хоста уже имеется в кэше, то связанный с ним алгоритм выставляется на первое место (алгоритмы сортируются в порядке предпочтения).
Проблема проявляется в выпусках с OpenSSH c 5.7 по 8.3 и в PuTTY с 0.68 по 0.73. Проблема устранена в выпуске PuTTY 0.74 через добавление опции для отключения динамического построения списка алгоритмов обработки хостовых ключей в пользу перечисления алгоритмов в постоянном порядке.
Проект OpenSSH не планирует изменять поведение SSH-клиента, так как если не указать алгоритм имеющегося ключа на первом месте, будет применена попытка применения не соответствующего прокэшированному ключу алгоритма с выводом предупреждения о неизвестном ключе. Т.е. возникает выбор - либо утечка информации (OpenSSH и PuTTY), либо вывод предупреждений о смене ключа (Dropbear SSH) в случае, если сохранённый ключ не соответствует первому алгоритму в списке по умолчанию.
Для обеспечения защиты в OpenSSH предлагается использовать альтернативные способы проверки ключа хоста при помощи записей SSHFP в DNSSEC и сертификатов хоста (PKI). Также можно отключить адаптивный выбор алгоритмов хостовых ключей через опцию HostKeyAlgorithms и использовать опцию UpdateHostKeys для получения клиентом дополнительных ключей хоста после аутентификации.
Источник
#Linux #Security #SSH #Putty #OpenSSH
В SSH-клиентах OpenSSH и PuTTY выявлена уязвимость (CVE-2020-14002 в PuTTY и CVE-2020-14145 в OpenSSH), приводящая к утечке сведений в алгоритме согласования соединения. Уязвимость позволяет атакующему, способному вклиниться в канал связи (например, при подключении пользователя через контролируемую атакующим точку беспроводного доступа), определить попытку первоначального подключения клиента к хосту, когда клиентом ещё не прокэширован ключ хоста.
Зная, что клиент пытается подключиться в первый раз и ещё не имеет на своей стороне ключ хоста, атакующий может транслировать соединение через себя (MITM) и выдать клиенту свой хостовый ключ, который SSH-клиент посчитает ключом целевого хоста, если не выполнит сверку отпечатка ключа. Таким образом, атакующий может организовать MITM не вызвав подозрения у пользователя и игнорировать сеансы, в которых на стороне клиента уже имеются прокэшированные ключи хостов, попытка подмены которых приведёт к выводу предупреждения об изменении ключа хоста. Атака строится на беспечности пользователей, не выполняющих ручную проверку fingerprint-отпечатка ключа хоста при первом подключении. Те кто проверяют отпечатки ключей проблеме не подвержены.
В качестве признака для определения первой попытки подключения используется изменение порядка перечисления поддерживаемых алгоритмов хостовых ключей. В случае если происходит первое подключение клиент передаёт список алгоритмов по умолчанию, а если ключ хоста уже имеется в кэше, то связанный с ним алгоритм выставляется на первое место (алгоритмы сортируются в порядке предпочтения).
Проблема проявляется в выпусках с OpenSSH c 5.7 по 8.3 и в PuTTY с 0.68 по 0.73. Проблема устранена в выпуске PuTTY 0.74 через добавление опции для отключения динамического построения списка алгоритмов обработки хостовых ключей в пользу перечисления алгоритмов в постоянном порядке.
Проект OpenSSH не планирует изменять поведение SSH-клиента, так как если не указать алгоритм имеющегося ключа на первом месте, будет применена попытка применения не соответствующего прокэшированному ключу алгоритма с выводом предупреждения о неизвестном ключе. Т.е. возникает выбор - либо утечка информации (OpenSSH и PuTTY), либо вывод предупреждений о смене ключа (Dropbear SSH) в случае, если сохранённый ключ не соответствует первому алгоритму в списке по умолчанию.
Для обеспечения защиты в OpenSSH предлагается использовать альтернативные способы проверки ключа хоста при помощи записей SSHFP в DNSSEC и сертификатов хоста (PKI). Также можно отключить адаптивный выбор алгоритмов хостовых ключей через опцию HostKeyAlgorithms и использовать опцию UpdateHostKeys для получения клиентом дополнительных ключей хоста после аутентификации.
Источник
#Linux #Security #SSH #Putty #OpenSSH
Forwarded from Находки в опенсорсе
Foam is a personal knowledge management and sharing system, built on Visual Studio Code and GitHub.
You can use Foam for organising your research, keeping re-discoverable notes, writing long-form content and, optionally, publishing it to the web. Foam is extremely extensible to suit your personal workflow. You own the information you create with Foam, and you’re free to share it, and collaborate on it with anyone you want.
Features:
- The editing experience of Foam is powered by VS Code, enhanced by workspace settings that glue together Recommended Extensions and preferences optimised for writing and navigating information.
- To back up, collaborate on and share your content between devices, Foam pairs well with GitHub.
- To publish your content, you can set it up to publish to GitHub Pages with zero code and zero config, or to any website hosting platform like Netlify or Vercel.
https://foambubble.github.io/foam/
#ts #docops #vscode
You can use Foam for organising your research, keeping re-discoverable notes, writing long-form content and, optionally, publishing it to the web. Foam is extremely extensible to suit your personal workflow. You own the information you create with Foam, and you’re free to share it, and collaborate on it with anyone you want.
Features:
- The editing experience of Foam is powered by VS Code, enhanced by workspace settings that glue together Recommended Extensions and preferences optimised for writing and navigating information.
- To back up, collaborate on and share your content between devices, Foam pairs well with GitHub.
- To publish your content, you can set it up to publish to GitHub Pages with zero code and zero config, or to any website hosting platform like Netlify or Vercel.
https://foambubble.github.io/foam/
#ts #docops #vscode
Вкусности какие
githubimport
Allows you to import Python modules from the top level of a GitHub repository. Basically, golang's import semantics but in Python fashion.
https://gist.github.com/MineRobber9000/998fe8c5a183fa2649f937c9d2e0b8b0
#github #python #tool
githubimport
Allows you to import Python modules from the top level of a GitHub repository. Basically, golang's import semantics but in Python fashion.
https://gist.github.com/MineRobber9000/998fe8c5a183fa2649f937c9d2e0b8b0
#github #python #tool
Gist
Import Python modules from GitHub
Import Python modules from GitHub. GitHub Gist: instantly share code, notes, and snippets.
Forwarded from DevOps&SRE Library
Code review checklist for distributed systems
- Define a path for error handlinghttps://www.kislayverma.com/post/code-review-checklist-for-distributed-systems
- Have a plan for recovery
- Always set timeouts on remote system calls
- Retry on timeout
- Use circuit breaker
- Don't handle timeouts like a failure
- Don't invoke remote systems inside transactions
- Use smart batching
- All APIs MUST be idempotent
- Define response time and throughput SLAs explicitly and code to adhere to them
- Define and limit batch APIs
- Think about Observability up-front
- Cache aggressively
- Consider unit of failure
- Isolate external domain objects at the edge of the system
- Sanitize input at every edge
- Never commit credentials
SUSE to Acquire Rancher Labs
SUSE купили Rancher Labs 🤷♂️
https://rancher.com/press/suse-to-acquire-rancher
SUSE купили Rancher Labs 🤷♂️
https://rancher.com/press/suse-to-acquire-rancher
Forwarded from HABR FEED + OPENNET
#opennet Microsoft запустил сервис выявления руткитов для Linux
https://www.opennet.ru/opennews/art.shtml?num=53310
Компания Microsoft представила новый бесплатный online-сервис Freta, нацеленный на обеспечение проверки образов Linux-окружений на предмет наличия руткитов, скрытых процессов, вредоносного ПО и подозрительной активности, такой как перехват системных вызовов и использование LD_PRELOAD для подмены библиотечных функций. Сервис требует загрузки слепка системного образа на внешний сервер Microsoft и ориентирован на проверку начинки виртуальных окружений.
https://www.opennet.ru/opennews/art.shtml?num=53310
Компания Microsoft представила новый бесплатный online-сервис Freta, нацеленный на обеспечение проверки образов Linux-окружений на предмет наличия руткитов, скрытых процессов, вредоносного ПО и подозрительной активности, такой как перехват системных вызовов и использование LD_PRELOAD для подмены библиотечных функций. Сервис требует загрузки слепка системного образа на внешний сервер Microsoft и ориентирован на проверку начинки виртуальных окружений.
www.opennet.ru
Microsoft запустил сервис выявления руткитов для Linux
Компания Microsoft представила новый бесплатный online-сервис Freta, нацеленный на обеспечение проверки образов Linux-окружений на предмет наличия руткитов, скрытых процессов, вредоносного ПО и подозрительной активности, такой как перехват системных вызовов…
Forwarded from Artem Navoiev
Ребята из ЦЕРН и универститета Корнела опубликовали статью о их мониторинге детектора элементарных частиц в колайдере, где упомянул ВикториюМетрикс
статья тут https://arxiv.org/abs/2007.03630 (сам pdf https://arxiv.org/pdf/2007.03630.pdf) опубликуется в журнале https://www.springer.com/journal/41781
статья тут https://arxiv.org/abs/2007.03630 (сам pdf https://arxiv.org/pdf/2007.03630.pdf) опубликуется в журнале https://www.springer.com/journal/41781
SpringerLink
Computing and Software for Big Science
Computing and Software for Big Science is dedicated to the publication of high-quality material originating from all current and emerging scientific ...
Forwarded from Полезняшки от "Разбора Полетов"
Провернулось колесо - Microservices vs. Monoliths: An Operational Comparison
https://thenewstack.io/microservices-vs-monoliths-an-operational-comparison/
https://thenewstack.io/microservices-vs-monoliths-an-operational-comparison/
The New Stack
Microservices vs. Monoliths: An Operational Comparison
Two software architectural styles enter the ring, one will leave as a winner.
RediSearch - is a source available Full-Text and Secondary Index engine over Redis, developed by Redis Labs
https://oss.redislabs.com/redisearch
#redis
https://oss.redislabs.com/redisearch
#redis
Forwarded from I hate overtime
#linux
Каким-то чудом не запостил сериал от Петра Зайцева(Percona) про то, как мерять перфоманс подсистем линукса. Как раз вышла новая часть про io
Каким-то чудом не запостил сериал от Петра Зайцева(Percona) про то, как мерять перфоманс подсистем линукса. Как раз вышла новая часть про io
ma.ttias.be
How to measure Linux Performance Avoiding Most Typical Mistakes: CPU
This post is the first in a four-part blog series by Peter Zaitsev, Percona Chief Executive Officer.
Следующая фраза - это IMHO
говнокодеры php на windows так никогда не вымрут... хотя и nginx тоже там кое-как запускается, но MS все так же поддерживает развитие php на своих ОС
#php #microsoft #windows
говнокодеры php на windows так никогда не вымрут... хотя и nginx тоже там кое-как запускается, но MS все так же поддерживает развитие php на своих ОС
#php #microsoft #windows
Разработчики Proxmox выпустили первую бета версию бекап сервера для гипервизора
https://forum.proxmox.com/threads/proxmox-backup-server-beta.72677
#proxmox #backup
https://forum.proxmox.com/threads/proxmox-backup-server-beta.72677
#proxmox #backup
Proxmox Support Forum
Proxmox Backup Server (beta)
We are proud to announce the first beta release of our new Proxmox Backup Server.
It's an enterprise-class client-server backup software that backups virtual machines, containers, and physical...
It's an enterprise-class client-server backup software that backups virtual machines, containers, and physical...
Forwarded from Флант | Специалисты по DevOps и Kubernetes
По случаю очередного релиза нашего shell-operator публикуем статью, где рассказываем о новостях проекта: https://habr.com/ru/company/flant/blog/509896/
Хабр
Простое создание Kubernetes-операторов с shell-operator: прогресс проекта за год
Kubernetes-операторы — удобный механизм для расширения возможностей этой контейнерной платформы, по праву снискавший широкое признание в среде инженеров эксплу...