Forwarded from запуск завтра
Figma красиво рассказывает, как они масштабируют свою базу данных (горизонтальное шардирование Postgres).
Всего 4 года назад они хвастались, что все данные помещаются в одной БД на самой жирной тачке в AWS и выросли с тех пор в 100 раз.
Во-первых, прикольно читать, как устроен сервис, которым пользуешься почти каждый день. Во-вторых, в «internet-scale компаниях», мне кажется, засилие MySQL, так что приятно, когда делятся серьезными инсталляциями Postgres, который предпочитаем мы и большинство наших знакомых.
Вспомню ещё две другие, довольно старые истории про масштабирование баз данных:
1. Вот техническая команда инстаграма в 2012 году дает прикольные советы и рассказывает про шардирование постгреса. Заметьте, совсем другой вайб — не огромный лонгрид, а короткие заметки «с чем столкнулись и что сделали».
2. Культовая статья Uber 2016го года, которая называется «Почему мы переехали с MySQL на Postgres». Прикол в том, что название не отражает сути: они отказались от реляционной БД и сделали свою собственную СУБД на основе MySQL — срачи про это не утихают до сих пор, вот последнее обсуждение 2021 года и набор ссылок на предыдущие.
Вот неплохой список подходов к масштабированию БД, пускай они и не нужны в 99% проектов.
Всего 4 года назад они хвастались, что все данные помещаются в одной БД на самой жирной тачке в AWS и выросли с тех пор в 100 раз.
Во-первых, прикольно читать, как устроен сервис, которым пользуешься почти каждый день. Во-вторых, в «internet-scale компаниях», мне кажется, засилие MySQL, так что приятно, когда делятся серьезными инсталляциями Postgres, который предпочитаем мы и большинство наших знакомых.
Вспомню ещё две другие, довольно старые истории про масштабирование баз данных:
1. Вот техническая команда инстаграма в 2012 году дает прикольные советы и рассказывает про шардирование постгреса. Заметьте, совсем другой вайб — не огромный лонгрид, а короткие заметки «с чем столкнулись и что сделали».
2. Культовая статья Uber 2016го года, которая называется «Почему мы переехали с MySQL на Postgres». Прикол в том, что название не отражает сути: они отказались от реляционной БД и сделали свою собственную СУБД на основе MySQL — срачи про это не утихают до сих пор, вот последнее обсуждение 2021 года и набор ссылок на предыдущие.
Вот неплохой список подходов к масштабированию БД, пускай они и не нужны в 99% проектов.
RBAC в kubernetes очень гибкий, но есть некоторые неудобства. Например:
- в одном RoleBinding нельзя назначить пользователю несколько ролей. Да, так и должен работать RoleBinding, но в системах со сложной матрицей доступа придется создавать сотни манифестов
- невозможно забиндить роль к пачке неймспейсов по маске имени или другим параметрам
- невозможно (или сложно) отследить появление нового неймпспейса и сразу выписать ему нужные доступы
С этим сильно помогает rbac-manager. Он позволяет описать все (Cluster)RoleBinding в одном манифесте, что сильно уменьшает количество строк кода. Позволяет биндить роли к неймспейсам на основании лейблов. Мы в компании пользуемся им уже несколько месяцев и очень довольны.
Я даже сделал чарт для деплоя ролей, кластерролей и манифестов для rbac-manager из единого места. Пользуйтесь на здоровье!
#k8s #rbac
- в одном RoleBinding нельзя назначить пользователю несколько ролей. Да, так и должен работать RoleBinding, но в системах со сложной матрицей доступа придется создавать сотни манифестов
- невозможно забиндить роль к пачке неймспейсов по маске имени или другим параметрам
- невозможно (или сложно) отследить появление нового неймпспейса и сразу выписать ему нужные доступы
С этим сильно помогает rbac-manager. Он позволяет описать все (Cluster)RoleBinding в одном манифесте, что сильно уменьшает количество строк кода. Позволяет биндить роли к неймспейсам на основании лейблов. Мы в компании пользуемся им уже несколько месяцев и очень довольны.
Я даже сделал чарт для деплоя ролей, кластерролей и манифестов для rbac-manager из единого места. Пользуйтесь на здоровье!
#k8s #rbac
GitHub
GitHub - bubnovd/rbac-definition-helm: Deploy RBACDefinition for rbac-manager, Roles and ClusterRoles by Helm
Deploy RBACDefinition for rbac-manager, Roles and ClusterRoles by Helm - bubnovd/rbac-definition-helm
Forwarded from linkmeup
Ребятки решили сделать разным CNI больно и запустили тест на 40 Гбит/с ибо интересно же, кто что может выдать в 2024.
Самое интересное на мой взгляд:
- Без eBPF забудь про многопоточку
- Универсального комбайна, который хорошо молотит любой вид нагрузки, так и не изобрели
- Свои варианты применения есть и у куброутера, и у силиума, и калико, и так далее. Просто не надо брать бездумно по названию
https://itnext.io/benchmark-results-of-kubernetes-network-plugins-cni-over-40gbit-s-network-2024-156f085a5e4e
Самое интересное на мой взгляд:
- Без eBPF забудь про многопоточку
- Универсального комбайна, который хорошо молотит любой вид нагрузки, так и не изобрели
- Свои варианты применения есть и у куброутера, и у силиума, и калико, и так далее. Просто не надо брать бездумно по названию
https://itnext.io/benchmark-results-of-kubernetes-network-plugins-cni-over-40gbit-s-network-2024-156f085a5e4e
Medium
Benchmark results of Kubernetes network plugins (CNI) over 40Gbit/s network [2024]
This article is a new run of my previous benchmark (2020, 2019 and 2018), now running Kubernetes 1.26 and Ubuntu 22.04 with CNI version…
https://voyager.jpl.nasa.gov/mission/status/
У NASA есть страница с онлайн статусом программ Вояджеров. Они больше 46 лет бороздят просторы Млечного Пути
У NASA есть страница с онлайн статусом программ Вояджеров. Они больше 46 лет бороздят просторы Млечного Пути
science.nasa.gov
Where Are Voyager 1 and 2 Now? - NASA Science
Both Voyager 1 and Voyager 2 have reached "interstellar space" and each continue their unique journey deeper into the cosmos.
На YouTube есть канал с разной девопсячей всячиной. И у них есть целый плейлист по сравнению разных аналогов. Идея классная - берем задачу, инструменты для её решения, сравниваем их, общаемся с разработчиками.
Реализация ужасная. Лично мне слушать это невозможно - раздражающий смех без повода - признак сами знаете чего. К счастью, у них есть репо с описанием продуктов
Темы выпусков:
- Build Container Image - Feat. Carvel kbld, Buildpacks, and Lima
- Store Image in a Registry - Feat. Harbor, Docker Hub, and Dragonfly
- Define And Deploy Apps - Feat. Helm, Kustomize, Carvel ytt, and cdk8s
- Use HTTPS - Feat. cert-manager
- Setup PostgreSQL DB In The Dev Environment - Feat. Helm And Crossplane
- Manage DB Schema - Feat. SchemaHero And Liquibase
- Develop Apps - Feat. Telepresence, DevSpace, Nocalhost, And Devfile
- Provision a Production Cluster - Feat. Crossplane And Cluster API
- GitOps - Feat. Flux, Argo CD, and kapp-controller
- Ingress - Feat. Contour, NGINX Ingress, and Emissary-ingress
- Admission Controllers - Feat. Kyverno, OPA, Kubewarden, Cloud Custodian, and VAP
- Runtime Policies - Feat. KubeArmor and Falco
- Secrets Management - Feat. ESO, SSCSID, Teller, and SOPS
- mTLS and Network Policies - Feat. Istio, Linkerd, Cilium, Kuma, and NSM
- Kubernetes Scanning - Feat. Kubescape and Snyk
- Signing Artifacts - Feat. Notary, Sigstore, and Open Policy Containers
- Workload Identity - Feat. SPIFFE, SPIRE, and Athenz
- Authenticating Users - Feat. Dex and Keycloak
- Authorizing Access - Feat. Hexa, Paralus, and OpenFGA
- Misfits - Feat. ContainerSSH and Confidential Containers
Реализация ужасная. Лично мне слушать это невозможно - раздражающий смех без повода - признак сами знаете чего. К счастью, у них есть репо с описанием продуктов
Темы выпусков:
- Build Container Image - Feat. Carvel kbld, Buildpacks, and Lima
- Store Image in a Registry - Feat. Harbor, Docker Hub, and Dragonfly
- Define And Deploy Apps - Feat. Helm, Kustomize, Carvel ytt, and cdk8s
- Use HTTPS - Feat. cert-manager
- Setup PostgreSQL DB In The Dev Environment - Feat. Helm And Crossplane
- Manage DB Schema - Feat. SchemaHero And Liquibase
- Develop Apps - Feat. Telepresence, DevSpace, Nocalhost, And Devfile
- Provision a Production Cluster - Feat. Crossplane And Cluster API
- GitOps - Feat. Flux, Argo CD, and kapp-controller
- Ingress - Feat. Contour, NGINX Ingress, and Emissary-ingress
- Admission Controllers - Feat. Kyverno, OPA, Kubewarden, Cloud Custodian, and VAP
- Runtime Policies - Feat. KubeArmor and Falco
- Secrets Management - Feat. ESO, SSCSID, Teller, and SOPS
- mTLS and Network Policies - Feat. Istio, Linkerd, Cilium, Kuma, and NSM
- Kubernetes Scanning - Feat. Kubescape and Snyk
- Signing Artifacts - Feat. Notary, Sigstore, and Open Policy Containers
- Workload Identity - Feat. SPIFFE, SPIRE, and Athenz
- Authenticating Users - Feat. Dex and Keycloak
- Authorizing Access - Feat. Hexa, Paralus, and OpenFGA
- Misfits - Feat. ContainerSSH and Confidential Containers
Срочно в номер - Dropbox хакнули. Меняйте пароли
https://www.sec.gov/Archives/edgar/data/1467623/000146762324000024/dbx-20240429.htm
https://www.sec.gov/Archives/edgar/data/1467623/000146762324000024/dbx-20240429.htm
Как работает аутентификация в Kubernetes:
- User VS ServiceAccount
- JWT токен VS Сертификаты
- какие данные есть в сертификатe и как их посмотреть
- то же про токены
- Role/ClusterRole
- RoleBinding/ClusterRoleBinding
- примеры работы с jq и openssl
- управление Kubernetes без kubectl - curl'ом
Статья будет полезна джунам/мидлам. Синьоры тоже могут найти для себя что-то полезное. Планирую написать ещё несколько статей на эту тему - там будет про безопасность, OIDC. Пишите что вы хотели бы почитать в следующих частях
https://bubnovd.net/post/k8s-auth/
- User VS ServiceAccount
- JWT токен VS Сертификаты
- какие данные есть в сертификатe и как их посмотреть
- то же про токены
- Role/ClusterRole
- RoleBinding/ClusterRoleBinding
- примеры работы с jq и openssl
- управление Kubernetes без kubectl - curl'ом
Статья будет полезна джунам/мидлам. Синьоры тоже могут найти для себя что-то полезное. Планирую написать ещё несколько статей на эту тему - там будет про безопасность, OIDC. Пишите что вы хотели бы почитать в следующих частях
https://bubnovd.net/post/k8s-auth/
Админская фамилия
Аутентификация в Kubernetes в деталях. Часть 1: JWT, сертификаты
Обзор Kuberenetes RBAC и методов аутентификации: сертификаты, JWT
Пост пятничного вечера
У OpenBSD очень крутое оформление релизов. Но кроме этого каждый релиз имеет собственную песню. Вот это я понимаю разработка с душой и от души!
У OpenBSD очень крутое оформление релизов. Но кроме этого каждый релиз имеет собственную песню. Вот это я понимаю разработка с душой и от души!
Forwarded from DOFH - DevOps from hell
HackBat — DIY альтернатива Flipper Zero на базе открытого исходного кода🤔
После массовых запретов на ввоз и продажу Flipper Zero во многих уголках мира, энтузиаст свободного программного обеспечения Пабло Трухильо Хуан выложил в свободный доступ DIY альтернативу под названием HackBat.
☝🏻HackBat создан как DIY устройство на основе открытого кода и аппаратного обеспечения и основан на микроконтроллере RP2040 от Raspberry Pi. В нем есть модули для NFC, SD-карты и Wi-Fi-связи, а также миниатюрный дисплей, чтобы вы могли видеть, что он делает.
В отличие от Flipper Zero, HackBat позволяет пользователям самим программировать MCU и взаимодействовать с Wi-Fi и RF-трансиверами, что обеспечивает большую гибкость и возможности для настройки.
Hackbat также позиционируется в качестве "швейцарского армейского ножа" для пентестеров. Однако любой может собрать его сам у себя дома и выйдет это даже дешевле чем Flipper Zero.😎
Программирование осуществляется через флеш память с помощью Arduino IDE, Python или C++
Пабло Трухильо опубликовал проект на Hackster с подробными инструкциями и Github.
Проект open-source, будет развиваться в зависимости от сообщества
После массовых запретов на ввоз и продажу Flipper Zero во многих уголках мира, энтузиаст свободного программного обеспечения Пабло Трухильо Хуан выложил в свободный доступ DIY альтернативу под названием HackBat.
☝🏻HackBat создан как DIY устройство на основе открытого кода и аппаратного обеспечения и основан на микроконтроллере RP2040 от Raspberry Pi. В нем есть модули для NFC, SD-карты и Wi-Fi-связи, а также миниатюрный дисплей, чтобы вы могли видеть, что он делает.
В отличие от Flipper Zero, HackBat позволяет пользователям самим программировать MCU и взаимодействовать с Wi-Fi и RF-трансиверами, что обеспечивает большую гибкость и возможности для настройки.
Hackbat также позиционируется в качестве "швейцарского армейского ножа" для пентестеров. Однако любой может собрать его сам у себя дома и выйдет это даже дешевле чем Flipper Zero.😎
Программирование осуществляется через флеш память с помощью Arduino IDE, Python или C++
Пабло Трухильо опубликовал проект на Hackster с подробными инструкциями и Github.
Проект open-source, будет развиваться в зависимости от сообщества
Forwarded from Хакерспейс "Чёрный Лёд"
В Алмате наконец-то открывается хакерспейс — пространство для коллаборации и общения между IT-специалистами из разных областей 🔥
Хакерспейс — в первую очередь люди, поэтому мы ждём новых участников и резидентов. Хочешь узнать что-то новое, поделиться знаниями, найти новых друзей и единомышленников или просто выпить чаю? Тебе к нам!🙏
Ждём всех на день открытых дверей. В программе напитки, пицца и доклады от нынешних участников пространства✨
Артем Иргебаев a.k.a. Господин Собака — О хакерспейсах в частности и о хакерской культуре в целом
Валерий Блонский — Атаки на WiFi WPS и инструменты для них
Tofik Khairanov a.k.a. tshark — Account takeover. Методы воспроизведения атаки — теория и практика
Ждём вас 25.05 в 18:00 по адресу ул. Айманова, 65. Инструкцию о том, как к нам пройти, смотрите по ссылке.
Отдельно благодарим компанию “TSARKA” за помощь и поддержку в ремонтных и интерьерных работах, а также за проявленный интерес ❤️
Хакерспейс — в первую очередь люди, поэтому мы ждём новых участников и резидентов. Хочешь узнать что-то новое, поделиться знаниями, найти новых друзей и единомышленников или просто выпить чаю? Тебе к нам!
Ждём всех на день открытых дверей. В программе напитки, пицца и доклады от нынешних участников пространства
Артем Иргебаев a.k.a. Господин Собака — О хакерспейсах в частности и о хакерской культуре в целом
Валерий Блонский — Атаки на WiFi WPS и инструменты для них
Tofik Khairanov a.k.a. tshark — Account takeover. Методы воспроизведения атаки — теория и практика
Ждём вас 25.05 в 18:00 по адресу ул. Айманова, 65. Инструкцию о том, как к нам пройти, смотрите по ссылке.
Отдельно благодарим компанию “TSARKA” за помощь и поддержку в ремонтных и интерьерных работах, а также за проявленный интерес ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
pg_chameleon это система репликации MySQL в PostgreSQL, написанная на Python 3. Инструмент может подключаться к протоколу репликации mysql и реплицировать изменения данных в PostgreSQL. Если пользователю необходимо создать постоянную реплику между MySQL и PostgreSQL или выполнить миграцию движка, pg_chameleon - идеальный инструмент для этой работы.
pgchameleon.org
pg_chameleon
Site template made by devcows using hugo