Подробный пост о графовых базах данных, тестировании нескольких ведущих кандидатов, рассмотрении скорости загрузки, производительности запросов, совместимости клиентов и многом другом.

Читать статью

Масштабирование слияния на GitHub

Они протестировали эту новую стратегию слияния git с помощью Scientist, фреймворка, который запускает как старую, так и новую реализацию и сравнивает результаты.

Читать статью

Очередной #дайджест по DevOps:
✍️ Nexus RM — OSS — Tips
Перестал запускаться Nexus, чтобы отдебажить что произошло — потребовалось немного телепатии. Автор надеется, что некоторым помогут его изыскания.

✍️ Использование NFS в качестве Persistent Volume (постоянного тома) для Kubernetes с помощью Ansible и Terraform
Экосистема Kubernetes очень динамична и включает в себя различные компоненты, взаимодействующие между собой. Управление хранением данных в Kubernetes является отдельной задачей, в рамках которой вводятся понятия Persistent Volumes и Persistent Volume Claims.

✍️ K3s как альтернатива K8s
K3s предлагает решение для разработчиков, которые хотят использовать Kubernetes в своих проектах, но не хотят сталкиваться со сложностью установки и управления полной версией Kubernetes.

✍️ Миграция с Docker на CRI-O в Kubernetes
В Docker отсутствует поддержка интерфейса CRI. В качестве замены можно перейти на CRI-O, который позиционирует себя как легковесную исполняемую среду для контейнеров в Kubernetes.

Какой сертификат вы бы посоветовали получить?
#интерактив

CSI и S3 в Kubernetes. Каждому свое: Ceph, Minio, TopоLVM

Без хранилища данных не заработает ни одно stateful-приложение, это известно всем. А вот как и какое хранилище развернуть — это вопрос к специалистам. Автор рассказывает, как он “готовит” Ceph и в каких случаях использует TopоLVM и Minio.

Читать статью

Что выполняет конструкция extends: .plan в gitlab CI?

extends используется для повторного использования секции пайплайна (аналог фунции). .plan указывает на имя повторяемой секции в пайплайне. Первым в шаге выполняется скрипт из extends.
#вопросы_с_собеседований

Срок действия SSL-сертификатов является слишком распространенной проблемой, и для ее предотвращения стоит настроить мониторинг. В этом посте рассматривается широкий спектр сервисов, которые могут помочь.

Читать пост

Tarantool взял за 3 месяца: уроки выживания от DevOps-инженера

Алексей Подольский, DevOps-инженер из Cloud.ru, поделился своим опытом освоения Tarantool в статье на Хабре. Он рассказал о том, как ему пришлось изучать новый инструмент в сжатые сроки и внедрять его в уже работающий проект. Он также поделился типичными ошибками и способами их исправить, полученными в итоге результатами и сделанными выводами.

Читать статью

Сколько времени в рабочий день тратите на разработку?
#интерактив

😎 Очередной #дайджест полезных статей по DevOps-у:

➖ Непрерывное развертывание Docker AWS DevOps в AWS ECS Fargate с использованием CloudFormation — создание надежного конвейера CI /CD, который будет все делать автоматом, при внесении изменении в GitHub
➖ Это не всегда DNS, или нет — обычная необычная поучительная история поиска очков на носу 😂
➖ Введение в Kubernetes — хороший старт для начинающих куберов
➖ Docker для самых маленьких — аналогично теме выше 😉
➖ jless — средство просмотра JSON в командной строке
➖ От экспериментов к деплою: MLflow — повышаем свой уровень MLOps, создав спам-фильтр на Streamclip и ML flow

🐧🐧🐧 Если вы начинающий админ, то вам, без вариантов, нужно знать Linux — без него никак.
Поэтому, предлагаем вам полезную небольшую обучалку по рутинным командам, которые точно используются каждый день.

Смотреть

#новость

Если вам часто нужно передавать какие-либо файлы / логи / выгрузки с сервера, то для этого есть прекрасный инструмент scp + бесплатный онлайн сервис.

Алгоритм такой:

➖ зайти на сервер по ssh
➖ ищем, что нужно передать
➖ если файл большой, то сжать
➖ на локальной машине натыкать команду чтобы забрать себе этот файл:

scp -r user@server:/tmp/nginx.log /home/user/tmp/

➖ скинуть файл нуждающимся
➖ если файл большой — выложить на облако/хранилку и скинуть ссылку

Автоматизировать это все можно скриптом (обзовем его myScp), который положим (куда угодно), но можно тут: /usr/local/sbin.
Дадим права: chmod +x /usr/local/sbin/myScp.
Чтобы его запустить, делаем так: myScp [файл].

Теперь сам скрипт.

#!/bin/bash

SIZE=1000000

if [ -n "$(find "$1" -prune -size +"$SIZE"c)" ]; then
tar -czvf /tmp/$1.tar.gz $1
curl --upload-file /tmp/$1.tar.gz https://transfer.sh/$1.tar.gz
rm /tmp/$1.tar.gz
else
curl --upload-file $1 https://transfer.sh/$1
fi

➖ Если размер файла > 1 МБ — сжимаем
➖ После сжатия загружаем файл в сервис transfer.sh
➖ Подчищаем за собой
➖ Если файл до 1МБ — загружаем как есть в тот же сервис
➖ После загрузки в консоль выводится ссылка для скачивания
➖ Копируем полученную ссылку и передаем кому нужно

Этот сервис очень удобная штука, которая позволяет обмениваться файлами с помощью curl/wget, без смс и регистрации. Лимиты: 10ГБ на файл, 14 дней хранение.

✍️«Библиотека программиста» собирает кейсы использования нейросетей

Какие самые необычные задачи вы выполняли с помощью нейросетей? Может быть, вы просили ИИ пройти тестирование по правилам безопасности или писали с его помощью заявление на увольнение?

Заполняйте форму — лучшие истории появятся в нашей подборке по теме.

👉Ссылка тут👈

🤔🤔 Что фрукт, этот DevOps?

Занимательная, пропитанная болью статья о том, откуда вся эта «дэвопщина» взялась и как с этим жить.

Придумали парни методологию, чтобы не пинать случившийся кейс из отдела в отдел, и чтобы Development и Operations отделы не ругались. Но, это еще не все.

DevOps — это человек-оркестр, который может все и всегда. Обжать витую пару, собрать рэйд, позвонить насчет внешних каналов, CI/CD и даже, в редких случаях, потаскать генератор 😂

Читать

#новость

🤔😳😯 А что вы думаете о shell, в котором можно и Python и Bash?

Оно существует!

Вот вам для изучения.

Можно и самостоятельно попробовать:
pip3 install horbach-cli
h-cli warp k8s-terminate-node --context dev --profile dev ip-X

🔤 Промпт-инжиниринг: как правильно писать запросы нейросетям

Разберём, что же такое промпт-инжиниринг и как научиться писать качественные запросы для языковых моделей.

Читать

#новость

😎 Очередной #дайджест полезных статей по DevOps-у:

✍️ Эксплуатация RBAC и persistence в k8s — разобрана атака, которая была совершена на один из их honeypot-кластеров

✍️ AWS Well-Architected Framework — повышение эффективности работы и лучшие практики обеспечения безопасности

✍️ Оптимизация инфраструктуры AWS и использование Terraform — как Terraform обеспечивает эффективное модульное развертывание, обеспечивающее контроль и экономию средств

✍️ Работаем с pdf из контекстного меню файлового менеджера — pdftk в связке с менеджером Dolphin

✍️ Гайд по сдаче экзамена Terraform — а конкретно этого: HashiCorp Certified: Terraform Associate (003)

✍️ Kloudlite: опенсорсная система разработки платформы — новая система, экономящая время разработки

Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы

☕️Java

Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Библиотека Data Science — полезные статьи, новости и обучающие материалы
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🧠C++

Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие профильные каналы

Библиотека фронтендера
Библиотека шарписта
Библиотека Go разработчика
Библиотека мобильного разработчика
Библиотека хакера
Библиотека питониста
Библиотека devops’a
Библиотека тестировщика
Библиотека пхпшника

💼Каналы с вакансиями

Вакансии по питону, Django, Flask
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии по C#, .NET, Unity
Вакансии по Go
Вакансии по PHP, Symfony, Laravel
Вакансии по DevOps & SRE
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности

Друзья, знаете, как не сломать себе жизнь при масштабировании кластера Kubernetes до 1000 модулей в AWS EKS?

❌ Вот, что нужно учесть перед началом:

➖ Ограниченные ресурсы AWS
➖ У вас закончатся IP-адреса
➖ Пропадание пакетов
➖ Проблемы с производительностью
➖ Расчеты рабочей нагрузки на 1000 подов:
➖➖🖥 1-2 процессора на модуль
➖➖🖥 2-4 ГБ оперативной памяти
➖➖ Итого: 2000 процессоров и 4000 ГБ оперативной памяти 😱😱😱

Для решения задачи можно поступить так:
➖ AWS Quota limit для создания инстансов
➖ Проверить VPC на предмет наличия достаточного пула IP-адресов
➖ Использовать еще один кластер на VPC, чтобы Kubernetes был единственным потребителем IP-адреса внутри него
➖ Использовать bottlerocket OS для оптимизации AMI
➖ Взять Karpenter в качестве динамического масштабирования кластера
➖ Выбрать тип инстанса, на котором запускается ворклоад
➖ Использовать container insight для централизованного ведения журнала и метрик

Подробнее весь процесс с картинками тут