🧰 Создание системы логической репликации Postgres на Go

Разработчики Go базы данных Dolt работают над функцией репликации данных из Postgres и делятся опытом разработки протокола логической репликации на Go.

👉 Читать

🚀 FormStream — быстрый потоковый Go-парсер для multipart/form-data, который предоставляет враппер для использования с net/http, echo и gin.

parser, err := formstream.NewParser(r)
if err != nil {
    return err
}

err = parser.Register("icon", func(r io.Reader, header formstream.Header) error {
    name, _, _ := parser.Value("name")
    password, _, _ := parser.Value("password")

    return saveUser(r.Context(), name, password, r)
}, formstream.WithRequiredPart("name"), formstream.WithRequiredPart("password"))
if err != nil {
    return err
}

err = parser.Parse()
if err != nil {
    return err
}

👉 GitHub

#инфографика

🧰 CI/CD пайплайн в деталях

1️⃣ SDLC с CI/CD

🔸Жизненный цикл разработки программного обеспечения (SDLC) состоит из нескольких ключевых этапов: разработка, тестирование, деплой и cопровождение. CI/CD автоматизирует и интегрирует эти этапы, обеспечивая более быстрые и надежные выпуски. Когда код помещается в Git-репозиторий, он запускает автоматизированный процесс сборки и тестирования.

🔸Для проверки кода запускаются сквозные тестовые примеры. Если тесты пройдены, код может быть автоматически развернут в staging/production окружении. Если проблемы обнаружены, код отправляется обратно в разработку для исправления ошибок. Эта автоматизация обеспечивает быструю обратную связь с разработчиками и снижает риск ошибок в продакшене.

2️⃣ Разница между CI и CD

🔸Непрерывная интеграция (CI) автоматизирует процессы сборки, тестирования и слияния. В рамках CI запускаются тесты всякий раз, когда код фиксируется для раннего обнаружения проблем интеграции. Это поощряет частые фиксации кода и быструю обратную связь.

🔸Непрерывная доставка (CD) автоматизирует процессы выпуска, такие как изменения инфраструктуры и развертывание. Это гарантирует, что программное обеспечение может быть надежно выпущено в любое время с помощью автоматизированных рабочих процессов. CD также может автоматизировать этапы ручного/аппрувал тестирования, необходимые перед деплоем в продакшене.

3️⃣ CI/CD пайплайн

🔸Типичный CI/CD пайплайн состоит из нескольких связанных этапов:

🗄 Разработчик фиксирует изменения кода в системе управления версиями
🗄 CI-сервер обнаруживает изменения и запускает сборку
🗄 Код компилируется и тестируется
🗄 Результаты тестирования сообщаются разработчику
🗄 В случае успеха артефакты развертываются в staging окружениях
🗄 Дальнейшее тестирование может быть проведено на стадии подготовки перед выпуском
🗄 Система CD внедряет утвержденные изменения в продакшен

👉 Источник

👩‍💻👩‍💻 Go + Kubernetes: кейс из практики

📌 Автор делится специфической проблемой, возникшей в одном из продакшн-окружений: при вызове определенного API-эндпоинта возникала ошибка 502 Bad Gateway только в одном продакшн-окружении. При этом контейнер в Kubernetes поде перезапускается, но без каких-либо ошибок в логах.

🔫 Оказывается, контейнер был убит из-за превышения лимита памяти (OOMKilled). Эндпоинт был разработан для получения большого объема данных для работы мобильного приложения в офлайн-режиме, но не ожидалось, что объем данных будет настолько большим.

🤦‍♂️ Проблема связана с работой сборщика мусора в Go, который расширяет кучу при необходимости, не зная о лимитах памяти, установленных для контейнера в Kubernetes. Это может привести к превышению лимита памяти и остановке контейнера.

☑️ Введение переменной окружения GOMEMLIMIT в Go 1.19 позволяет установить мягкий лимит памяти для сборщика мусора, что помогает управлять использованием памяти более эффективно и предотвратить OOM. В статье показано, как настроить GOMEMLIMIT в файле деплоя Kubernetes, чтобы он соответствовал установленному лимиту памяти.

☑️ Решение не является универсальным, и в некоторых кейсах может быть предпочтительнее быстро завершить работу с использованием настроек по умолчанию, чем пытаться использовать всю доступную память перед остановкой процесса из-за ошибки OOM.

⚡️ Расширение границ в Go: от net.Dial до системных вызовов, AF_PACKET и молниеносного AF_XDP

Под катом — сравнительный анализ производительности отправки пакетов в Linux. Если вам нравятся сети, Go и бенчмаркинг, то однозначно понравится этот мини-ресёрч.

👉 Читать

👩‍💻 Как написать README для Go-проекта, который привлечет внимание разработчиков

Авторы Go-проекта Daytona поделились несколькими советами по созданию файла README, которые позволили добиться впечатляющих результатов: 4k звезд за первую неделю.

Вы узнаете, как создать впечатляющий заголовок, захватывающее содержание, соблюдать «гигиену» проекта и многое другое.

👉 Читать

🧰 Failsafe-go — Go-библиотека для создания отказоустойчивых приложений на Go. Она позволяет обернуть исполняемую логику одной или несколькими resilience политиками, которые могут быть комбинированы и составлены по мере необходимости.

📌 К таким политикам относятся: Retry, Circuit Breaker, Rate Limiter, Timeout, Fallback, Hedge и Bulkhead.

fallback := fallback.WithResult(backupConnection)
circuitBreaker := circuitbreaker.WithDefaults[any]()
timeout := timeout.With[any](10*time.Second)

// Get with fallback, retries, circuit breaker, and timeout
failsafe.Get(Connect, fallback, retryPolicy, circuitBreaker, timeout)

👉 GitHub
👉 Сайт

👩‍💻 Изучение Go в 2024 году: от новичка до профи

Автор Domain-Driven Design with Golang Matt Boyle объединил все источники, которые он считает полезными и стоящими, в одну статью.

Читайте подробнее, чтобы узнать о крутых книгах/блогах, видеокурсах/докладах на конференциях, подкастах и, самое главное, проектах для закрепления изученного.

👉 Читать

📈 По просьбе подписчиков «Библиотеки программиста» мы провели опрос и выяснили, что у большинства айтишников зарплата в 2023 году выросла.

⚡️ Как выглядит доход среднего айтишника и какие факторы окажут влияние на динамику ИТ-зарплат в 2024 году — расскажем в статье на VC.

👉 Читать

P. S. Свои предложения для исследований пишите в комменты👇

👩‍💻 Kubernetes — один из самых популярных инструментов для деплоя приложений и сервисов. Его можно использовать как в проде, так и в качестве среды для локального запуска сервисов на машинах разработчиков.

Ведущий разраб юнита Platform as a Service в Авито Павел Агалецкий рассказывает, как поднять маленький кластер Kubernetes на локальной машине с помощью общедоступных инструментов и задеплоить Hello World! на Go.

👉 Читать