👀 Умеете строить предсказуемую архитектуру с ИИ? Станьте спикером Proglib academy

Мы в Proglib.academy запускаем курс по Spec-Driven Development (SDD) — учим разработчиков управлять ИИ-агентами (Cursor, Copilot, Claude) через спецификации, контекст и тесты, чтобы не перепроверять за нейросетью каждую строку.

Для этого курса мы ищем классных спикеров-практиков.

➡️ Что требуется от вас?

● BigTech бэкграунд: опыт работы разработчиком, тимлидом или архитектором в крупных технологических компаниях.
● Опыт управляемой разработки с ИИ: вы на практике знаете, как встроить AI-инструменты в личный или командный workflow (от постановки задачи до ревью AI-кода).
● Системный подход: умение превращать хаотичную генерацию кода в предсказуемый инженерный процесс (работа с архитектурой, чек-листами, легаси и покрытием тестами).

➡️ Что мы предлагаем?

● Достойную оплату за подготовку материалов и проведение занятий.
● Мощное продвижение личного бренда через медиаресурсы Proglib (наша аудитория — 1 млн+ айтишников).
● Возможность публиковать свои экспертные материалы и статьи на наших площадках.
● Доступ к сильному и закрытому профессиональному сообществу.

Также мы ищем консультанта программы.

Если вы практикующий эксперт и готовы помочь нам отвалидировать программу курса, дать рекомендации по актуальности тем и финальным результатам обучения — мы вас очень ждем.

➡️ Как с нами связаться:

Telegram: @alinaa_kh
E-mail: alina@proglib.io

⭐️ Фреймворк для микросервисов на Go

Когда вы пишете микросервис на Go, заметная доля времени уходит не на бизнес логику, а на обвязку вокруг неё. Загрузка конфигов, логирование, трейсинг, метрики, подключение к базам, health чеки. Каждый новый сервис тащит этот набор заново, и в каждой команде он немного свой.

GoFr берёт обвязку на себя. Это фреймворк, заточенный под микросервисы и деплой в Kubernetes.

❓ Как это выглядит

Минимальное приложение умещается в десяток строк. Сначала ставите модуль:

go get -u gofr.dev/pkg/gofr

Дальше создаёте приложение и вешаете маршрут:

package main

import "gofr.dev/pkg/gofr"

func main() {
  app := gofr.New()

  app.GET("/greet", func(ctx *gofr.Context) (any, error) {
    return "Hello World!", nil
  })

  app.Run() // слушает на localhost:8000
}

После этого по адресу localhost:8000/greet уже отвечает рабочий сервис. Обработчик возвращает данные и ошибку, а сериализацию ответа по стандартам REST фреймворк делает сам.

➡️ Что внутри

Главная фишка это наблюдаемость из коробки. Логи, трейсы и метрики собираются без ручной настройки, под капотом OpenTelemetry. Конфиги читаются из переменных окружения и файлов, так что код не привязан к окружению. Подключения к базам данных идут через объект ctx, и для каждого источника данных есть health чек.

Фреймворк закрывает типичные потребности микросервиса: поддержка gRPC, HTTP клиент с circuit breaker, Pub/Sub, миграции базы, cron задачи, аутентификационный middleware и место под свой, смена уровня логирования без перезапуска, рендеринг Swagger, абстракция над файловыми системами, веб сокеты.

GoFr подойдёт, если вы строите много однотипных сервисов и устали раз за разом писать одну и ту же инфраструктурную обвязку. Взамен вы принимаете правила фреймворка, потому что он именно опинионированный и навязывает свой способ делать вещи.

Для разовой утилиты или нестандартной архитектуры это может оказаться лишним, а вот для парка микросервисов под Kubernetes экономия времени ощутимая.

➡️ Репозиторий

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoToProduction

💡 Предложение добавить slog.TestHandler в стандартную библиотеку Go

В трекере Go появилось предложение добавить в пакет log/slog готовый хендлер, который пишет логи в testing.TB. Тогда логи приложения и логи теста окажутся в одном выводе и привяжутся к нужному тесту или подтесту.

❓ Зачем это

Сопоставлять логи приложения с тестом, который их породил, приходится постоянно. Кирпичик для этого уже есть. Метод testing.TB.Output() добавили в Go 1.25 для T, B и F, а в Go 1.26 расширили на сам интерфейс TB. Но готового хендлера в slog нет, поэтому каждый проект собирает его заново.

Обычно так:

logger := slog.New(slog.NewTextHandler(t.Output(), nil))

Этот вариант работает, но у него два минуса. Удобства тест ориентированного хендлера приходится дописывать руками, а наивная форма имеет реальную гонку при логировании после завершения теста.

➡️ Что предлагают сделать

В log/slog появится тип TestHandler, реализующий интерфейс Handler, и конструктор к нему. Чтобы не тянуть testing внутрь slog и не словить циклический импорт, вводят узкий интерфейс TestLogger. Ему удовлетворяют *testing.T, *testing.B и *testing.F.

package slog

// TestLogger — подмножество testing.TB, нужное хендлеру.
type TestLogger interface {
    Output() io.Writer
}

// NewTestHandler возвращает Handler, который пишет записи в tb.Output().
// Вывод форматируется как у NewTextHandler. opts может быть nil.
func NewTestHandler(tb TestLogger, opts *HandlerOptions) *TestHandler

type TestHandler struct {
    tb TestLogger // куда писать
    // ...
}

func (h *TestHandler) Enabled(ctx context.Context, level Level) bool { ... }
func (h *TestHandler) Handle(ctx context.Context, record Record) error { ... }
func (h *TestHandler) WithAttrs(attrs []Attr) Handler { ... }
func (h *TestHandler) WithGroup(name string) Handler { ... }

На стороне теста всё сводится к одной строке:

func TestThing(t *testing.T) {
    logger := slog.New(slog.NewTestHandler(t, nil))

    // Логи лягут под TestThing с отступом от раннера.
    // Для прошедших тестов вывод скрыт, пока не передан флаг -v,
    // как у t.Log() и t.Logf().
    doWork(logger)
}

Пока это обсуждение, а не принятая фича. Следить за судьбой можно в самом issue #80138.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoLive

🤔 Функция с пустым телом — что вернёт компилятор?

Вот простой код:

func foo() {}

Тело есть. Но оно пустое. Функция ничего не делает, ничего не возвращает.

Go — язык строгий. Он не любит неиспользуемые переменные и лишний импорт. Но как он относится к функции, которая существует и при этом ничего не делает?

Подсказка: вспомните, как Go обрабатывает неиспользуемый код на уровне функций, а не переменных.

➡️ Правильный ответ

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#ReadySetGo

🐠 Открытый фреймворк для учебного фишинга

Gophish это опенсорсный инструмент для проведения фишинговых учений и обучения сотрудников. Он рассчитан на бизнес и пентестеров, которым нужно легально проверить, как команда реагирует на поддельные письма. Проект написан на Go.

Запускать такие кампании можно только против своей организации или там, где у вас есть письменное разрешение. Без него это уже не учения.

Вы описываете кампанию в веб-интерфейсе, а инструмент сам рассылает письма, поднимает посадочные страницы, отслеживает открытия и переходы и собирает всё в отчёты.

Вся функциональность доступна и через REST API, поэтому кампании можно гонять из скриптов и встраивать в свои пайплайны отчётности.

➡️ Как запустить

Самый быстрый путь это готовый бинарь. Под Windows, macOS и Linux есть релизы, их достаточно скачать, распаковать и запустить. Или собрать самостоятельно:

git clone https://github.com/gophish/gophish.git
cd gophish
go build
./gophish

Есть и официальный Docker образ, если не хотите ставить ничего на хост:

docker run --name gophish -p 3333:3333 -p 8080:8080 gophish/gophish

После старта админка поднимается на https://localhost:3333. Логин и пароль не зашиты заранее, а печатаются в лог при первом запуске. Выглядит это примерно так:

level=info msg="Please login with the username admin and the password 4304d5255378177d"

Gophish превращает разрозненную ручную работу по фишинговым учениям в управляемый процесс с нормальной статистикой.

➡️ Репозиторий

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoToProduction

👨‍💻 Контекст неизменяемый, а память нет

Правило знают все. context.WithValue ничего не меняет, а создаёт новую обёртку, поэтому контекст безопасно шарить между горутинами. Учебники забывают сказать главное.

Иммутабельны обёртки, а объект в корне цепочки может переиспользоваться фреймворком через sync.Pool. Тогда горутина, пережившая запрос, держит указатель на память, которая вот‑вот достанется другому запросу.

Хендлер запускает фоновую задачу и сразу возвращает ответ. Линтер ругается на отмену контекста, и со времён Go 1.21 его успокаивают одной строкой:

go s.processAsync(context.WithoutCancel(ctx), id)

Для net/http это правильно. Там контекст это обычная аллокация в куче. Но линтер слеп к архитектуре и не знает, что под context.Context может стоять пулящаяся структура.

❓ Где можно споткнуться

В Fiber и всём на fasthttp c.Context() возвращает *fasthttp.RequestCtx. Пулящийся объект и есть ваш контекст, и после отправки ответа fasthttp сбрасывает его и кладёт обратно в пул. Gin пулит *gin.Context, поэтому передавать его в горутину нельзя (для снимка есть c.Copy()), а c.Request.Context() безопасен. Echo свой контекст пулит, но context.Context он не реализует, так что задеть гонку сложнее.

Дальше воркер просыпается после I/O, зовёт ctx.Value("user_id") и читает память, которую перезаписывают данными другого пользователя. И вот что коварно. WithoutCancel снимает только отмену, а Value() по‑прежнему делегирует пулящемуся родителю. То есть фикс, который позеленил линтер, ровно и удерживает протухший указатель.

➡️ Как правильно

Если задаче ничего не нужно из запроса, постройте свежий корень:

ctx := context.Background()

Если нужны trace‑id или user‑id, вытащите их как простые значения, пока горутина запроса ещё жива, и положите в свежий контекст:

userID := c.Locals("user_id").(string)
traceID := c.Locals("trace_id").(string)
go func(userID, traceID string) {
    ctx := context.WithValue(context.Background(), userCtxKey, userID)
    ctx = context.WithValue(ctx, traceCtxKey, traceID)
    h.svc.ProcessAsync(ctx, userID)
}(userID, traceID)

Вся безопасность держится на том, что значения сняты до возврата из хендлера. Логику стоит вынести в хелпер вроде ctxutil.Detach(ctx). Из штатных лазеек помогают c.Copy() у Gin и c.UserContext() у Fiber.

Линтер видит синтаксис, но не жизненный цикл памяти. Если горутина переживает запрос, не давайте ей контекст запроса ни в какой обёртке. Снимайте значения как простые данные, стройте свежий корень и держите -race в CI.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoDeep

🎮 Субботний оффтоп

Кто-то собрал веб-версию Half-Life 2 и запустил её без установки и скачивания. Уровни и ресурсы грузятся быстро, игра работает бодро. У многих сразу включается русский язык — Сити-17 и Рейвенхольм уже вовсю тестируют первые игроки.

➡️ Поиграть

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoLive

📎 Главная проблема в микросервисах

Сервис стартует чистым. Через полгода его трогать никто не хочет. Багов нет, тесты проходят, но любое изменение задевает пять файлов, а новому инженеру три дня объясняют, что где лежит.

Проблема не в алгоритме и не в кэше, а в структуре. Команды копируют раскладку папок, не понимая контракт, который эта раскладка должна навязывать.

Папки вместо архитектуры
Спросите десять команд про структуру сервиса, и почти все опишут что‑то такое.

/cmd
/internal
  /handlers
  /services
  /repository
  /models
/pkg

Выглядит разумно и проходит ревью. Беда в том, что папки создают иллюзию границ, но не держат их. Ничто не мешает хендлеру импортировать репозиторий напрямую. Ничто не мешает модели обрасти бизнес‑логикой. Границы косметические, и код деградирует предсказуемо. Логика переползает туда, где удобнее, обычно в хендлеры, потому что там контекст.

Типы репозитория протекают в API, потому что заводить отдельный DTO лень. Пакет models превращается в общий мешок структур, от которого зависят все, и поменять в нём что‑либо без каскада уже нельзя. Получается слоёная на вид архитектура, ведущая себя как монолит с накладными расходами на HTTP.

В чём контракт слоёв

Контракт про направление зависимостей. Они текут внутрь. Внешний слой (HTTP, gRPC, CLI) знает про слой приложения. Слой приложения знает про домен. Домен не знает ни про что.
На практике это значит вот что. Хендлер принимает запрос, зовёт метод сервиса и сериализует ответ. Никакого SQL и никаких бизнес‑правил в нём нет.

Сервис кодирует, что приложение делает. Он оркестрирует, валидирует, делегирует репозиторию и ничего не знает про HTTP. Репозиторий говорит с базой и возвращает доменные типы или ошибки, но не pgx.Rows.

Доменные типы несут инварианты. Структура Member знает, что делает участника валидным, но не знает, как сериализовать себя в JSON. Когда контракт держится, слои тестируются независимо, реализацию репозитория можно подменить, не трогая хендлер, а gRPC добавить без дублирования логики.

Анти‑паттерн god service

Чаще всего контракт ломает god service. Сервис‑структура, которая всасывает всё:

type MemberService struct {
    db *pgxpool.Pool
}

func (s *MemberService) CreateMember(ctx context.Context, req CreateMemberRequest) (*Member, error) {
    // валидация, хеш, вставка строки, welcome‑письмо, событие в Kafka
}

Через полгода у MemberService сорок методов, пул базы, почтовый клиент, продюсер Kafka, клиент S3 и конфиг. Любой тест требует поднять все зависимости, даже когда проверяешь одну ветку валидации. Это уже не слой, а ящик для хлама. И дробить его на MemberCreationService и MemberUpdateService бесполезно, получите ящики поменьше.

Лечит инверсия зависимостей

Интерфейсы в Go удовлетворяются неявно, и это недоиспользуют. Вместо *pgxpool.Pool опишите то, что сервису реально нужно:

type MemberRepository interface {
    CreateMember(ctx context.Context, params CreateMemberParams) (*Member, error)
    GetMemberByID(ctx context.Context, id uuid.UUID) (*Member, error)
}

type EventPublisher interface {
    Publish(ctx context.Context, event DomainEvent) error
}

type MemberService struct {
    repo      MemberRepository
    publisher EventPublisher
}

Теперь сервис ничего не знает про PostgreSQL и Kafka. Он зависит от поведения, а не от реализации. Чтобы протестировать метод, достаточно мока под интерфейс, без базы, брокера и сети. Про pgx знает реализация репозитория, про franz-go знает реализация publisher, а сервис не знает ни про то, ни про другое. В этом и есть контракт.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoDeep

🤩 Фаззинг находит то, что вы не догадались проверить

У обычных тестов есть слепое пятно. Они проверяют случаи, которые вы придумали, а баги живут в тех, что не придумали. Покрытие в 90% говорит, сколько строк вы прогнали, но молчит о том, сколько форм входа упустили. Зелёный прогон означает лишь, что код отработал на ваших примерах, а не что устоит против всех.

➡️ Идея в одном сдвиге

Вы пишете не пример, а свойство, которое обязано держаться всегда. Машина сама ищет вход, который его ломает. Вместо «на входе X жду Y» вы описываете инвариант:

func FuzzParse(f *testing.F) {
    f.Add("platform=5000") // сиды это ваши готовые кейсы
    f.Fuzz(func(t *testing.T, rule string) {
        team, limit, err := ParseBudgetRule(rule)
        if err != nil {
            return // ошибка на кривом входе это норма
        }
        // раз ошибки нет, результат обязан быть валидным
        if limit <= 0 || team == "" {
            t.Errorf("bad result without error for %q", rule)
        }
    })
}

Частое заблуждение, что фаззер сыплет случайные байты. Современные фаззеры coverage‑guided. Стартуют с ваших сидов и мутируют их, отслеживая, какие мутации открывают новые ветки. Попал в новый путь, копает оттуда. Поэтому к багам он сходится в разы быстрее слепого рандома. Юнит‑тесты проверяют дороги, которые вы построили, фаззер ищет те, о которых вы не знали.

❓ Что ловит

Класс ошибок на стыке кода и реальности. Паника на входе, которого «не бывает».

parts := strings.SplitN(rule, "=", 2)
limit, _ := strconv.Atoi(parts[1]) // "platform" без = и parts[1] не существует
// panic: index out of range [1] with length 1

Нарушения инвариантов, когда функция вернула мусор без ошибки, что хуже явной паники. Расхождения round‑trip, когда decode(encode(x)) не равно x. Их объединяет одно. Все появляются, когда снаружи приходит то, чего код не ждал. Обычные тесты это скипают, потому что их пишут под ожидаемые сценарии, а вы рассуждаете как автор кода, который знает, как им пользоваться. Фаззеру эта рамка незнакома.

Найденный падающий вход не исчезает. Go сам кладёт минимальный контрпример в testdata/fuzz/ и делает из него регрессию:

go test -fuzz=FuzzParse -fuzztime=30s   # ищем баг
go test ./...                           # корпус гоняется всегда, даже без -fuzz

Один раз пойманный баг вернуться уже не может.

➡️ Куда прикладывать

Туда, где код разбирает или валидирует внешний вход. Парсеры, декодеры, заголовки, query, конфиги, всё, что ветвится по содержимому. Чем больше условной логики, тем больше путей фаззеру. Не стоит фаззить чистую бизнес‑логику без зависимости от входа и функции, которые ходят в сеть или базу, их фаззер дёрнет тысячи раз. Правило короткое. Зависит поведение от того, что прислал внешний мир, заведите фаззинг.

❓ Почему окупается

Барьер почти нулевой. В Go фаззер встроен в тулчейн с версии 1.18, свойство пишется в считаные строки. Цена это пара минут на разработке. Альтернатива это ждать, пока вход за вас подберёт прод. Боевыми данными, под нагрузкой, в три часа ночи, в виде алерта. Прод пофаззит ваш код в любом случае, вопрос лишь в том, узнаете вы о баге от теста или от дежурного.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoDeep

📰 Дайджест недели

Автостопом по новостям

— Детектор утечек горутин

— uuid.NewV7() теряет случайность в браузере

— gcli v3.8.0

— Добавить slog.TestHandler в стандартную библиотеку Go

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoLive

🧑‍💻 Сравнение двух Go-структур без хардкода полей. Часть 1, проблема

Почти в каждом бэкенде есть скучная рутина. Вы тянете данные из внешнего источника, у вас уже лежит их копия в своей базе, и нужно обновить только те строки, которые реально изменились. Звучит просто, но на практике это превращается в стену почти одинакового кода сравнения, который никто не хочет трогать.

В этой серии разберём приём на рефлексии, который убирает эту стену целиком. Начнём с того, откуда вообще берётся боль.
Допустим, приходит событие «водитель принял заказ», и вы подтягиваете свежий профиль водителя из внешнего сервиса.

Он отдаёт маленькую структуру на три поля:

type DriverDriver struct {
    Name       string  `json:"name"`
    Number     string  `json:"number"`
    ProfilePic *string `json:"profile_pic"`
}

А ваша модель базы выглядит куда менее мило, в ней около восьмидесяти колонок:

type User struct {
    ID         int64   `gorm:"column:id"`
    Name       string  `gorm:"column:name"`
    Email      string  `gorm:"column:email"`
    Number     string  `gorm:"column:number"`
    ProfilePic *string `gorm:"column:profile_pic"`
    // ... и ещё около восьмидесяти колонок
}

Перезаписывать всю строку нельзя. Нужно отправить в UPDATE только те колонки, которые отличаются, чтобы не затереть поля, о которых внешний сервис вообще ничего не знает.

Первый вариант, который пишут все, выглядит так:

updates := map[string]any{}
if driver.Name != user.Name {
    updates["name"] = driver.Name
}
if driver.Number != user.Number {
    updates["number"] = user.Number // упс, опечатка, скопировали не ту сторону
}
if !ptrEqual(driver.ProfilePic, user.ProfilePic) {
    updates["profile_pic"] = driver.ProfilePic
}

Этот код работает, но плохо стареет. Каждое новое поле это ещё три строки. Указатели требуют отдельного хелпера. Кто-то по невнимательности пишет user.Number вместо driver.Number, и вы получаете баг, который всплывёт только когда водитель сменит телефон. Помножьте это на три разных DTO и три таблицы, и поддерживать такое становится больно.

В следующей части посмотрим, как переписать сравнение так, чтобы оно вообще не упоминало ни одного имени поля.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoDeep

🤝 Уйти грамотно — это тоже навык
 
В IT репутация передается быстрее, чем резюме. Бывший тимлид может ответить на звонок рекрутера через год, бывший коллега — написать в личку вашему потенциальному работодателю.

Один неаккуратный уход способен закрыть двери туда, где вы еще даже не пытались открыть.

➡️ Как уйти красиво

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

🔍 LeetCode Daily: считаем подстроки за один проход

Задача дня на LeetCode — Number of Strings That Appear as Substrings in Word. Дан массив строк patterns и строка word. Нужно вернуть количество строк из patterns, которые входят в word как подстроки.

Подстрока — это непрерывная последовательность символов внутри строки. Если patterns = ["a","abc","bc","d"] и word = "abc", ответ будет 3: входят "a", "abc" и "bc", а "d" нет.

➡️ Решение
 
В Go для этого есть готовый инструмент — strings.Contains. Проходим по каждому паттерну и проверяем вхождение. Если вошло, увеличиваем счётчик.

import "strings"
 
func numOfStrings(patterns []string, word string) int {
    count := 0
    for _, p := range patterns {
        if strings.Contains(word, p) {
            count++
        }
    }
    return count
}

➡️ Сложность
 
strings.Contains внутри использует алгоритм поиска подстроки. При длине word = n и pattern = m это O(n·m) в худшем случае. С учётом ограничений задачи в 100 символов это несущественно.

➡️ Решить

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#ReadySetGo

📎 Сравнение двух Go-структур без хардкода полей. Часть 2, идея с тегами

В первой части мы упёрлись в стену из почти одинаковых блоков if, которая растёт с каждым новым полем. Теперь зададим другой вопрос. Что если логика сравнения вообще не будет упоминать ни одного имени поля?

У полей Go-структуры можно хранить метаданные через теги, те самые строки в обратных кавычках. GORM по тегу gorm:"column:name" знает, в какую колонку базы ложится поле. JSON по тегу json:"name" знает имя в JSON. Это просто строки, которые рантайм умеет читать обратно через рефлексию.

Обе стороны сравнения уже размечены. Модель базы знает свои колонки. Нужно лишь, чтобы входящий DTO объявил, какой колонке соответствует каждое его поле. Поэтому добавляем ещё один тег:

type DriverDriver struct {
    Name       string  `json:"name" match:"name"`
    Number     string  `json:"number" match:"number"`
    ProfilePic *string `json:"profile_pic" match:"profile_pic"`
}

Тег match:"name" это весь контракт. Он говорит, что это поле надо сравнивать с колонкой базы по имени name. Правило маппера получается таким. Для каждого поля DTO с тегом match найди поле базы, у которого колонка gorm равна этому тегу, сравни их, и если различаются, запиши новое значение под именем колонки.

Ни одно имя поля не зашито в логику. Определения структур сами становятся конфигурацией. Добавили поле и тег, оно автоматически попало в сравнение. Удалили, оно выпало. Сам маппер при этом не меняется. Вызов выглядит как одна строка на модель:

driverUpdates, err := mapper.CompareAndMap(driver.DriverDriver, dbUser)
metaUpdates, err  := mapper.CompareAndMap(driver.DriverMeta, dbUser)
vehicleUpdates, _ := mapper.CompareAndMap(driver.Vehicle, dbVehicle)

Каждый вызов возвращает map[string]any только из изменившихся колонок, и это ровно та форма, которую ждёт Updates() у GORM. Обратите внимание, второй и третий вызовы сравнивают совсем разные типы структур с разными таблицами одной и той же функцией.

В следующей части разберём, как этот маппер устроен внутри.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoDeep

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoGiggle

📎 Разбираемся, как os.ReadFile() работает с памятью

Во многих туториалах по Go встречается фраза «os.ReadFile() читает весь файл в память». Мы привыкли принимать такие утверждения на веру, хотя проверить их легко.

В этом посте разберём, что на самом деле происходит с памятью процесса, когда os.ReadFile() обрабатывает файл на 500 мегабайт, и почему результат измерений может удивить.

➡️ Эксперимент

Берём простую программу. Она читает файл, путь к которому передан аргументом, выводит его размер и затем ждёт нажатия Enter, чтобы у нас было время посмотреть на потребление памяти процесса:

package main

import (
    "fmt"
    "os"
)

func main() {
    if len(os.Args) != 2 {
        fmt.Println("Please specify a path")
        return
    }

    b, err := os.ReadFile(os.Args[1])
    if err != nil {
        panic(err)
    }
    fmt.Println("File has been read into memory.")
    fmt.Println("Size:", len(b), "bytes")

    fmt.Println("Press Enter to exit...")
    fmt.Scanln()
}

Сначала создаём файл на 500 мегабайт:

fallocate -l 500M bigfile.txt

Запускаем программу через go run:

go run readingFile_bad.go bigfile.txt

Пока программа стоит на паузе, смотрим на её RSS, то есть на объём физической памяти, реально занятой процессом:

ps -o pid,rss,vsz,cmd -p 228159
    PID   RSS    VSZ CMD
 228159  3116 1750908 /tmp/go-build2199976311/b001/exe/readingFile_bad bigfile.txt

RSS показывает примерно 3 мегабайта, хотя файл весит 500. Логично ожидать, что вся эта память должна быть занята. Разберёмся, почему этого не происходит.

❓ Почему память не занята

Когда os.ReadFile() вызывается, Go выделяет на куче backing array размером с файл, в нашем случае 500 мегабайт, и операционная система копирует туда содержимое файла с диска.

Переменная b []byte, которую мы получаем, это не сами данные. Это всего лишь заголовок слайса, маленькая структура размером около 24 байт на 64-битной системе, которая хранит три поля: указатель на первый байт backing array, текущую длину слайса, и полную ёмкость backing array.

Сам слайс маленький, а массив с данными файла занимает реальные 500 мегабайт где-то в куче:

b │
  ├── pointer ───────────────┐
  ├── length = 524288000     |
  └── capacity = 524288000   │
                             ▼
                         +-----------------------+
                         | 500 MB backing array  |
                         +-----------------------+

Дело в том, что в нашей программе после fmt.Scanln() переменная b больше нигде не используется. Компилятор и сборщик мусора видят, что b мертва после этой точки, поэтому backing array становится недоступным для использования и сборщик мусора может его освободить ещё до того, как мы посмотрели на RSS.

Чтобы проверить эту гипотезу, раскомментируем строку с обращением к b[0] в конце программы:

fmt.Println("FirstByte: ", b[0])

Теперь компилятор знает, что переменная понадобится после Scanln(), и не может позволить сборщику мусора забрать её раньше времени. Запускаем программу заново и смотрим на RSS:

ps -o pid,rss,vsz,cmd -p 233685
    PID   RSS    VSZ CMD
 233685 514680 1750844 /tmp/go-build1663734078/b001/exe/readingFile_bad bigfile.txt

На этот раз RSS равен 514680 килобайт, то есть около 514 мегабайт. Это уже соответствует ожиданиям.

Стоит добавить ещё один нюанс. Команда go run сама по себе не запускает наш код напрямую, она сначала компилирует временный исполняемый файл во временную директорию и уже его запускает отдельным процессом. Поэтому при анализе памяти нужно смотреть не на процесс go run, а на дочерний процесс из /tmp/go-build.../exe/, именно он реально читает файл.

os.ReadFile() действительно выделяет память под весь файл целиком, утверждение из туториалов верное. Но []byte, который мы получаем, это лёгкий заголовок слайса, а не сами данные, и поведение сборщика мусора влияет на то, когда именно эта память физически занята процессом. Если переменная с данными становится недостижимой раньше, чем вы успели посмотреть на RSS, может показаться, что файл вообще не загружался в память, хотя на деле это просто сборка мусора отработала раньше, чем мы ожидали.

Полезный практический вывод из этого расследования простой. Если вам нужно работать с большими файлами, лучше избегать os.ReadFile() и использовать потоковое чтение через bufio.Reader или io.Copy, чтобы не держать весь файл в памяти разом.

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoDeep

🤔 Стоит ли Go развиваться быстрее

В сабреддите r/golang разгорелось обсуждение, которое касается почти каждого, кто пишет на Go. Автор треда обратил внимание, что в 1.26 основная работа снова шла не в синтаксис, а в рантайм, тулчейн, планировщик и сборщик мусора.

Дальше встал вопрос, стоит ли языку и дальше расти медленно, вкладываясь в производительность и инструменты, или пора добавлять больше фич, и было ли многолетнее сдерживание силой языка или тормозом для его развития.

➡️ Стабильность как главный аргумент

Самая частая тема в треде это обратная совместимость. Многие участники прямо пишут, что выбрали Go именно потому, что код, написанный десять лет назад, до сих пор компилируется и работает так же, как раньше.

➡️ Маленький язык как осознанный выбор

Вторая крупная тема это размер языка. Часть комментаторов прямо говорит, что любит Go именно за то, что в нём мало способов сделать одно и то же. Чем меньше в языке конструкций, тем меньше поводов для споров в код-ревью и тем легче читать чужой код, написанный по совершенно другим командам и в другое время.

➡️ Где сообщество видит реальный потенциал для роста

Почти никто в треде не просит радикальных изменений синтаксиса, но запрос на улучшения всё же есть. Чаще всего звучат три темы:

• Производительность и сборщик мусора, который многие сравнивают не в пользу Go с JVM.

• Полноценные enum, которые называют одной из немногих фич, добавление которых не выглядит избыточным.

• Доработка инструментов, в частности encoding/json/v2, который уже называют заметным шагом вперёд.

💬 Что вы думаете? Стоит ускорять разработку го и было ли многолетнее сдерживание силой языка или тормозом для его развития?

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека Go-разработчика

#GoTalk