Ладыгин Сергей | Backend
33 subscribers
11 photos
2 videos
35 links
Заметки о разработке и применении AI на практике.

Cайт https://updev.ru/
Download Telegram
🎙 Выпустил бота «Текстовица» — делает конспекты из аудио и видео прямо в Telegram

Загрузил файл или ссылку → получил структурированный Word-документ + возможность задавать вопросы по содержанию.

Бесплатно — до 1 часа в день, если нужно больше то за Telegram Stars ⭐️ (1 звезда = 1 минут).

Что внутри?
- Язык: Go
- Фреймворк: go-micro-kit + go-telegram
- Обработка медиа: FFmpeg → Yandex SpeechKit → Yandex GPT
- Хранение: PostgreSQL через GORM с автоматическими миграциями
- Мониторинг: трейсы, метрики и логи — всё через OpenTelemetry
- Поддержка форматов: WAV, MP3, OGG, M4A, FLAC, OPUS, AMR и др. + 15+ видео-платформ (YouTube, VK, Vimeo, Twitch и т.д.)

👉 @textovica_bot - попробовать
Буду рад идеям и обратной связи.
🔥4
🔋 Угрозы для кэширования, о которых не стоит забывать.

Когда добавляете в своё приложение кэш, стоит помнить о следующих моментах.
Они особенно актуальны при больших нагрузках.

1️⃣ Устаревшие данные
Пользователь видит старую цену, потому что кэш не успел обновиться.
💊 Решение: TTL + событийная инвалидация (pub/sub на изменения).

2️⃣ Грозовая стая (thundering herd)**
После падения кэша — все запросы летят в БД.
💊 Решение: `singleflight` — один запрос в источник, остальные ждут результата.

3️⃣ Лавина кэша (cache avalanche)
Миллион ключей истекают одновременно → нагрузка на БД.
💊 Решение: jitter + рандомизация TTL (например, 600±10%).

4️⃣ Конкуренция на запись
Два запроса одновременно обновляют один объект → потеря данных.
💊 Решение: оптимистичная блокировка с версией (CAS + versioning).

5️⃣ Негативное кэширование
Кэшируем 404 и ошибки, чтобы не бомбить БД на несуществующие ключи.
Но не кэшируем 400/500 — они временные!


🛠 Несколько дополнительных лайфхаков:
- Soft TTL + Hard TTL — за 10% до истечения запускаем фоновое обновление.
- Многоуровневый кэш — L1 (in-memory), L2 (Redis) → снижаем нагрузку.
- Шардирование кэша с помощью функции хэширования в несколько инстансов Redis → распределяем нагрузку.


📊 Observability - без метрик вы слепы:
- `cache hit rate` - эффективность
- `miss → origin latency` - задержки при промахах
- `key count by prefix` - количество ключей
- `errors from cache / origin` - ошибки кэша


👉 Хороший кэш — должен ускорять приложения и быть максимально актуальным.
🔥2
🔋Кэш #1. Устаревшие данные в кэше

Не во всех случаях нужны максимально актуальные данные, например:
Для ленты новостей — ок, если пост появиться в ленте на 5 минут позже.
Для баланса кошелька или цены у товара — даже секунда устаревания = баг.

👉 Вывод:
- Если допустимо немного устаревшее — хватит TTL.
- Если нужно максимально актуальное — добавляй событийную инвалидацию.

Пример на Go (Redis): два подхода

Вариант 1: Только TTL (для нетребовательных данных)
func GetNews(ctx context.Context, id string) (*News, error) {
var news News
if err := cache.Get(ctx, "news:"+id, &news); err == nil {
return &news, nil // из кэша
}

news = fetchFromDB(id)
cache.Set(ctx, "news:"+id, news, 5*time.Minute) // TTL = 5 мин
return &news, nil
}


Вариант 2: TTL + обновление кэша (для критичных данных)
func GetPrice(ctx context.Context, sku string) (*Price, error) {
var price Price
if err := cache.Get(ctx, "price:"+sku, &price); err == nil {
return &price, nil
}

price = fetchFromDB(sku)
cache.Set(ctx, "price:"+sku, price, 2*time.Minute)
return &price, nil
}

func ConsumeUpdatePrice(ctx context.Context, sku string, newPrice float64) error {
saveToDB(sku, newPrice)
cache.Set(ctx, "price:"+sku, price, 2*time.Minute) //сразу обновили!
return nil
}


> 🔑 Ключевой момент: инвалидация — моментальная, TTL — просто подстраховка на случай сбоя.

Следующий пост: «Грозовая стая» (thundering herd) и как singleflight спасает БД 🐘

#go #cache
🔥1
🌩 Кэш #2. Грозовая стая (Thundering Herd) — когда кэш упал, а БД не выжила

Представь:
— Кэш пуст (перезагрузка, TTL истёк).
— 10 000 запросов одновременно идут за одним товаром.
— Все 10 000 летят в БД → она ложится.

Это и есть грозовая стая — волна конкурентных запросов, обрушивающаяся на источник данных.

💡 Проблема не в объёме данных, а в одновременности.


💊 Решение: singleflight
Один поток идёт в БД, остальные ждут его ответ — и получают его из кэша.
В Go есть готовый инструмент — пакет golang.org/x/sync/singleflight.

Пример на Go
import (
"context"
"time"
"golang.org/x/sync/singleflight"
)

var (
cache = NewCache()
group = &singleflight.Group{}
)

func GetProduct(ctx context.Context, id string) (*Product, error) {
// 1. Сначала — кэш
if p := cache.Get(id); p != nil {
return p, nil
}

// 2. Затем — singleflight
// Все вызовы с одинаковым ключом "product:"+id ждут один общий запрос
result, err, _ := group.Do("product:"+id, func() (interface{}, error) {
// Только один goroutine выполнит это!
p := fetchFromDB(id)
cache.Set(id, p, 2*time.Minute)
return p, nil
})

if err != nil {
return nil, err
}
return result.(*Product), nil
}


Почему это работает:
- Даже при 10k RPS — только один запрос пойдёт в БД.
- Остальные получат результат без задержки, как только первый завершится.
- Нет races, нет лишней нагрузки.

⚠️ Важно: `singleflight` защищает от стаи на время промаха, но не заменяет кэш!
Он — временный «щит».


Следующий пост: «Лавина кэша» — когда всё умирает одновременно 🌋

#go #cache
🌋 Кэш #3. Лавина кэша (Cache Avalanche) — когда всё падает одновременно

Представь:
— У тебя 1 млн ключей в Redis.
— Все установили TTL = ровно 10 минут.
— Через 10 минут — все 1 млн ключей истекают вместе.
— Вся нагрузка валится в БД → она не справляется → сервис падает.

Это лавина кэша — массовое истечение TTL → коллапс.
💡 Проблема не в объёме данных, а в синхронности TTL.


💊 Решение: Jitter + рандомизация TTL
Добавь небольшой случайный разброс к времени жизни:
TTL = базовое_значение ± 10%

Теперь ключи умирают постепенно, а не залповым ударом.

Пример:
import (
"math/rand"
"time"
)

// base — базовое время (например, 10 минут)
// jitter — максимальный процент отклонения (например, 0.1 = ±10%)
func jitteredTTL(base time.Duration, jitter float64) time.Duration {
delta := base * time.Duration(jitter*float64(time.Second))
offset := rand.Int63n(int64(delta*2)) - int64(delta)
return base + time.Duration(offset)
}

// Использование
ttl := jitteredTTL(10*time.Minute, 0.1) // от 9 до 11 минут
cache.Set(ctx, "product:123", product, ttl)


Бонус: Soft Refresh (необязательно, но круто)
Если кэш критичен — обновляй его до истечения TTL в фоне:
— Читаем кэш при TTL - 10%
— Если скоро истечёт — асинхронно обновляем

Так пользователь никогда не увидит промах, даже при пике.

#go #cache
👻 Кэш #4. Негативное кэширование — кэшируй отсутствие

Часто сервис получает запросы к несуществующим сущностям:
/user/999999, /product/invalid-sku и т.д.

Если каждый раз идти в БД → она получит DoS от «призраков».

💡 Негативное кэширование — это:
Кэширование факта отсутствия (например, `nil`, `404`, `NOT_FOUND`)
на короткое время, чтобы не спамить источник.


✅ Кэшируй:
- 404 Not Found
- null для несуществующего ID
- «Пустой результат» по известному шаблону (например, пользователь удалён)

❌ Не кэшируй:
- 400 Bad Request — ошибка клиента, может исправиться
- 500 Internal Error — временный сбой, не состояние данных
- Любые временные ошибки (таймауты, connection reset и т.п.)

⚠️ Главное правило:
Кэшируй только то, что стабильно отсутствует, а не то, что сломалось.


Пример:
func GetUser(ctx context.Context, id string) (*User, error) {
key := "user:" + id
// Пытаемся прочитать из кэша
if val := cache.Get(key); val != nil {
if val == "nil" {
return nil, ErrUserNotFound // кэшированный 404
}
return decodeUser(val)
}

// Запрос в БД
user, err := db.GetUser(id)
if err != nil {
if errors.Is(err, ErrUserNotFound) {
// Кэшируем ОТСУТСТВИЕ на 2 минуты
cache.Set(key, "nil", 2*time.Minute)
return nil, err
}
// Любая другая ошибка — НЕ кэшируем!
return nil, err
}

cache.Set(key, encodeUser(user), 10*time.Minute)
return user, nil
}


Почему это важно:
- Защита БД от сканирования (брут ID, битые ссылки, боты)
- Снижение latency на «мёртвых» запросах
- Но — без ложных «заморозок» реальных ошибок

#go #cache
🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Релиз Finam Terminal 0.8 🚀

Клиент для торговли ценными бумагами, работает в консоли и написан на Go.
👍1
📺 Что под капотом Finam Terminal?

В прошлом посте показал демо, сейчас расскажу, что терминал умеет технически и почему я вообще решил писать TUI (Text User Interface).

Главная фича — скорость. Веб-интерфейсы часто тяжелые, а мобильные приложения не всегда под рукой, когда ты за ноутбуком. Консоль — родная среда, где ничего не отвлекает.

Функционал:
1️⃣ Real-time котировки. Никаких задержек HTTP-запросов. Данные летят через gRPC стримы напрямую с серверов Финама
2️⃣ Управление портфелем. Просмотр всех счетов, позиций и текущей оценки активов в одном окне
3️⃣ Торговля. Выставление заявок (Buy/Sell) прямо с клавиатуры
4️⃣ Кроссплатформенность. Собраны бинарники под Windows, Linux и macOS (включая Apple Silicon)

Технический стек:
Язык: Go 1.24+
UI: Библиотека tview — дает отличную отрисовку таблиц и форм в терминале
API: Официальный Finam Trade API через gRPC

Как запустить?
Я упаковал всё в Docker, одна команда:
docker run -it --rm ghcr.io/updevru/finam-terminal:latest

Либо можно скачать бинарник из релизов или собрать самому (go build). Конфиг и токены хранятся локально в .env, так что безопасность под вашим контролем.

Код открыт, буду рад фидбеку и PR 😀
👉 https://github.com/updevru/finam-terminal
🤖 Кодинг с AI: Как написан Finam Terminal

Этот проект — мой полигон для обкатки AI-first подхода к разработке. Я не просто копипастил код из чата, а выстроил полноценный пайплайн с использованием Gemini CLI и CDD фреймворка Conductor.

Суть метода — в структурировании контекста. Вместо хаотичных промптов я веду разработку через спецификации.

📁 Как это выглядит в репозитории:
В корне проекта есть папка conductor/. В ней живут:
1. spec.md — детальное описание того, что мы делаем.
2. plan.md — пошаговый план реализации как мы это делаем.
3. Треки (tasks) — конкретные задачи.

Workflow выглядит так:
1. Я создаю задачу командой /conductor:newTrack "Описание фичи".
2. AI анализирует текущий код, задает вопросы и предлагает план изменений.
3. Описание задачи, статус, план фиксируются в виде документов, создавая тем самым качественный и актуальный контекст.
4. По команде /conductor:implement Gemini пишет код, следуя плану.
5. По результату выполнения задачи обновляются общие спецификации проекта и задача перемещается в архив.

Это позволяет держать контекст проекта чистым и не терять логику при масштабировании. Фактически, я выступаю в роли архитектора и ревьюера, а рутину по написанию бойлерплейта для gRPC и tview берет на себя нейронка.

Если хотите посмотреть, как выглядят "промпты архитектурного уровня", загляните в папку conductor в репозитории. Это живой пример того, как можно делегировать кодинг AI, сохраняя контроль над качеством.

👉 https://github.com/updevru/finam-terminal
🔥1
Обновление Finam Terminal версия 0.8.1 🚀

Сделал функционал поиска ценных бумаг по названию и тикеру с возможностью ее купить. Полюс небольшие улучшения по интерфейсу.

🌐 Еще у проекта появился свой сайтик fcli.ru

⬇️ Скачать
P.S. Буду очень рад звездочкам на Github 😁
🔥 Вышел Go 1.26: что нового?
Коротко о самых важных изменениях в свежем релизе:

🔹 Языковые улучшения
- new(value): теперь в new можно передавать выражение для инициализации значения. Очень удобно для заполнения указателей на опциональные поля в структурах (например, в JSON или Protobuf).
- Рекурсивные дженерики: снято ограничение на самоцитирование типов в списке параметров. Теперь можно описывать интерфейсы вида type Adder[A Adder[A]].

🔹 Runtime и производительность
- Green Tea GC: новый сборщик мусора теперь включен по умолчанию. Обещают снижение оверхеда на 10–40% за счет оптимизации сканирования мелких объектов.
- CGO стал быстрее: накладные расходы на вызовы снижены примерно на 30%.
- Рандомизация адреса кучи: на 64-битных платформах база кучи теперь рандомная (ASLR для Go), что повышает безопасность.

🔹 Инструментарий
- Обновленный go fix: инструмент превратился в полноценный «модернизатор» кода. Теперь он умеет автоматически переводить проект на новые идиомы и API.
- Flame Graphs в pprof: веб-интерфейс профайлера теперь по умолчанию открывает визуализацию «пламенных графиков».
- go mod init: теперь по умолчанию ставит версию на одну ниже текущей (например, 1.25 для тулчейна 1.26), чтобы улучшить совместимость модулей.

🔹 Стандартная библиотека
- errors.AsType: типизированная и более быстрая версия errors.As.
- crypto/hpke: поддержка гибридного публичного шифрования (RFC 9180).
- bytes.Buffer.Peek: просмотр данных в буфере без сдвига указателя чтения.
- Эксперименты: появились профили для поиска утечек горутин (goroutineleak) и пакет для работы с SIMD.

🔗 Подробный разбор
🔥2👍1
Релиз Finam Terminal версия 0.9.0 🏁

Новый функционал:
- Просмотр истории сделок и заявок
- Человеческое отображение инструментов вместо тикеров
- Покупка и отображение в лотах, а не бумагах (некоторые бумаги продаются только лотами)
- Адаптация под Claude Code

⬇️ Скачать
🔥 Релиз Finam Terminal версия 0.10.0

Новый функционал:
- Профиль инструмента с подробной информацией
- График изменения цены в виде привычных свечей
- Отображение дат в локальной таймзоне
- Удобные скрипты для установки и обновления

👉 Скачать можно на сайте fcli.ru или на github
🔥2👍1
Экспериментирую с Agent Teams в Claude Code.

Крутая вещь, скажу я вам.

Суть простая: вы запускаете несколько экземпляров AI, каждый со своей ролью и зоной ответственности. Один проектирует архитектуру, другой пишет бэкенд на Go, третий собирает фронтенд на React, четвёртый тестирует. Они работают параллельно, обмениваются сообщениями и координируются через общий список задач.

👉 Подробнее в моей статье
😎 One-to-one с тимлидом Agent Teams

Сегодня был забавный случай, загрузил тимлида агентов очередной маленькой задачей.
Тот проанализировал, что же я хочу, и пришёл к выводу, что может сделать её сам без привлечения команды.

И что вы думаете? Он реализовал её самостоятельно, но, конечно же, не так качественно, как агент frontend. 😆

Вчера он тоже забыл, что после реализации задачи нужно дать команду DevOps на релиз изменений на тестовый контур. QA, естественно, развернул задачу обратно со словами: «Ничего не сделано». 🤦‍♂️

Пришлось провести one-to-one с тимлидом и объяснить, в чём он не прав, обещал исправиться и сам подкорректировал промпт. Посмотрим 🧑‍⚖️

В общем, всё как у людей — не всегда выполняют инструкции и что-то периодически забывают.
Наконец написал статью на Habr 😎
Волнительно, вдруг будет много минусов и карма уйдет в минс.

У кого есть аккаунт, поддержите лайком. 🙏

👉 Трейдинг в TUI: пишем легковесный клиент на Go через Finam Trade API
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍3❤2
Media is too big
VIEW IN TELEGRAM
📺 Воркшоп по Agent teams в Claude Code
Разобрал и показал как работает экспериментальный функционал Agent teams на примере реальной задачи реального проекта.

Разобрал темы:
1️⃣Мультиагентный флоу от постановки задачи до тестирования
2️⃣Контекст проекта как вести и как хранит
3️⃣Автоматизация тестирования и интеграции
4️⃣Детальный разбор архитектуры мультиагентной команды

Полезные ссылки:
Orchestrate teams of Claude Code sessions
Playwright Test Agents
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Попробовал в работе Open Design для создания лендинга. Впечатления очень положительные 🚀

Больше всего зацепили три вещи.

1️⃣ Визуал строится не "из воздуха", а на базе дизайн-системы. Поэтому результат ощущается собраннее: меньше случайных цветов, странных отступов и типичного AI-slop.

2️⃣ AI-native подход. После генерации макета его легко не просто посмотреть, а дальше интегрировать в продукт: работать с файлами, править, дорабатывать, встраивать в существующий процесс.

3️⃣ Использование coding agents: Claude Code, Codex, OpenCode и других. Вся их обвязка со skills, MCP и контекстом проекта становится доступна уже на этапе проектирования дизайна, а не только когда пора писать код.

Отдельно поражает темп: с 1 по 13 мая у них вышли версии 0.1.0-0.7.0, а в последнем релизе указаны 107 PR и 49 contributors. Интерес сообщества к проекту 41 тыс. звезд.

Пока беру инструмент на заметку и продолжу наблюдать. Масштаб и скорость разработки у проекта впечатляют 👀

🐱 https://github.com/nexu-io/open-design
Please open Telegram to view this post
VIEW IN TELEGRAM
🧪 Опубликовал на Хабре эксперимент с локальной Qwen на Go-сервисе.

Проверял не абстрактный benchmark, а обычную backend-задачу: auth service на Go с регистрацией, логином, JWT, PostgreSQL, Docker Compose и тестами.

В итоге получился рабочий backend-скелет и 19 unit-тестов.

Не production-ready магия, но уже вполне полезный исполнитель для понятной инженерной рутины.

👉 Статья: https://habr.com/ru/articles/1043090/
👍1🔥1
🚀 Помните эксперимент с Agent Teams? Вот чем он закончился

В марте я рассказывал, как собрал в Claude Code команду AI-агентов: архитектор, backend, frontend, DevOps, QA. Первый коммит — 17 марта.

Пять месяцев спустя, с небольшим перерывом, это уже не эксперимент, а живой сервис: Scruma — командные ретроспективы онлайн. С апреля в проде, недавно появились платные тарифы.

Что умеет:
1️⃣ ретро по этапам: размышление → группировка → голосование → обсуждение
2️⃣ real-time доска с курсорами участников и таймером
3️⃣ анонимные карточки — люди пишут честнее
4️⃣ итог ретро — задачи с ответственными и дедлайнами, а не просто «поговорили»
5️⃣ AI-группировка карточек
6️⃣ MCP-сервер: ретро можно вести прямо из Claude Code или Cursor

Последний пункт мой любимый: сервис, написанный AI-агентами, теперь сам работает с AI-агентами. Круг замкнулся 😆

Бесплатного тарифа (до 5 участников) хватит небольшим командам.

👉 https://scruma.ru

Попробуйте на ближайшем ретро и напишите мне, что понравилось, а что бесит. Фидбек от своих — самый ценный.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
🔥 Вышел Go 1.27: что нового

Поменялся сам язык, а под encoding/json подменили движок. Коротко о том, что пригодится на практике.

🔹 Дженерик-методы

Метод теперь может объявлять свои параметры типа. Раньше такое приходилось выносить в функцию уровня пакета.
type List[E any] []E

func (l List[E]) Map[R any](f func(E) R) List[R] {
r := make(List[R], len(l))
for i, v := range l {
r[i] = f(v)
}
return r
}

names := List[User]{u1, u2}.Map(func(u User) string { return u.Name })

Оговорка: в интерфейсах так нельзя. Дженерик-метод не реализует метод интерфейса, спрятать такой Map за интерфейсом не выйдет.

🔹 Поля встроенных структур в литералах

Поле встроенной структуры теперь можно задать напрямую.
type Base struct{ ID int }
type User struct {
Base
Name string
}

u := User{ID: 7, Name: "gopher"}
// раньше: User{Base: Base{ID: 7}, Name: "gopher"}

Мелочь, но фикстуры и тестовые данные становятся чище.

🔹 JSON стал быстрее

encoding/json переписали на движок v2. Поведение то же, разбор заметно быстрее — достаточно пересобрать проект. Текст ошибок мог поменяться, так что тесты со сравнением строк ошибок стоит проверить.

Рядом лежит encoding/json/v2 со строгими правилами: невалидный UTF-8 и дубли ключей теперь ошибка.

🔹 uuid в стандартной библиотеке
id := uuid.NewV7() // время + случайные биты, сортируемый
s := id.String()
back, err := uuid.Parse(s)

Есть NewV4, Nil, Max, MustParse, Compare и Marshal/UnmarshalText. Внешнюю зависимость на uuid можно выкидывать.

🔹 Runtime

Мелкие аллокации (до 80 байт) подешевели до 30%.
Профиль утечек горутин доехал из эксперимента до релиза: /debug/pprof/goroutineleak. Показывает горутины, которые ждут на канале или мьютексе, а разблокировать их уже некому.
net/http дочитывает непрочитанное тело ответа при Close(), соединения лучше переиспользуются.

🔗 Release notes: https://go.dev/doc/go1.27
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1