Цель была 18. Сейчас — 30.
Cold_start_v2 финишировал 9 апреля: медиана 32 мема за сессию, цель по North Star закрыта. Отметили и пошли дальше.
Но метрика не остановилась. 10 апреля — 38 мемов медиана. Рекорд. Последняя неделя держится 27-30.
Это mature-юзеры: 606 человек с 100+ мемами в зачёте. Они двигают North Star. Cold-start и growing норм для своих 4 и 12 — но не они двигают цифру.
🟥 Срез 13 апреля:
▪ North Star 7d: 30 (цель была 18)
▪ WAU 676 | DAU 277 | MAU 1 285 (+11)
▪ Describe memes: 827 описаний к 06:25 UTC
После фикса rate-limit pacing — пайплайн работает. Вчера починили, сегодня до утра уже 827 мемов описано. Норм.
Следующий ход: GOAT recency filter. Код готов. Mature-юзеры получают повторы из «лучших за всё время» — добавляем фильтр на 30 дней. GOAT LR сейчас 39.4%, хотим удержать, пока пул вращается.
Деплоим на этой неделе.
↳ @ffmemesbot
Cold_start_v2 финишировал 9 апреля: медиана 32 мема за сессию, цель по North Star закрыта. Отметили и пошли дальше.
Но метрика не остановилась. 10 апреля — 38 мемов медиана. Рекорд. Последняя неделя держится 27-30.
Это mature-юзеры: 606 человек с 100+ мемами в зачёте. Они двигают North Star. Cold-start и growing норм для своих 4 и 12 — но не они двигают цифру.
🟥 Срез 13 апреля:
▪ North Star 7d: 30 (цель была 18)
▪ WAU 676 | DAU 277 | MAU 1 285 (+11)
▪ Describe memes: 827 описаний к 06:25 UTC
После фикса rate-limit pacing — пайплайн работает. Вчера починили, сегодня до утра уже 827 мемов описано. Норм.
Следующий ход: GOAT recency filter. Код готов. Mature-юзеры получают повторы из «лучших за всё время» — добавляем фильтр на 30 дней. GOAT LR сейчас 39.4%, хотим удержать, пока пул вращается.
Деплоим на этой неделе.
↳ @ffmemesbot
Задеплоили GOAT recency filter. Прод сломался через 6 минут.
GOAT — движок с лучшим all-time лайк-рейтингом, 97.8% continuation. Проблема: топ-мемы гоняют по кругу — один юзер получает один и тот же мем снова и снова.
Добавили per-user фильтр: убрать из выдачи мемы, на которые ты реагировал в последние 30 дней.
PR #162, merge, 6 минут — Sentry.
🟥 Ингест мемов стоит. GOAT engine падает на каждом запросе.
North Star держится на 30. WAU 676. Продукт жив — просто с дыркой в боку.
У нас 2% test coverage. Вот это и выглядит как 2% test coverage.
Деплоим фикс сегодня, потом следим 14 дней.
↳ @ffmemesbot
GOAT — движок с лучшим all-time лайк-рейтингом, 97.8% continuation. Проблема: топ-мемы гоняют по кругу — один юзер получает один и тот же мем снова и снова.
Добавили per-user фильтр: убрать из выдачи мемы, на которые ты реагировал в последние 30 дней.
PR #162, merge, 6 минут — Sentry.
column "score" does not exist — фикс был на feature-ветке, в мерж не попал. 86 ошибок за 15 часов. Параллельно ETL pipeline лёг с другой ошибкой — invalid JOIN в etl.py, PostgreSQL не ест такое.🟥 Ингест мемов стоит. GOAT engine падает на каждом запросе.
North Star держится на 30. WAU 676. Продукт жив — просто с дыркой в боку.
У нас 2% test coverage. Вот это и выглядит как 2% test coverage.
Деплоим фикс сегодня, потом следим 14 дней.
↳ @ffmemesbot
GOAT experiment день 2. Без регрессий.
Вчера сломали прод через 6 минут после деплоя. Сегодня — починили, система стоит ровно.
25 721 реакция за сутки. 277 активных юзеров. 562 новых мема. 50/50 Prefect jobs — completed. 93% ок-статус.
GOAT recency filter работает уже второй день — LR и session length на baseline, continuation rate 97.8%. Наблюдаем 12 дней.
И ХОБА — describe_memes лёг в полночь. AI-пайплайн, который генерит OCR-описания для каждого мема: 0 из 20 обработано. Один мем (#6549510) застрял в начале очереди, блокирует весь батч, OpenRouter даёт rate limit до начала обработки.
OCR бэклог растёт. CTO разбирается.
Продукт живёт. Просто снова что-то сломалось. Нормальный день.
↳ @ffmemesbot
Вчера сломали прод через 6 минут после деплоя. Сегодня — починили, система стоит ровно.
25 721 реакция за сутки. 277 активных юзеров. 562 новых мема. 50/50 Prefect jobs — completed. 93% ок-статус.
GOAT recency filter работает уже второй день — LR и session length на baseline, continuation rate 97.8%. Наблюдаем 12 дней.
И ХОБА — describe_memes лёг в полночь. AI-пайплайн, который генерит OCR-описания для каждого мема: 0 из 20 обработано. Один мем (#6549510) застрял в начале очереди, блокирует весь батч, OpenRouter даёт rate limit до начала обработки.
OCR бэклог растёт. CTO разбирается.
Продукт живёт. Просто снова что-то сломалось. Нормальный день.
↳ @ffmemesbot
describe_memes не работает уже сутки.
Было 827 OCR-описаний в день. Теперь 0 — OpenRouter даёт rate limit с первой же позиции в очереди. Один мем (#6549510) застрял во главе и блокирует весь батч. Бэклог растёт второй день подряд.
FFM-492 у CTO. Либо баланс OpenRouter ушёл в минус, либо застрявший мем надо просто пропустить.
GOAT recency filter — День 3/14. Никаких регрессий: continuation rate 97.8%, LR на baseline 39.4%, session length ~30. Следим до 27 апреля.
Новый баг: 3 ошибки загрузки — "File must be non-empty". Что-то отправляет пустые файлы в стораж.
Prefect flows — all completed. Вебхук живой. Мемы доходят. Система работает, просто описания к ним временно не генерируются.
Два тикета в очереди. Едем дальше.
↳ @ffmemesbot
Было 827 OCR-описаний в день. Теперь 0 — OpenRouter даёт rate limit с первой же позиции в очереди. Один мем (#6549510) застрял во главе и блокирует весь батч. Бэклог растёт второй день подряд.
FFM-492 у CTO. Либо баланс OpenRouter ушёл в минус, либо застрявший мем надо просто пропустить.
GOAT recency filter — День 3/14. Никаких регрессий: continuation rate 97.8%, LR на baseline 39.4%, session length ~30. Следим до 27 апреля.
Новый баг: 3 ошибки загрузки — "File must be non-empty". Что-то отправляет пустые файлы в стораж.
Prefect flows — all completed. Вебхук живой. Мемы доходят. Система работает, просто описания к ним временно не генерируются.
Два тикета в очереди. Едем дальше.
↳ @ffmemesbot
48 часов describe_memes отдавал 0. Ни одного мема с OCR-описанием.
Вчера вечером — первый полный батч: 20/20 описаний. И ХОБА, заработало.
Не стабильно ещё — 2 из 7 батчей снова упали на rate limit. Но уже не системный ноль, а прерывистое восстановление. Бэклог немаленький, но пайплайн жив.
▪ GOAT experiment — день 5/14. LR 39.4%, continuation 97.8%, session ~30. Baseline держится.
Вчера ещё краш бэкенда в полдень — одиночный рестарт, с тех пор стоит ровно.
По сути: пайплайн починился сам, пока CTO смотрел. Посмотрим, удержится ли.
↳ @ffmemesbot
Вчера вечером — первый полный батч: 20/20 описаний. И ХОБА, заработало.
Не стабильно ещё — 2 из 7 батчей снова упали на rate limit. Но уже не системный ноль, а прерывистое восстановление. Бэклог немаленький, но пайплайн жив.
▪ GOAT experiment — день 5/14. LR 39.4%, continuation 97.8%, session ~30. Baseline держится.
Вчера ещё краш бэкенда в полдень — одиночный рестарт, с тех пор стоит ровно.
По сути: пайплайн починился сам, пока CTO смотрел. Посмотрим, удержится ли.
↳ @ffmemesbot
GOAT experiment, день 6/14.
Метрики самого движка — лучше бейслайна:
▪ LR 44.3% (было 39.4%)
▪ Continuation rate 97.8% — без изменений
▪ describe_memes 245 описаний за 24ч, пайплайн живой
Сессия провалилась. 18 медиана vs 30 на бейслайне. Минус 40%.
Выглядит как корреляция с экспериментом. Но нет.
GOAT даёт 548 мемов в неделю из 167K+ суммарных реакций — меньше 1% трафика. Один идеально работающий движок не обваливает общую сессию.
Что-то другое тянет вниз. Аналитик разбирается.
WAU 627. Порог остановки эксперимента — 650. Чуть ниже, смотрим.
8 дней до финала.
↳ @ffmemesbot
Метрики самого движка — лучше бейслайна:
▪ LR 44.3% (было 39.4%)
▪ Continuation rate 97.8% — без изменений
▪ describe_memes 245 описаний за 24ч, пайплайн живой
Сессия провалилась. 18 медиана vs 30 на бейслайне. Минус 40%.
Выглядит как корреляция с экспериментом. Но нет.
GOAT даёт 548 мемов в неделю из 167K+ суммарных реакций — меньше 1% трафика. Один идеально работающий движок не обваливает общую сессию.
Что-то другое тянет вниз. Аналитик разбирается.
WAU 627. Порог остановки эксперимента — 650. Чуть ниже, смотрим.
8 дней до финала.
↳ @ffmemesbot
GOAT эксперимент, день 7/14.
Вчера писали: сессия упала на 40%. Оказалось — мерили две разные штуки под одним именем.
«North Star = 30» — медиана реакций на пользователя в активный день. Стабильно на 30.
«Сессия = 18» — медиана длины конкретной сессии (без 30-мин паузы). Всегда была 16–21.
Никакого падения нет. Аналитик разобрался.
GOAT движок:
▪ LR 41.9% (бейслайн 39.4%)
▪ Continuation 97.5%
▪ WAU 628 — чуть ниже порога 650, смотрим
7 дней до финала.
↳ @ffmemesbot
Вчера писали: сессия упала на 40%. Оказалось — мерили две разные штуки под одним именем.
«North Star = 30» — медиана реакций на пользователя в активный день. Стабильно на 30.
«Сессия = 18» — медиана длины конкретной сессии (без 30-мин паузы). Всегда была 16–21.
Никакого падения нет. Аналитик разобрался.
GOAT движок:
▪ LR 41.9% (бейслайн 39.4%)
▪ Continuation 97.5%
▪ WAU 628 — чуть ниже порога 650, смотрим
7 дней до финала.
↳ @ffmemesbot
Сейчас предлагаем подписаться на @ffmemes на 50-м меме — туда доходят 30% новых пользователей.
Запускаем новый эксперимент: передвигаем popup на мем #5.
▪ 89.6% новых доходят до мема #5
▪ Только 30.3% доходят до мема #50
▪ CTR текущего popup: 75.4% — люди реально подписываются
Гипотеза: подписка на канал = посты в ленте = лучший D7 retention. Проверяем за 14 дней.
GOAT фильтр идёт день 8/14. Финал 27 апреля.
describe_memes опять rate-limited. 0/20 прошлой ночью — уже третий раз за неделю. Смотрим.
↳ @ffmemesbot
Запускаем новый эксперимент: передвигаем popup на мем #5.
▪ 89.6% новых доходят до мема #5
▪ Только 30.3% доходят до мема #50
▪ CTR текущего popup: 75.4% — люди реально подписываются
Гипотеза: подписка на канал = посты в ленте = лучший D7 retention. Проверяем за 14 дней.
GOAT фильтр идёт день 8/14. Финал 27 апреля.
describe_memes опять rate-limited. 0/20 прошлой ночью — уже третий раз за неделю. Смотрим.
↳ @ffmemesbot
👍1
WAU 589 — минус 13% за неделю.
Остальное зелёное: активных 247, реакций 19к, ok_pct 93%. Система работает нормально — люди просто уходят.
Версия: новые пользователи не задерживаются. Нет причины вернуться. Главный рычаг — подписка на канал, пока человек ещё внутри бота.
Деплоим эксперимент: popup на мем #5 вместо #50.
▪ До #50 доходят 30% новых — popup почти никто не видит
▪ До #5 доходят 90% — охват ×3 при том же коде
▪ CTR текущего popup'а 75% — когда видят, подписываются
▪ Канал в ленте = push-уведомление = причина вернуться
GOAT фильтр день 9/14. LR 41.9% — выше baseline (39.4%). Финал 27 апреля.
describe_memes опять rate limit — 0/20 ночью. Структурный фикс в работе.
↳ @ffmemesbot
Остальное зелёное: активных 247, реакций 19к, ok_pct 93%. Система работает нормально — люди просто уходят.
Версия: новые пользователи не задерживаются. Нет причины вернуться. Главный рычаг — подписка на канал, пока человек ещё внутри бота.
Деплоим эксперимент: popup на мем #5 вместо #50.
▪ До #50 доходят 30% новых — popup почти никто не видит
▪ До #5 доходят 90% — охват ×3 при том же коде
▪ CTR текущего popup'а 75% — когда видят, подписываются
▪ Канал в ленте = push-уведомление = причина вернуться
GOAT фильтр день 9/14. LR 41.9% — выше baseline (39.4%). Финал 27 апреля.
describe_memes опять rate limit — 0/20 ночью. Структурный фикс в работе.
↳ @ffmemesbot
Popup задеплоен — мем #5 вместо #50.
Было: канал-приглашение на 50-м меме. До него доходили 30% новых пользователей — остальные уже ушли.
Стало: мем #5. До него доходят 90%.
▪ CTR popup'а 75% — когда видят, подписываются
▪ Канал в Telegram ленте = push-уведомление
▪ Подписка = причина вернуться → D7 ретеншн
Гипотеза: ×3 охват → больше подписок → WAU вверх. Измеряем 14 дней.
describe_memes ожил. Вернули Gemma 3, срезали частоту до 50/день под квоту. Позавчера было 0/20 — теперь работает.
GOAT эксперимент день 10/14. LR 41.9% — выше baseline 39.4%. Финал 27 апреля.
WAU 589 — цель 650. Оба деплоя сегодня прямо в это направление.
↳ @ffmemesbot
Было: канал-приглашение на 50-м меме. До него доходили 30% новых пользователей — остальные уже ушли.
Стало: мем #5. До него доходят 90%.
▪ CTR popup'а 75% — когда видят, подписываются
▪ Канал в Telegram ленте = push-уведомление
▪ Подписка = причина вернуться → D7 ретеншн
Гипотеза: ×3 охват → больше подписок → WAU вверх. Измеряем 14 дней.
describe_memes ожил. Вернули Gemma 3, срезали частоту до 50/день под квоту. Позавчера было 0/20 — теперь работает.
GOAT эксперимент день 10/14. LR 41.9% — выше baseline 39.4%. Финал 27 апреля.
WAU 589 — цель 650. Оба деплоя сегодня прямо в это направление.
↳ @ffmemesbot
Эта неделя — про оба конца воронки.
Сверху: новые юзеры. Снизу: старые возвращаются.
GOAT-фильтр — день 11/14
Движок "зала славы" начинал исчерпывать пул: топ-мемы у долгих юзеров повторялись, LR падал.
Добавили фильтр по reacted_at — если видел за 30 дней, не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ Итог 27 апреля
Popup на меме #5 — день 1/14
Перенесли приглашение в канал с мема #50 на #5. Охват новичков: 30% → 90%.
TG-канал в ленте = пуш при каждом посте = повод вернуться.
▪ CTR при показе: 75%
▪ Гипотеза: подписки → D7 ретеншн → WAU
describe_memes — восстановлен
Было 0 описаний за сутки (rate-limit). Теперь Gemma 3, 50 мемов/день.
Конвейер: 535 новых мемов/24ч, 93% ok, 19К реакций. WAU 589 → цель 650.
↳ @ffmemesbot
Сверху: новые юзеры. Снизу: старые возвращаются.
GOAT-фильтр — день 11/14
Движок "зала славы" начинал исчерпывать пул: топ-мемы у долгих юзеров повторялись, LR падал.
Добавили фильтр по reacted_at — если видел за 30 дней, не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ Итог 27 апреля
Popup на меме #5 — день 1/14
Перенесли приглашение в канал с мема #50 на #5. Охват новичков: 30% → 90%.
TG-канал в ленте = пуш при каждом посте = повод вернуться.
▪ CTR при показе: 75%
▪ Гипотеза: подписки → D7 ретеншн → WAU
describe_memes — восстановлен
Было 0 описаний за сутки (rate-limit). Теперь Gemma 3, 50 мемов/день.
Конвейер: 535 новых мемов/24ч, 93% ok, 19К реакций. WAU 589 → цель 650.
↳ @ffmemesbot
3 дня до итога по GOAT.
GOAT-фильтр — день 12/14
Движок «зала славы» шёл к истощению пула — топ-мемы у долгих юзеров повторялись. Добавили фильтр: если реагировал за 30 дней — не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ 27 апреля — вердикт
Popup на мем #5 — день 2/14
Охват новичков: 30% → 90%. Данных пока мало — ждём.
Конвейер: 629 мемов/24ч, 90% ok, 25К реакций.
Like rate 38.7% — выше прошлой недели (36.5%), тянется к 43%.
↳ @ffmemesbot
GOAT-фильтр — день 12/14
Движок «зала славы» шёл к истощению пула — топ-мемы у долгих юзеров повторялись. Добавили фильтр: если реагировал за 30 дней — не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ 27 апреля — вердикт
Popup на мем #5 — день 2/14
Охват новичков: 30% → 90%. Данных пока мало — ждём.
Конвейер: 629 мемов/24ч, 90% ok, 25К реакций.
Like rate 38.7% — выше прошлой недели (36.5%), тянется к 43%.
↳ @ffmemesbot
Интересное: рекорд активности за всю историю бота — 24 апреля
30 993 реакции от 275 юзеров. Один человек просмотрел 2 118 мемов за день.
p90 длина сессии: 117 мемов. Медиана — 20.
Для лояльных фанатов бот работает как бесконечная лента — залипают на часы. Это именно то, для чего строили.
↳ @ffmemesbot
30 993 реакции от 275 юзеров. Один человек просмотрел 2 118 мемов за день.
p90 длина сессии: 117 мемов. Медиана — 20.
Для лояльных фанатов бот работает как бесконечная лента — залипают на часы. Это именно то, для чего строили.
↳ @ffmemesbot
🔥1
Интересное: один движок даёт 39% всего контента — с худшим лайк-рейтом
У остальных движков: 40–46%. У
«Пул непоказанных» берёт мемы, которых ты ещё не видел, без учёта качества. Широкий охват, но точность страдает.
↳ @ffmemesbot
У остальных движков: 40–46%. У
low_sent_pool — 26.4%. При этом он отвечает за 39% всех мемов, что ты видишь.«Пул непоказанных» берёт мемы, которых ты ещё не видел, без учёта качества. Широкий охват, но точность страдает.
↳ @ffmemesbot
Интересное: DAU сегодня в норме — а MAU за 2 дня потерял 56 пользователей.
1 363 два дня назад → 1 307 сегодня. −4% за 2 дня. DAU 283, реакций 26К — ежедневно всё живёт.
Бот цепляет в момент, но 30-дневное окно сужается. Новых ~6.7/день, D1 retention 15% — уходящих больше. Проблема не в мемах — нечем удержать через неделю.
Копаем активацию.
↳ @ffmemesbot
1 363 два дня назад → 1 307 сегодня. −4% за 2 дня. DAU 283, реакций 26К — ежедневно всё живёт.
Бот цепляет в момент, но 30-дневное окно сужается. Новых ~6.7/день, D1 retention 15% — уходящих больше. Проблема не в мемах — нечем удержать через неделю.
Копаем активацию.
↳ @ffmemesbot
❤1
Интересное: 4 недели подряд новые пользователи реагируют на мемы чаще нормы.
73% новичков среагировали в неделю 13 апреля — при норме 55–65%. До этого тоже выше: 66%, 66%, 67%.
Тренд начался до попапа. Что-то стало лучше цеплять новичков в первых сессиях.
↳ @ffmemesbot
73% новичков среагировали в неделю 13 апреля — при норме 55–65%. До этого тоже выше: 66%, 66%, 67%.
Тренд начался до попапа. Что-то стало лучше цеплять новичков в первых сессиях.
↳ @ffmemesbot