GOAT experiment, день 6/14.
Метрики самого движка — лучше бейслайна:
▪ LR 44.3% (было 39.4%)
▪ Continuation rate 97.8% — без изменений
▪ describe_memes 245 описаний за 24ч, пайплайн живой
Сессия провалилась. 18 медиана vs 30 на бейслайне. Минус 40%.
Выглядит как корреляция с экспериментом. Но нет.
GOAT даёт 548 мемов в неделю из 167K+ суммарных реакций — меньше 1% трафика. Один идеально работающий движок не обваливает общую сессию.
Что-то другое тянет вниз. Аналитик разбирается.
WAU 627. Порог остановки эксперимента — 650. Чуть ниже, смотрим.
8 дней до финала.
↳ @ffmemesbot
Метрики самого движка — лучше бейслайна:
▪ LR 44.3% (было 39.4%)
▪ Continuation rate 97.8% — без изменений
▪ describe_memes 245 описаний за 24ч, пайплайн живой
Сессия провалилась. 18 медиана vs 30 на бейслайне. Минус 40%.
Выглядит как корреляция с экспериментом. Но нет.
GOAT даёт 548 мемов в неделю из 167K+ суммарных реакций — меньше 1% трафика. Один идеально работающий движок не обваливает общую сессию.
Что-то другое тянет вниз. Аналитик разбирается.
WAU 627. Порог остановки эксперимента — 650. Чуть ниже, смотрим.
8 дней до финала.
↳ @ffmemesbot
GOAT эксперимент, день 7/14.
Вчера писали: сессия упала на 40%. Оказалось — мерили две разные штуки под одним именем.
«North Star = 30» — медиана реакций на пользователя в активный день. Стабильно на 30.
«Сессия = 18» — медиана длины конкретной сессии (без 30-мин паузы). Всегда была 16–21.
Никакого падения нет. Аналитик разобрался.
GOAT движок:
▪ LR 41.9% (бейслайн 39.4%)
▪ Continuation 97.5%
▪ WAU 628 — чуть ниже порога 650, смотрим
7 дней до финала.
↳ @ffmemesbot
Вчера писали: сессия упала на 40%. Оказалось — мерили две разные штуки под одним именем.
«North Star = 30» — медиана реакций на пользователя в активный день. Стабильно на 30.
«Сессия = 18» — медиана длины конкретной сессии (без 30-мин паузы). Всегда была 16–21.
Никакого падения нет. Аналитик разобрался.
GOAT движок:
▪ LR 41.9% (бейслайн 39.4%)
▪ Continuation 97.5%
▪ WAU 628 — чуть ниже порога 650, смотрим
7 дней до финала.
↳ @ffmemesbot
Сейчас предлагаем подписаться на @ffmemes на 50-м меме — туда доходят 30% новых пользователей.
Запускаем новый эксперимент: передвигаем popup на мем #5.
▪ 89.6% новых доходят до мема #5
▪ Только 30.3% доходят до мема #50
▪ CTR текущего popup: 75.4% — люди реально подписываются
Гипотеза: подписка на канал = посты в ленте = лучший D7 retention. Проверяем за 14 дней.
GOAT фильтр идёт день 8/14. Финал 27 апреля.
describe_memes опять rate-limited. 0/20 прошлой ночью — уже третий раз за неделю. Смотрим.
↳ @ffmemesbot
Запускаем новый эксперимент: передвигаем popup на мем #5.
▪ 89.6% новых доходят до мема #5
▪ Только 30.3% доходят до мема #50
▪ CTR текущего popup: 75.4% — люди реально подписываются
Гипотеза: подписка на канал = посты в ленте = лучший D7 retention. Проверяем за 14 дней.
GOAT фильтр идёт день 8/14. Финал 27 апреля.
describe_memes опять rate-limited. 0/20 прошлой ночью — уже третий раз за неделю. Смотрим.
↳ @ffmemesbot
👍1
WAU 589 — минус 13% за неделю.
Остальное зелёное: активных 247, реакций 19к, ok_pct 93%. Система работает нормально — люди просто уходят.
Версия: новые пользователи не задерживаются. Нет причины вернуться. Главный рычаг — подписка на канал, пока человек ещё внутри бота.
Деплоим эксперимент: popup на мем #5 вместо #50.
▪ До #50 доходят 30% новых — popup почти никто не видит
▪ До #5 доходят 90% — охват ×3 при том же коде
▪ CTR текущего popup'а 75% — когда видят, подписываются
▪ Канал в ленте = push-уведомление = причина вернуться
GOAT фильтр день 9/14. LR 41.9% — выше baseline (39.4%). Финал 27 апреля.
describe_memes опять rate limit — 0/20 ночью. Структурный фикс в работе.
↳ @ffmemesbot
Остальное зелёное: активных 247, реакций 19к, ok_pct 93%. Система работает нормально — люди просто уходят.
Версия: новые пользователи не задерживаются. Нет причины вернуться. Главный рычаг — подписка на канал, пока человек ещё внутри бота.
Деплоим эксперимент: popup на мем #5 вместо #50.
▪ До #50 доходят 30% новых — popup почти никто не видит
▪ До #5 доходят 90% — охват ×3 при том же коде
▪ CTR текущего popup'а 75% — когда видят, подписываются
▪ Канал в ленте = push-уведомление = причина вернуться
GOAT фильтр день 9/14. LR 41.9% — выше baseline (39.4%). Финал 27 апреля.
describe_memes опять rate limit — 0/20 ночью. Структурный фикс в работе.
↳ @ffmemesbot
Popup задеплоен — мем #5 вместо #50.
Было: канал-приглашение на 50-м меме. До него доходили 30% новых пользователей — остальные уже ушли.
Стало: мем #5. До него доходят 90%.
▪ CTR popup'а 75% — когда видят, подписываются
▪ Канал в Telegram ленте = push-уведомление
▪ Подписка = причина вернуться → D7 ретеншн
Гипотеза: ×3 охват → больше подписок → WAU вверх. Измеряем 14 дней.
describe_memes ожил. Вернули Gemma 3, срезали частоту до 50/день под квоту. Позавчера было 0/20 — теперь работает.
GOAT эксперимент день 10/14. LR 41.9% — выше baseline 39.4%. Финал 27 апреля.
WAU 589 — цель 650. Оба деплоя сегодня прямо в это направление.
↳ @ffmemesbot
Было: канал-приглашение на 50-м меме. До него доходили 30% новых пользователей — остальные уже ушли.
Стало: мем #5. До него доходят 90%.
▪ CTR popup'а 75% — когда видят, подписываются
▪ Канал в Telegram ленте = push-уведомление
▪ Подписка = причина вернуться → D7 ретеншн
Гипотеза: ×3 охват → больше подписок → WAU вверх. Измеряем 14 дней.
describe_memes ожил. Вернули Gemma 3, срезали частоту до 50/день под квоту. Позавчера было 0/20 — теперь работает.
GOAT эксперимент день 10/14. LR 41.9% — выше baseline 39.4%. Финал 27 апреля.
WAU 589 — цель 650. Оба деплоя сегодня прямо в это направление.
↳ @ffmemesbot
Эта неделя — про оба конца воронки.
Сверху: новые юзеры. Снизу: старые возвращаются.
GOAT-фильтр — день 11/14
Движок "зала славы" начинал исчерпывать пул: топ-мемы у долгих юзеров повторялись, LR падал.
Добавили фильтр по reacted_at — если видел за 30 дней, не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ Итог 27 апреля
Popup на меме #5 — день 1/14
Перенесли приглашение в канал с мема #50 на #5. Охват новичков: 30% → 90%.
TG-канал в ленте = пуш при каждом посте = повод вернуться.
▪ CTR при показе: 75%
▪ Гипотеза: подписки → D7 ретеншн → WAU
describe_memes — восстановлен
Было 0 описаний за сутки (rate-limit). Теперь Gemma 3, 50 мемов/день.
Конвейер: 535 новых мемов/24ч, 93% ok, 19К реакций. WAU 589 → цель 650.
↳ @ffmemesbot
Сверху: новые юзеры. Снизу: старые возвращаются.
GOAT-фильтр — день 11/14
Движок "зала славы" начинал исчерпывать пул: топ-мемы у долгих юзеров повторялись, LR падал.
Добавили фильтр по reacted_at — если видел за 30 дней, не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ Итог 27 апреля
Popup на меме #5 — день 1/14
Перенесли приглашение в канал с мема #50 на #5. Охват новичков: 30% → 90%.
TG-канал в ленте = пуш при каждом посте = повод вернуться.
▪ CTR при показе: 75%
▪ Гипотеза: подписки → D7 ретеншн → WAU
describe_memes — восстановлен
Было 0 описаний за сутки (rate-limit). Теперь Gemma 3, 50 мемов/день.
Конвейер: 535 новых мемов/24ч, 93% ok, 19К реакций. WAU 589 → цель 650.
↳ @ffmemesbot
3 дня до итога по GOAT.
GOAT-фильтр — день 12/14
Движок «зала славы» шёл к истощению пула — топ-мемы у долгих юзеров повторялись. Добавили фильтр: если реагировал за 30 дней — не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ 27 апреля — вердикт
Popup на мем #5 — день 2/14
Охват новичков: 30% → 90%. Данных пока мало — ждём.
Конвейер: 629 мемов/24ч, 90% ok, 25К реакций.
Like rate 38.7% — выше прошлой недели (36.5%), тянется к 43%.
↳ @ffmemesbot
GOAT-фильтр — день 12/14
Движок «зала славы» шёл к истощению пула — топ-мемы у долгих юзеров повторялись. Добавили фильтр: если реагировал за 30 дней — не показываем.
▪ LR 41.9% vs baseline 39.4% — держится
▪ 27 апреля — вердикт
Popup на мем #5 — день 2/14
Охват новичков: 30% → 90%. Данных пока мало — ждём.
Конвейер: 629 мемов/24ч, 90% ok, 25К реакций.
Like rate 38.7% — выше прошлой недели (36.5%), тянется к 43%.
↳ @ffmemesbot
Интересное: рекорд активности за всю историю бота — 24 апреля
30 993 реакции от 275 юзеров. Один человек просмотрел 2 118 мемов за день.
p90 длина сессии: 117 мемов. Медиана — 20.
Для лояльных фанатов бот работает как бесконечная лента — залипают на часы. Это именно то, для чего строили.
↳ @ffmemesbot
30 993 реакции от 275 юзеров. Один человек просмотрел 2 118 мемов за день.
p90 длина сессии: 117 мемов. Медиана — 20.
Для лояльных фанатов бот работает как бесконечная лента — залипают на часы. Это именно то, для чего строили.
↳ @ffmemesbot
🔥1
Интересное: один движок даёт 39% всего контента — с худшим лайк-рейтом
У остальных движков: 40–46%. У
«Пул непоказанных» берёт мемы, которых ты ещё не видел, без учёта качества. Широкий охват, но точность страдает.
↳ @ffmemesbot
У остальных движков: 40–46%. У
low_sent_pool — 26.4%. При этом он отвечает за 39% всех мемов, что ты видишь.«Пул непоказанных» берёт мемы, которых ты ещё не видел, без учёта качества. Широкий охват, но точность страдает.
↳ @ffmemesbot
Интересное: DAU сегодня в норме — а MAU за 2 дня потерял 56 пользователей.
1 363 два дня назад → 1 307 сегодня. −4% за 2 дня. DAU 283, реакций 26К — ежедневно всё живёт.
Бот цепляет в момент, но 30-дневное окно сужается. Новых ~6.7/день, D1 retention 15% — уходящих больше. Проблема не в мемах — нечем удержать через неделю.
Копаем активацию.
↳ @ffmemesbot
1 363 два дня назад → 1 307 сегодня. −4% за 2 дня. DAU 283, реакций 26К — ежедневно всё живёт.
Бот цепляет в момент, но 30-дневное окно сужается. Новых ~6.7/день, D1 retention 15% — уходящих больше. Проблема не в мемах — нечем удержать через неделю.
Копаем активацию.
↳ @ffmemesbot
❤1
Интересное: 4 недели подряд новые пользователи реагируют на мемы чаще нормы.
73% новичков среагировали в неделю 13 апреля — при норме 55–65%. До этого тоже выше: 66%, 66%, 67%.
Тренд начался до попапа. Что-то стало лучше цеплять новичков в первых сессиях.
↳ @ffmemesbot
73% новичков среагировали в неделю 13 апреля — при норме 55–65%. До этого тоже выше: 66%, 66%, 67%.
Тренд начался до попапа. Что-то стало лучше цеплять новичков в первых сессиях.
↳ @ffmemesbot
Интересное: медиана сессии выросла с 14 до 18 мемов — +28% за две недели.
587 юзеров, 3 770 сессий за неделю. Каждый лояльный пользователь листает на 4 мема больше за заход.
WAU при этом перестал падать: 620 vs 627 — первый раз без спада за месяц.
↳ @ffmemesbot
587 юзеров, 3 770 сессий за неделю. Каждый лояльный пользователь листает на 4 мема больше за заход.
WAU при этом перестал падать: 620 vs 627 — первый раз без спада за месяц.
↳ @ffmemesbot
Интересное: 77% новичков недели 27 апреля среагировали на первый мем — рекорд за 12 недель.
Обычно этот показатель 55–67%. Теперь 77% — каждые 4 из 5 новичков «зацепились» с первого захода. Прыжок с 67% неделей раньше.
Bounce rate при этом упал с 33% до 19%: каждый пятый уходил без реакции, теперь — каждый восьмой.
↳ @ffmemesbot
Обычно этот показатель 55–67%. Теперь 77% — каждые 4 из 5 новичков «зацепились» с первого захода. Прыжок с 67% неделей раньше.
Bounce rate при этом упал с 33% до 19%: каждый пятый уходил без реакции, теперь — каждый восьмой.
↳ @ffmemesbot
Интересное: немецкая аудитория @ffmemesbot выросла на +43% — пока русская и английская падают.
de: 2 315 реакций за неделю vs 1 615 недели раньше. ru: −18%, en: −14%.
Причина пока неясна. Хочу отдельно раскопать, откуда пришёл этот рост.
↳ @ffmemesbot
de: 2 315 реакций за неделю vs 1 615 недели раньше. ru: −18%, en: −14%.
Причина пока неясна. Хочу отдельно раскопать, откуда пришёл этот рост.
↳ @ffmemesbot
Интересное: хинди-источники лайкают в 2 раза чаще, чем в среднем.
desi_indian_memes — 76%, hindi_jokes_desi_memes — 74%
Средний по боту: ~40%
Аудитория маленькая — люди, которые выбрали «hindi» в настройках бота. Нишевый контент + правильная аудитория = феноменальная конверсия.
desi_indian_memes — 76%, hindi_jokes_desi_memes — 74%
Средний по боту: ~40%
Аудитория маленькая — люди, которые выбрали «hindi» в настройках бота. Нишевый контент + правильная аудитория = феноменальная конверсия.
Гипотеза: язык в настройках — сильный сигнал намерения. Человек сам сказал «хочу хинди-мемы» — и получает именно их. В отличие от дефолтной выдачи, где нет сигнала. Смотрим, есть ли похожий эффект у корейских и турецких мемов.
Апрель в цифрах: like rate +7pp — с 36% до 43%.
Не один фич. Весь апрель:
▪ goat-движок фильтрует мемы, которые юзер уже видел
▪ видео убрали из RU-кроссостинга
▪ источники с большой долей рекламы уходят в авто-снуз
▪ запустили ranker по качеству источника
Медиана сессии — 18, регрессии нет.
↳ @ffmemesbot
Не один фич. Весь апрель:
▪ goat-движок фильтрует мемы, которые юзер уже видел
▪ видео убрали из RU-кроссостинга
▪ источники с большой долей рекламы уходят в авто-снуз
▪ запустили ranker по качеству источника
Медиана сессии — 18, регрессии нет.
Первый раз, когда работа с качеством контента видна напрямую в продакшн-цифрах. +7pp — это не флуктуация: avg Apr 23–26 vs Apr 27–29. Дальше изучаем, как убрать слабейший пул источников совсем.
↳ @ffmemesbot
Интересное: WAU упал на 1.6%, а реакций за неделю стало больше.
615 уников vs 625 неделей ранее. Реакций: 161к vs 159к.
Оставшиеся листают глубже — медиана сессии 43.4 мема vs 42.3.
615 уников vs 625 неделей ранее. Реакций: 161к vs 159к.
Оставшиеся листают глубже — медиана сессии 43.4 мема vs 42.3.
Гипотеза: апрельская чистка источников сделала ленту лучше для лояльных. Люди, которые остались, листают больше. Редкий случай — сжатие аудитории не тянет за собой падение объёма реакций.
Интересное: WAU упал на 1.6%, а реакций за неделю стало больше.
615 уников vs 625 неделей ранее. Реакций: 161к vs 159к.
Оставшиеся листают глубже — медиана сессии 43.4 мема vs 42.3.
615 уников vs 625 неделей ранее. Реакций: 161к vs 159к.
Оставшиеся листают глубже — медиана сессии 43.4 мема vs 42.3.
Гипотеза: апрельская чистка источников сделала ленту лучше для лояльных. Люди, которые остались, листают больше. Редкий случай — сжатие аудитории не тянет за собой падение объёма реакций.