4х летняя Архитектура @ffmemesbot

После обновления поиска телеги бот начал вирально расти в разных странах и я задумался, что же с ним делать дальше. Но даже если ничего и не делать, текущая реализация нестабильна и полна ужасов.

В основе лежит django-telegram-bot с синхронной ORM и огромном оверхедом по RAM от джанги и селери. Руки чешутся переписать на фастапи, я как раз научился это делать нормально.

Я записываю все просмотры и реакции на мемы в одну большую таблицу Postgres, которая уже больше 50М. Понятно, что есть индексы, но диск пухнет, бот становится медленнее и уже не умещается на микро тачку на Digital Ocean. Покупать еще серверы не хочется, ведь бот не планирует приносить бабосики. С одной стороны, это полезные для анализа данные, с другой — звучит неправильно обрабатывать в риалтайме десятки миллионов строк, чтобы выдать мем. Или нет?

Да и рекомендательная система сейчас простенькая: для каждого мема, паблика (откуда я взял мем) и юзера я считаю попарные статистики в бекграунде, а потом по ним в риалтайме сортирую все непросмотренные юзером мемы. Работает быстро, без какого-либо ML, но хочется больше % лайков. Платить за гпу нет сил. Есть эксперты?

Еще хочется максимизировать виральность бота, но тг не дает стату о перессылке сообщений. Туда даже диплинк нормально не вставишь.
Еще отдельная боль с дублированием мемов. Алгоритм “достать весь текст с картинки и дедублицировать мемы по этому тексту” работал хорошо, но кредиты на GCP давно сказали чао-чао.

Что бы вы могли тут посоветовать? ChatGPT спам боты, к вам тоже этот вопрос.

Планируемый стек нового бота с мемами:

▪ LightGbm - для ранжирования мемов для показа, но мб и другую модель
▪ MLFlow - трекать ML эксперименты и деплоить модели в прод
▪ MinIO - self-hosted s3 для ML моделей и логов
▪ python-telegram-bot - работа с Telegram Bot API, тупа ради хендлеров и моделек данных из тг
▪ FastAPI - монолит под это все, сори Django
▪ Prefect - для периодических тасок, сори Airflow
▪ Dokku + Github Actions - деплой всего
▪ Hetzner - там за $40/месяц можно такую жирную тачку снять, что сорян DigitalOcean

FFmemes - чисто некоммерческая история, поэтому делаю я с ним что хочу. Сейчас - это отличная возможность изучить опенсорс решения, а не пилить что-то с нуля свое опять.

На работу я выхожу 15 января, а один из двух парттаймов завершился. Это значит, освободилось полдня на то, чтобы заниматься оверинженирингом петпроджектов. А именно — новую версию @ffmemesbot — и решил я ее делать опенсорсно. Так что подписывайтесь, ставьте звезды ⭐️

🔗 github.com/ffmemes/ff-backend

На днях мне написало порядка 10 людей и общими усилиями мы набросали в Miro как-то архитектуру бота. Решили начать разработку с сервиса storage, который будет собирать, хранить и фильтровать мемы, чтобы потом к нему прикрутить реком систему и “фронтенд” в виде тг бота.

За пару дней завел FastAPI и прикрутил Prefect Cloud с воркерами, воруя древние сниппеты кода у своего же стартапа. Будем стараться делать монолит, только ML штучки, возможно, в отдельные микросервисы уйдут, если разберусь с MLFlow.

Кстати, если вы знаете хорошие OCR либы / сервисы с щедрым free tier - поделитесь в комментах, плиз. Мне нужно текст с мемов на произвольном языке доставать, но почти всегда есть догадки, какой язык стоит детектировать.

🤡 1 апреля - праздник юмора

А у меня как раз есть бот с мемами)))

Сегодня мы перешагнули отметку в 1 миллион отправленных мемов, 500 DAU и 1300 WAU.

Также я сделал аналог spotify wrapped только вместо треков - мемы. Этот отчет:
▪ расскажет сколько часов ты потратил в боте
▪ объяснит твое чувство юмора по лайкнутым мемам
▪ порекомендует мем паблики специально для тебя
и многое другое.

Сгенерировать праздничный отчет можно по команде /wrapped.