Мой хобби-проект - Fast Food Memes bot

Пришло время рассказать про мой хобби проект. Может быть вы слышали про Fast Food Memes бота 😄, который делает Даня. Бот рекомендует мемы в формате тиктока: вы получаете мем и ставите лайк или дальше. Я присоединился к проекту улучшать систему рекомендаций. Мне хотелось пощупать новую задачу и получить опыт с рекомендациями, отличающимися от моей работы в Авито.

Первые неудачи

На момент старта в боте работало несколько алгоритмов, которые основывались на ранжировании по лайк рейту мемов (средний процент лайков). Первоначальной идеей было обучение коллаборативной фильтрации на лайк рейт. Это когда вам рекомендуют мемы, которые понравились пользователям, похожим на вас. Однако этот и другие подходы по оптимизации лайк рейта не дали результата на тестах 😕

Причина

Оказалось, пользователи лайкают по-разному и лайк не значит "нравится". Кроме того, в боте есть супер-юзеры, которые смотрят мемы сотнями в день, когда большинство пользователей набирают всего 20-30 мемов. Относительным успехом было небольшое улучшение холодного старта за счет удаления из датасета супер-юзеров.

Как получилось совершить прорыв

В какой-то момент я придумал алгоритм сглаживания лайк рейта. Это позволило увеличить DAU бота на 12% 🔝.

Сглаженный лайк рейт делает поправки на средний лайк рейт юзера. Если юзер постоянно лайкает, его лайк учитывается с маленьким весом. А если лайкает редко, то наоборот с большим. Выглядит несложно (ссылки на код раз два), но нужно было понять куда ударить молоточком👷 и на это у меня ушло достаточно много времени.

💎 Выводы

ML могуч, но просто так не дает эффекта. Нужно глубоко понимать природу данных, поведение пользователей и конечно много смотреть выдачи. Теперь уже можно добавлять в рекомендации коллаборативный движок

Бонус для аналитиков. Я считал статзначимость теста бустрепом. Делюсь ноутбуком, где вы можете посмотреть пример, как это делается. Если будут вопросы, спрашивайте!

#tech

Обратите внимание на НЕмитап, на котором Юля и Женя будут рассказывать про то, как мы запускали продвижение за бюджет. Я тоже приложил руку к этому продукту и могу сказать, что с точки зрения аналитики там очень много инсайтов 🔥

Кофейни - культура стресса

Я люблю заходить в кофейни ☕️. Мне хочется сменить обстановку, почитать, сделать заметки или пообщаться. Но мои поиски причин стресса привели меня к тому, что кофешопы чаще работают в минус, чем в плюс. Сейчас расскажу, что имею в виду.

В модных кофешопах часто играет быстрая музыка. Поверх звенят биперы или кричат «холодный пряничный латте на кокосовом для Светланы». Люди приходят в кофейню за дофамином, т.е. уже не в равновесии. Затем напиваются кофе и становятся перевозбужденными, пряча это за натянутой вежливостью. А те, кто сидит с ноутбуком 🧑‍💻, приумножают свою тревогу работой.

Вот такой сумасшедший дом получается 🚑. В такой атмосфере вы разгоняетесь и скорее устаете, чем отдыхаете. Я сам давно не работаю в кофейнях, и недавно, когда я посидел несколько часов утром с ноутбуком в хипстерской кофейне в Красной поляне, обнаружил себя в состоянии стресса уже к 11 (хотя по работе вообще не было причин).

Выбивается из нервной тусовки серф кофе, которое построено вокруг расслабленного вайба, но только людей не так просто расслабить.

Понаблюдайте за собой, может быть заметите похожий эффект. Что могу порекомендовать: обращайте внимание на атмосферу, музыку, не садитесь у точки выдачи напитков, не приходите в час пик, будьте готовы взять напиток с собой и посидеть на лавочке на улице в конце концов. Ваша продуктивность и общее состояние в ваших руках 🤝

#productivity

Почему российские видео площадки не дают трафик

На этой неделе я готовил научную статью 🧑‍🔬 на крупную конференцию про баланс справедливости и эффективности рекламных систем. Про статью еще рано писать, впереди процесс ревью. Но тема навела меня на мысли о ситуации с замедлением ютуба.

Я неоднократно видел, что крупные ютуберы жалуются, что российские видео площадки, такие как рутуб и вк видео, не дают трафика.

Сперва у меня возникла гениальная идея 💡, что ютуб большую часть трафика отдает крупным каналам. Я иной раз удивляюсь как сложно выйти из замкнутого круга небольшого количества каналов и найти контент небольших блогеров.

А теперь представим себя на месте абстрактных инженеров видео площадки. Вы стараетесь сделать рекомендации разнообразными и справедливыми, боретесь с кликбейтами. И получается, что крупному каналу уже не так просто получать дешевый трафик. Крупные блогеры расстраиваться и начинают жаловаться. Но реальность оказалось другой 🙂

Я решил немного попользоваться рутубом и вк видео. Я искал контент в поиске по интересующим меня областям: машинное обучение, инструменты продуктивности, ufc, разные виды спорта, походы, компьютерные игры и ряд других тем.

Низкое качество выдач меня конечно 🤯 удивило

⁃ Часто выдачу заполоняет один и тот же канал
⁃ В топе много несвежих низкокачественных видео
⁃ Каналы с хорошим контентом, которые успешны на ютубе, действительно не выходят в поиске
⁃ Прямой поиск каналов с ютуба работает, хоть и плохо, но и тут выдача очень странная. Возможно из-за нехватки статистики

В общем, дело не в справедливости и у площадок есть серьезная проблема с контентом и его поиском. До рекомендаций я пока не дошел, т.к. моих моральных сил 😕 пока не хватило, чтобы накопить историю просмотров на площадках.

💎 Как вы думаете, что нужно сделать в алгоритмах, чтобы улучшить качество? Довольны ли вы поиском и рекомендациям ютуба?

PS. Но в текущей ситуации есть однозначный плюс. Дата сайнтисты без работы не останутся!

#tech

Почему Jupyter ноутбукам придет замена

Jupyter ноутбуки внесли огромный вклад в развитие data science. Работа с данными и ML моделями стала доступна людям, имеющим самые базовые навыки программирования. Однако при этом они остаются достаточно кустарным инструментом с пачкой недостатков.

Для справки. Ноутбук - это такой большой файл, где подряд идет текст, код и его вывод, в том числе графики. Выглядит он как-то так. Активно используется дата сайнтистами и дата аналитиками

Не вдаваясь в подробный разбор, я хочу поделиться, чем мне не нравятся ноутбуки как техническому менеджеру, который их много читает

- Ноутбуки все-таки сложны для восприятия. Даже если вычищать ноутбуки, в них все равно копится лишний код и выводы. Графики, печатаемые в столбик, занимают очень много места.
- Проверять ноутбуки непросто. Специальных линтеров (проверщиков стиля) нет. Инструментов ревью в системе контроля версий из коробки нет (не из коробки есть, но они пока не прижились на практике).
- Визуализация не закрывает всех потребностей. Таблицы проигрывают экселю и его аналогам. Из коробки очень сложно добавлять фильтры и красить произвольные ячейки в цвет. У интерактивных элементов проблемы с рендерингом после заливки в гит.

Что по конкурентам

Проигравший конкурент ноутбуков - это формат, где на пол-экрана скрипт с кодом, а на пол-экрана отдельное окно вывода. Работать в нем пожалуй даже удобнее, но делиться работой 😳 плохо: выводы в отдельных файлах, а это могут десятки/сотни таблиц и графиков.

Какое-то время развивались 🤪 low-code системы. Это когда вы программируете квадратиками: либо пользуетесь готовыми, либо пишете квадратик со своим кодом. В чистом виде такие системы провалились (например, Azure ML). А Нирвана Яндекса и Kubeflow все-таки не альтернатива ноутбукам.

С точки зрения визуализации есть очень интересный похожий на Jupyter инструмент - это Observable. Обычного кода там нет, только sql запросы и код графиков. Очень советую посмотреть. Мне кажется, что визуальная часть ноутбуков должна выглядеть как-то так. Но проблема Observable, что он исключительно облачный, платный и 🔒 закрытый. Т.е. в гит вы их ноутбуки не положите.

💎 Итого, у текущих Jupyter ноутбуков серьезных конкурентов нет. Это действительно удачный формат. Поэтому я прогнозирую, что новым шагом в развитии будут тоже ноутбуки, только лучше. Скорее всего их сделает какая-нибудь big tech компания.

Там будет хорошая визуализация из коробки, открытый код, удобное ревью и шеринг. Может быть это будут два файла: код и визуальный ноутбук, которые связаны друг с другом. А может быть как и раньше один.

Если вы знаете хорошие инструменты для ноутбуков или их альтернативу, которые решают описанные проблемы, расскажите в комментариях!

—

#tech

🔜 Читайте также
Почему у статистики не лучшие времени
Как я улучшал бота, рекомендующего мемы
Инфляция грейдов

Года два я занимаюсь раздельным сбором мусора. Для морального удовлетворения, и потому что это входит в концепцию осознанного потребления, которая мне близка 💎

Пока я был в Красной поляне с удивлением обнаружил, насколько сортировка входит в привычку. Хотя сдавать вторсырье там было некуда, я все равно на автомате мыл и разделял бутылки, контейнеры и банки 🤷‍♂️

Читайте также
Предыдущий пост про сбор вторсырья

#lifestyle

Что происходит

Всем привет! Сейчас у меня период довольно высокой загрузки, поэтому тематического контента не будет, и я просто поделюсь что происходит.

Во-первых, на работе у нас активная стадия разработки нового продукта продвижения. Когда что-то появится в открытых источниках, я обязательно об этом расскажу.

Кроме этого, сижу над новой итерацией рекомендаций в fast food memes боте. Цель этой итерации - выкатить коллаборативную модель на прод и показать аплифт метрик. Задача на самом деле не легкая. В исследовательской части обучение втупую не дает хороших результатов. А еще нужно сделать хорошее смешивание разных движков и закодить инфру получения кандидатов.

С точки зрения контента я работаю над статьей про LogSeq. LogSeq - это графовая система ведения заметок (см. пост Приложение для заметок, которое вас удивит). Я пользуюсь приложением уже больше года и много чему научился. Статья - мой ответ на вопрос нужен ли вам LogSeq и как им правильно пользоваться. Черновик статьи уже написан, планирую ее выпустить на следующей неделе.

❓Кстати, я решил публиковаться на Вастрике, т.к. мне кажется, что там довольно много целевой аудитории. Что думаете? Где лучше публиковать статьи на тему продуктивности?

Гайд по LogSeq: персональная система управления знаниями

Закончил работу над гайдом по LogSeq 🚀 Он рассказывает, как правильно пользоваться приложением. Кажется, это единственный на данный момент гайд на русском языке именно про методику работы. Все, что я смог найти - это обзоры функционала.

LogSeq - приложение для ведения заметок, основанное на графовом подходе. В нем из коробки поддерживаются разные техники работы со знаниями, такие как журналирование, конспектирование и наработка собственных идей 🧠. В гайде я предлагаю подход, как постепенно их освоить.

Гайд по LogSeq - освоение ключевых методик ведения вашей системы заметок [Продуктивность] — Вастрик.Клуб 🤘✖️👩‍💻‍

#productivity