​​Yet another sample size calculator

Я сегодня увидел на reddit неплохой тред с примером расчёта sample size для A/B тестов. Думаю, что если считаешь для себя, то настолько накрученные штуки не нужны, но показать stakeholders - самое то.

Сам калькулятор можно пощупать тут.

#datascience

DataChain от DVC

Пока многие обсуждают релиз LLama 3.1, поделюсь "приземленной" новостью. DVC выпустили продукт для управления неструктурированными данными.

🤖 AI-Driven Data Curation: Local models, LLM APIs
🚀 GenAI Dataset scale: Millions and billions of files
🐍 Python-friendly: Python objects instead of JSON

Github

#datascience

IT-пикник. Благотворительность для Карельского регистра доноров костного мозга

Ко мне тут обратились с неожиданной просьбой - распространить информацию об IT-ивенте с возможностью сделать пожертвование для помощи людям.

В Москве 17 августа пройдёт IT-пикник в Коломенском. Это семейное IT мероприятие - будут лекции, мастер-классы, воркшопы, музыка. А также доклады от технических людей из топовых компаний. Посещение возможно по пожертвованию от 1к рублей в один из 10 благотворительных фондов, и Карельский регистр - один их них. Он занимается помощью пациентам с лейкемией и пожертвованные деньги пойдут на на оплату обследования доноров, каждый из которых может спасти жизнь.

При регистрации на сайте пикника вам прийдёт ссылка на пожертвования, и там можно будет выбрать этот фонд. Сам я посетить ивент не смогу, поэтому пожертвование сделал просто напрямую по этой ссылке.

Фестиваль выглядит интересным, и дополнительно есть возможность помочь людям, так что рекомендую поучаствовать.

#life #datascience

Вы не поверите, но эта картинка уже устарела (меньше, чем за 2 часа) - вышел Mistral Large 2. Не то чтобы она побила рекорды, но всё же будет занимать уважаемое место на этом графике

https://mistral.ai/news/mistral-large-2407/

#datascience

​​Есть два типа людей, запускающих LLM локально...

​​Masked Attention is All You Need for Graphs

GNNs и вариации message passing algorithm являются основными методами обучения на графах благодаря их гибкости, скорости и производительности. Однако их надо аккуратно тюнить. Авторы этой статьи предлагают простую альтернативу, основанную исключительно на attention.

В методе Masked Attention for Graphs (MAG) графы представлены как наборы узлов или ребер, а их связь обеспечивается благодаря masking the attention weight matrix, создавая кастомные паттерны для каждого графа.

MAG демонстрирует SOTA результаты на long-range задачах и показывает крутые результаты на 55+ разных задачах. Плюс, MAG лучше делает transfer learning и у него сублинейная масштабируемость памяти по числу узлов или ребер, что позволяет обучаться на dense graphs.

Выглядит весьма интересно. В карму авторов ставлю плюсик за то, что гоняют модели по 5 раз и показывают среднее и стандартное отклонение.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

A Visual Guide to Quantization

На днях Maarten Grootendorst опубликовал шикарный гайд по квантизации. В нём раскрывает темы:
• что такое квантизация и зачем она нужна
• symmetric vs asymmentric quantization
• post-training quantization
• quantization aware training

Всё это с качественными пояснениями и отличными визуализациями. Рекомендую почитать тем, кто давно хотел разобраться в квантизации, но не доходили руки. Или для того, чтобы обновить знания.

Link

#datascience

torchchat: Accelerating Local LLM Inference on Laptop, Desktop and Mobile

Новая библиотека от разработчиков PyTorch - на этот раз для запуска LLM на ноутах, телефонах и десктопах.
https://pytorch.org/blog/torchchat-local-llm-inference/

#datascience

Announcing the results of the inaugural AlgoPerf: Training Algorithms benchmark competition

Какое-то время назад объявили соревнование с целью найти алгоритмы тренировки, которые бы могли ускорять разные модели.
https://mlcommons.org/2024/08/mlc-algoperf-benchmark-competition/

"""The AlgoPerf: Training Algorithms benchmark evaluates the time training required for different training algorithms across multiple realistic deep learning workloads when running on a fixed hardware configuration.

Scoring involved over 4000 individual training runs across the 14 workloads used in the benchmark."""

Было два бенчмарка.

Первый - с возможностью external tuning. Победила команда с сабмитом "Distributed Shampoo" из Meta и Samsung AI.
Второй - чисто self-tuning. Из всех сабмитов только один побил бейзлайн - "Schedule Free AdamW" от Meta.

По факту это звучит довольно круто - оптимизатор, который можно успешно использовать без scheduler. [Код](https://github.com/facebookresearch/schedule_free) доступен. Дефолтная реализация на PyTorch, но есть и вариант на Jax.

#datascience

​​Повседневные вещи в иностранных языках

При изучении иностранных языков, иногда забывается, что это процесс постоянный, а не что-то с чёткими границами. Бывает так, что легко можешь говорить на рабочие темы, болтать с незнакомцами о жизни, а потом спотыкаешься на том, что не можешь вспомнить, как называется какой-то очень простой объект.

Вчера на reddit я увидел такую забавную картинку. Соотношение между словами и уровнями не особо хорошее, но в целом даёт понимание сложности слов. На английском и испанском я не знал всего несколько слов, на немецком около четверти, на японском больше половины.

А насколько хорошо вы знаете эти слова?

#languages

​​Diffusion Feedback Helps CLIP See Better

CLIP, при всех его достоинствах, имеет некоторые недостатки, включающие в себя плохое различение ориентации, количеств, цвета и структуры. Эти недостатки ограничивают возможности мультимодальных моделей, построенных на нём. Основная причина этого - такая информация отсутствует в оригинальном датасете для тренировки.
Авторы предлагают метод DIVA, использующий модель диффузии для оптимизации представлений CLIP без использования текста. DIVA улучшает производительность CLIP на MMVP-VLM на 3-7% и повышает эффективность мультимодальных моделей и моделей зрения в задачах multimodal understanding и сегментации. При этом качество zero-shot не страдает.

Выглядит просто и эффективно.

Paper link

Code link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

BRAG: High Performance RAG Model Trained in $25

Авторы знают толк в названиях :) Взяли пару вариантов Qwen2 и Llama-3 (+3.1), аккуратно подбирали датасеты (походу просто выбрали те, тренировка на которых давала лучшее качество на бенчмарках), дальше тюнили. Тренировали на 4 H100 один час.

https://themaximalists.substack.com/p/brag

#datascience

​​Praise your GitHub vs Roast your GitHub

Люди делают прикольные вещи с помощью LLM-ок. Например, есть два противоположных сайта:
• https://github-roast.pages.dev/ - спарсит инфу о юзере с GitHub и устроит полный roast
• https://praise-me.fly.dev/ - тоже спарсит инфу, но похвалит. (работает намного медленнее)

Иногда получается вполне годно.

Ко мне тут обратились с просьбой - распространить информацию об новом опросе про текущее состояние ML/DS:

Ребята из DevCrowd впервые проводят большое исследование специалистов, работающих в направлениях DS/ML/AI:

• что входит в обязанности той или иной профессии
• какие навыки наиболее важны и каких знаний не хватает
• сколько зарабатывают специалисты в зависимости от опыта и грейда
• а так же полезные для развития каналы, курсы и книги

Проходите опрос, рассказывайте про ваш опыт и помогите сделать исследование максимально охватным. Его результаты появятся в открытом доступе в конце сентября, и помогут вам сравнить свои ожидания с рыночными, построить план своего развития, и просто понять, что происходит с индустрией!

👉Пройти опрос

Посмотреть другие исследования проекта

Karpathy: RLHF is just barely RL

Karpathy выкатил длинный твит с размышлениями о RLHF:
• RL - мощно, RLHF - не так мощно
• он приводит в пример AlphaGo - модель тренировалась с RL, и в итоге научилась обыгрывать людей. Если бы её тренировали на RLHF, то люди бы оценивали какое состояние доски или какая последовательность действий лучше - по факту модель, аппроксимировала бы среднее поведение людей. И это не смогло бы привести к модели, которая превосходила бы людей
• Причины две - "какой вариант тебе больше нравится" не всегда коррелирует с вариантом, который ведёт к победе в игре; и модель может поломаться на ранее невиданных вариантах
• Его в целом удивляет/впечатляет то, что RLHF работает - ибо по факту оптимизируется на правильное/лучшее решение, а которое больше нравится асессорам. И в целом модель может быстро научиться эксплойтить.
• При всем при этом, RLHF работает и является полезным. Как минимум потому, что людям не надо создавать вариант с нуля - они выбивают что-то из предложенного.
• И есть большой аргумент в пользу RLHF - использовать его для оценочных задач типа "хорошая ли шутка, хорошо ли суммаризирован текст" легко. А вот для RL не понятно, как дизайнить reward function.

И в целом он называет RLHF "vibe check" :)

Tweet

#datascience

Facial recognition to detect duplicate Captain accounts

Сегодня в корпоративном блоге моей компании опубликовали блогпост, который я начал писать два месяца назад о проекте, который был сделал в прошлом году (двигался так быстро, как мог).

По ссылке можно почитать официальный вариант. Если стиль или тон текста покажутся странными - не удивляйтесь, оригинальный текст переписывали два-три раза для соответствия корпоративным стандартам, не всегда с моего согласия :)

Суть такая - иногда капитаны (так называют водителей такси в Careem) создают больше одного аккаунта для фрода: создают новый аккаунт после блокировки прошлого, для получения бонусов или для других способов получения преимущества. Таких случаев не то чтобы много, но они есть.
Корпоративная риторика: мы любим и уважаем наших ценных капитанов, бывает что они случайно создают дополнительные аккаунты, но иногда это происходит злоумышленно.

В идеале это должно выявляться на стадии регистрации, но в некоторых странах проверки очень поверхностные, поэтому мошенники их легко проходят. Мы решили попробовать находить такие случаи с помощью face recognition - брать фото капитанов и сравнивать их для поисков похожих.

Сам подход довольно простой - собираем все фотографии капитанов (лежат у нас на S3), извлекаем эмбеддинги и сравниваем. Фоток было 2-3 миллиона. Для извлечения эмбеддингов я использовал либу face_recognition - можно использовать для коммерческих целей, работает шустро и достаточно хорошо. Эмбеддинги хранил и сравнивал с помощью Faiss-GPU. Индексирование и поиск топ-5 схожих эмбеддингов заняло около часа.

Были интересные фейлы модели - о них можно почитать в самой статье. Плюс, нужно было делать дополнительный пост-процессинг бизнес-правилами. Сложность добавляло то, что у нас очень не любят совершать ошибки в блокировках капитанов - поэтому требовали держать False Positives около нуля. После нескольких итераций обсуждений, в сумме заблокировали около 2к мошенников. Могли бы заблокировать на порядки больше - но никто не был готов делать ручные проверки, поэтому остановились на этом.

В прод для регулярных проверок не выкатывали по вышеописанной причине. И потом, через полгодика проверки при регистрации улучшили.

Для меня проект был довольно интересным, несмотря на то, что в чисто техническом смысле он был прост :) Из запоминающегося - некоторые мошенники брали свои фотки, вырезали лица и (явно в фотошопе) переносили их на яркий фон.

Ссылка

#datascience