Недавно мой канал достиг планку в 1к подписчиков, за что хочу сказать всем спасибо!

Напомню про основные темы/теги:
• #paperreview - обзоры статей про ML (в полном виде их можно читать в моём блоге https://andlukyane.com/blog/)
• #datascience - в целом о DS
• #languages - об изучении иностранных языков
• #life - про жизнь

Собственно говоря, хочу спросить - о чём бы вы хотели больше слышать от меня:
• больше писать на основные темы
• ответы на конкретные вопросы
• что-то другое

P. S. А ещё от telegram пришло уведомление с напоминанием о том, что существует бустинг каналов, так что один раз выложу ссылку: https://t.me/datastorieslanguages?boost Обещаю stories не постить :)

Хотел бы поделиться крутым каналом в сфере ML - "Борис опять" (http://t.me/boris_again). Он работает тимлидом ML в Planet Farms уже Staff Machine Learning Engineer в eBay.

Пишет про:
• ML, программирование в целом и ИИ (в каком виде он сейчас существует). Например вот этот пост про то, можно ли разбогатеть, работая в стартапе
• стендап комедии (в каком ещё ML канале про это почитаешь?)
• всякое интересное и веселое по жизни, науке, магистратуре и многому другому.

В постах было немало полезного для меня, так что рекомендую.

Так же мы собрали небольшую папку авторских телеграм каналов в сфере AI/ML/DS:
Авторский ИИ (https://t.me/addlist/C_RSYpbW5mIyMjVi)

Welcome 👀

Crowdstrike уронил интернет, и как раз вчера на реддите критиковали эту компанию

Думаю, что многие уже ощутили или заметили сбой у Microsoft, от которого пострадали многие компании. Если же нет, то вот одна из многих ссылок.

Но я не об этом. Ровно вчера на реддите был пост с яростной критикой Crowdstrike:

 Crowdstrike is not worth 93 billion dollars (at time of writing).
Fear: CrowdStrike is an enterprise-grade employee spying app masquerading as a cloud application observability dashboard.

И прям на следующий день случился сбой. Какое интересное совпадение.

Mark Twain: Truth is stranger than fiction, but it is because Fiction is obliged to stick to possibilities; Truth isn't."

​​DCLM-7B от Apple. Натренирована на DCLM-Baseline, MMLU 63.72. Код и веса выложили

Apple выложила свою новую модель DCLM-Baseline-7B, которая натренирована на датасете DCLM-Baseline (2.5T tokens). Цель - показать, что модель, натренированная на аккуратно подготовленных данных, круто работает. никогда такого не было, и вот опять

Главным плюсом считается то, что доступен и датасет, и код, и веса модели.

https://huggingface.co/apple/DCLM-7B
https://github.com/mlfoundations/dclm
https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
https://arxiv.org/abs/2406.11794

#datascience

🚀 Если Вам интересно машинное обучение и/или математика - приглашаем Вас принять участие в проекте по применению методов МЛ/RL к теории групп/графов Кэли - напишите @alexander_v_c - если хотите принять участие, а также заходите на вводный вебинар (знаний теории групп не требуется):

👨‍🔬 Александр Червов (к.ф.-м.н) "Методы МЛ в теории групп - введение и обзор достигнутого"
⌚️ Понедельник 22 июля, 18.00 (по Москве)

Методы машинного обучения могут быть применены к ряду классических задач теории групп - разложение элемента по образующим, оценки диаметра. Мы приглашаем принять всех участие в данном проекте. Предварительное требование - знание Питона и наличие нескольких свободных часов в неделю. Если вы хотите улучшить свои знания по МЛ/RL и внести вклад в развитие науки - это отличный шанс .

В данном докладе мы простым языком объясним формулировки основных задач, и как задачи теории групп переводятся на язык машинного обучения. Предварительных знаний не требуется. Также, мы дадим обзор уже достигнутых результатов - в частности для группы порядка 4*10^19 (Rubik cube) нам уже удается находить решение задачи за минуты , а не 40 часов ГПУ как было в предыдущей работе "DeepCube".

План доклада:

1 Переформулировка основной задачи на простом языке матриц

2 Матрицы перестановок и группы типа кубика Рубика (см. ноутбук "Visualize allowed moves": https://www.kaggle.com/code/marksix/visualize-allowed-moves )

3 Графы Кэли и переформулировка основной задачи как поиск пути на графе

4 Случайные блуждания по графам - создание трейн сета для МЛ-модели

5 Подход к решению задач теории групп через машинное обучение. Оценка дистанции до цели через МЛ-модель и проблема наличия множественных локальных минимумов у этой оценки

6 Beam search. (Один из вариантов борьбы с застреваниями в локальных минимумах)

7 Бейзлайн реализация: МЛ+ Beam search - ноутбук: https://www.kaggle.com/code/alexandervc/baseline-1-for-permutations - решение кубика Рубика за пару минут

8 Cледующие шаги: RL-часть, улучшение нейросеток, улучшение трейн сета, улучшение beam search

Добавляйтесь в группу проекта: https://t.me/sberlogasci/10989 и пишите @alexander_v_c - если Вам интересно !

PS

См. также предыдущий вводный доклад:
https://t.me/sberlogasci/10989/15283 "Введение в методы поиска короткого пути на больших графах" (Кирилл Хоружий )

Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

​​Жаркое лето в Дубае

В этом году лето в Дубае ещё жарче, чем в прошлом году. И самая жара + влажность обычно в августе-сентябре.
😅

#life

​​RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

Интересная статья от NVIDIA с новым подходом к RAG - делают instruction-tuning одновременно для генерации ответа и для ранжирования контекста. Добавление таких датасетов для тренировки заметно улучшает качество, при этом данных достаточно не особо много.

В экспериментах Llama3-RankRAG обходит Llama3-ChatQA-1.5 и модели GPT-4 на девяти knowledge-intensive бенчмарках и показывает сопоставимые результаты с GPT-4 на пяти медицинских наборах данных без дополнительного instruction fine-tuning на биомедицинских данных, демонстрируя отличную способность к обобщению в новых областях.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Yet another sample size calculator

Я сегодня увидел на reddit неплохой тред с примером расчёта sample size для A/B тестов. Думаю, что если считаешь для себя, то настолько накрученные штуки не нужны, но показать stakeholders - самое то.

Сам калькулятор можно пощупать тут.

#datascience

DataChain от DVC

Пока многие обсуждают релиз LLama 3.1, поделюсь "приземленной" новостью. DVC выпустили продукт для управления неструктурированными данными.

🤖 AI-Driven Data Curation: Local models, LLM APIs
🚀 GenAI Dataset scale: Millions and billions of files
🐍 Python-friendly: Python objects instead of JSON

Github

#datascience

IT-пикник. Благотворительность для Карельского регистра доноров костного мозга

Ко мне тут обратились с неожиданной просьбой - распространить информацию об IT-ивенте с возможностью сделать пожертвование для помощи людям.

В Москве 17 августа пройдёт IT-пикник в Коломенском. Это семейное IT мероприятие - будут лекции, мастер-классы, воркшопы, музыка. А также доклады от технических людей из топовых компаний. Посещение возможно по пожертвованию от 1к рублей в один из 10 благотворительных фондов, и Карельский регистр - один их них. Он занимается помощью пациентам с лейкемией и пожертвованные деньги пойдут на на оплату обследования доноров, каждый из которых может спасти жизнь.

При регистрации на сайте пикника вам прийдёт ссылка на пожертвования, и там можно будет выбрать этот фонд. Сам я посетить ивент не смогу, поэтому пожертвование сделал просто напрямую по этой ссылке.

Фестиваль выглядит интересным, и дополнительно есть возможность помочь людям, так что рекомендую поучаствовать.

#life #datascience

Вы не поверите, но эта картинка уже устарела (меньше, чем за 2 часа) - вышел Mistral Large 2. Не то чтобы она побила рекорды, но всё же будет занимать уважаемое место на этом графике

https://mistral.ai/news/mistral-large-2407/

#datascience

​​Есть два типа людей, запускающих LLM локально...

​​Masked Attention is All You Need for Graphs

GNNs и вариации message passing algorithm являются основными методами обучения на графах благодаря их гибкости, скорости и производительности. Однако их надо аккуратно тюнить. Авторы этой статьи предлагают простую альтернативу, основанную исключительно на attention.

В методе Masked Attention for Graphs (MAG) графы представлены как наборы узлов или ребер, а их связь обеспечивается благодаря masking the attention weight matrix, создавая кастомные паттерны для каждого графа.

MAG демонстрирует SOTA результаты на long-range задачах и показывает крутые результаты на 55+ разных задачах. Плюс, MAG лучше делает transfer learning и у него сублинейная масштабируемость памяти по числу узлов или ребер, что позволяет обучаться на dense graphs.

Выглядит весьма интересно. В карму авторов ставлю плюсик за то, что гоняют модели по 5 раз и показывают среднее и стандартное отклонение.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

A Visual Guide to Quantization

На днях Maarten Grootendorst опубликовал шикарный гайд по квантизации. В нём раскрывает темы:
• что такое квантизация и зачем она нужна
• symmetric vs asymmentric quantization
• post-training quantization
• quantization aware training

Всё это с качественными пояснениями и отличными визуализациями. Рекомендую почитать тем, кто давно хотел разобраться в квантизации, но не доходили руки. Или для того, чтобы обновить знания.

Link

#datascience