Visual SKETCHPAD

Давайте в это прекрасное воскресенье не про менеджерское, а про техническое 😍.

Читал я, значит, очередную статью про мультимодальный ризонинг и натыкаюсь в ней на другую годовалой давности. Не знаю, по каким причинам я её пропустил тогда (а их могут быть тысячи), но идея очень прикольная.

Когда только вышли мультимодальные системы серии O от OpenAI, вау-эффектом было то, что в рассуждениях они часто кропали, зумили и всячески модифицировали картинки. И вау было не от того, что как-то система учитывает их в контексте (это как раз база), а откуда и как она эти картинки модифицирует.

И тут меня опытный чтец остановит и спросит: а чо всмысле система? Почему не модель? И будет прав, потому что никто, кроме самих сотрудников, не знает, чо там под капотом, поэтому мне легче рассуждать в терминах системы.

И вот статья Visual SKETCHPAD как раз отвечает на то, как это можно попробовать реализовать чисто инженерно, без всяких обучений. Давайте просто из модели сделаем агента, которому мы дадим определённый набор инструментов для работы с картинками, такие, как: нарисовать линию, сегментировать, нарисовать график, сделать кроп, зазумить область и т.д. И будем просить генерировать CoT с учётом того, что она может использовать эти тулы.

Результаты репортят ещё на тогдашней GPT4o, в целом, растёт на всём, где-то прям очень много (задачи на графы, детекции на high-res картинках), где-то не так много (математика, геометрия).

Очень забавный подход, интересно, как он работает спустя год. А может быть это он и работает под капотом в рассуждающих моделях. Не знаю 😊

P.S. Когда писал пост, наткнулся на обзор https://t.me/gonzo_ML/2823. Почему я пропустил мне интереснее всё больше и больше 😀

Или зелёного A/B 😍

Простите, не могу не прислать 😂

Data Dojo в Питере!

Я стараюсь посещать местные тусовки, хотя бы те, которые организованы Яндексом, просто потому что я о них узнаю внутри. ML Party, Data Dojo и многие другие. В первую очередь потому что люблю пообщаться с ребятами из разных компаний, послушать разные байки, да и самому чего-нибудь порассказывать 😀.

В этот раз я не смогу быть (из-за командировки 😊), тем не менее, можете придти вы! Программа классная, будут выступать очень классные гости, таких не часто встретишь на конференциях:
— Коля Савушкин, руководитель команды рекомендашек, расскажет про тренды в его области;
— Лёша Колесов, руководитель всея NLP, расскажет про весь R&D — чего сделали прикольного и чего хотим сделать.

Ещё будет разбор ML-задачки 🧠. Если вам есть что рассказать — записывайтесь!

Ну и самое важное — нетворк. Кажется, его должно быть много!

Записаться можно на лендосе: записаться.

P.S. Я не в курсе, будет ли кисель на мероприятии, но если будет — набирайте в своё удовольствие 🙂

https://github.com/huggingface/transformers/pull/39923/commits

Допустим
Будем верить, что оно и правда работает 😀

Приходите сегодня на подскаст, задавайте вопросики в комменты к посту https://t.me/bashnya_education/518 😍
Выберу самый интересный вопрос и чего-нибудь подарю тому человечку (менторская сессия, тг-премиум на полгода или чего-нибудь из нашего мерча) 🔼

В общем — Ж Д У

Допустим 😀

Техрепорт GPT-5: https://cdn.openai.com/pdf/8124a3ce-ab78-4f06-96eb-49ea29ffb52f/gpt5-system-card-aug7.pdf

GPT-5 is a unified system (не одна модель).

Надеюсь, за мной не придут 😍

Про канал

Когда я затевал свой канал 3 года назад, я даже не и мечтать не мог о том, что нас здесь станет так много. Спасибо, что всё это время вы меня читаете, поддерживаете, пишите комментарии и ставите реакции! 😍

Мой канал претерпел множество изменений 😊. Из технического-бэкендового он сначала превратился в MLный, а затем стал больше менеджерским. Знаю, что некоторых стало расстраивать уменьшение числа технических постов здесь, а кому-то наоборот заходят топики про личное и управленческое. Это происходит просто с течением моей жизни и сменой ролей, ведь блог больше про меня самого, мой опыт и находки здесь и сейчас.

В последнее время частота моих постов снизилась 🥺. И не потому, что у меня как-то времени уменьшилось на канал, вовсе нет. Я просто временно потерял интуицию, что интересно моей аудитории, чем бы я мог быть вам полезен. У меня есть десятки идей, о чём можно было бы написать, но каждый раз я думаю, что это будет не интересно. И как бы я не эксперементировал с форматами, пока что-то как-то не заходит. Я создавал этот канал не только для того, чтобы делиться какими-то новостями про себя, но быть полезным вам. ☺️

Я очень не хочу скатываться в формат новостей, для этого есть десятки-сотни других каналов, которые делают это и вы на них подписаны. Не хочу превращать канал во флуд, коих тоже приличное множество. Хочу его оставить самобытным, где мы с вами можем друг другу полезны.

Я бы хотел сделать новую рубрику — вопросы от подписчиков. Раз-два в неделю я буду выпускать посты, в котором буду отвечать на любой ваш вопрос в развёрнутом виде. Это может быть любой вопрос, но в каких-то рамках (не смогу ответить про NDA, похейтить какую-то компанию, дать реакцию на какое-то событие или рассказывать подробности личной жизни).

Вы можете присылать свои вопросы либо в сообщения канала, либо ко мне в личку — она всегда открыта для вас 🤯!

Между рубрикой я продолжу вести канал в его привычном режиме, делиться разными мыслями и событиями из жизни. Очень надеюсь на вашу поддержку и я буду счастлив, если рубрика вам зайдёт 😍!

P.S. ну и напишите в комментарии, что думаете про идею? может быть я не прав и она не нужна?

окак 😂

Заметки про руководство — самостоятельность команды

Недавно в разговоре всплыла тема самостоятельности команды. Я немного об этом подумал — и вот к чему пришёл.

Классическая схема устройства команды: есть несколько разработчиков и тимлид 🙂. Последний принимает кучу решений, знает про всё и всех. А ещё часто самый сильный технарь становится руководителем (по крайней мере в РФ).

В силу неопытности, тимлид начинает адаптировать инженерное прошлое к реалиям руководителя. Раньше все задачи решал сам, умел продумать до мелочей любую задачу 🤓. Как итог, почти всё, что делает команда, — это продукт раздумий тимлида. Решения (в том числе, как именно делать) рождаются не в команде, а у одного человека. И в этом есть как плюсы, так и минусы.

Плюсы, кажется, очевидны 🧠:
— Больший контроль. Как тимлид ты понимаешь, что происходит в команде до мелочей;
— Ты способен в любой момент помочь любому человеку в команде, потому что ты шаришь (что может неплохо влиять на авторитет крутого технаря);
— Все решения принимать тебе куда легче, потому что всё у тебя в голове.

Минусы, к сожалению, более весомые 🤔:
— Твои подходы могут быть старомодны, и вообще можешь не быть в теме так глубоко, как кажется. Ты уже не инженер, да, скорее всего, есть какие-то мелкие задачи, которые ты делаешь руками, но нужно принять тот факт, что люди в твоей команде будут ловчее тебя, потому что занимаются этим каждый день;
— Люди в команде не набираются опыта принимать решения самостоятельно, а ты становишься главным bottleneck. Банально, если ты за них всё думаешь, а им просто сделать надо — они и критическое мышление начнут отключать в скором времени. А вообще это вредно для их карьерного роста (и для твоего тоже);
— Ты не развиваешь команду, она стоит на месте. Вместо того, чтобы решать технические задачи, можно заняться развитием сотрудников, команды и процессов, подумать про стратегию, или вообще помечтать о новых проектах, а потом защитить их у руководства.

Как водится в управлении людьми, всегда есть нюансы 😊. Конечно, минусы значительные, но если твоя команда ещё не зрелая (не путать с людьми), то конечно, придётся думать о техническом больше. Но со временем нужно приходить к тому, что ты учишься приносить задачи в команду, доверять ей, а ребята уже самостоятельно придумывают пути решения. И в этом случае тебе нужно будет уже только принять какой-то вариант, что, пожалуй, вызов для начинающего тимлида: уметь отпустить детали и довериться команде 😍.

А что ты думаешь про самостоятельность команд? Твоя команда сейчас какая? Почему?

Как инферятся LLMки под капотом?

Совершенно случайно наткнулся на блогпост про инференс LLMок. Речь именно про реализацию движка на C++ своими ручками, с использованием CUDA и без каких-либо других сторонних библиотек. Я прочитал пост залпом, объяснения очень понятные и глубокие 🤓.

Всё, конечно, же игрушечное: single batch, single gpu, completion only (без prefill).

В посте идёт повествование про следующие топики:
— Пишем наивную реализацию под CPU (и ускоряем за счёт SIMD);
— Переносим на CUDA;
— Думаем, как работает GPU и ускоряем matmul;
— Фьюзим операции и еще ускорения matmul;
— Профилируем attention и ускоряем его, включая длинные генерации;
— Квантование и какие грабли подкидывает нам nvcc.

Определённо полезно будет тем, кому интересны топик инференса. Мне понравилось то, как автор показывает, что можно использовать различные инструменты профилировки и какие выводы из них можно сделать 🔼. Кайфанул с того, как пришлось упороться, чтобы повторить анролинг для FP16 ядер, по аналогии, как это делает комплиятор для FP32 ядер автоматически (ох уж эта боль) 🏥.

Ссылочка на пост: https://andrewkchan.dev/posts/yalm.html