Допустим 😀

Техрепорт GPT-5: https://cdn.openai.com/pdf/8124a3ce-ab78-4f06-96eb-49ea29ffb52f/gpt5-system-card-aug7.pdf

GPT-5 is a unified system (не одна модель).

Надеюсь, за мной не придут 😍

Про канал

Когда я затевал свой канал 3 года назад, я даже не и мечтать не мог о том, что нас здесь станет так много. Спасибо, что всё это время вы меня читаете, поддерживаете, пишите комментарии и ставите реакции! 😍

Мой канал претерпел множество изменений 😊. Из технического-бэкендового он сначала превратился в MLный, а затем стал больше менеджерским. Знаю, что некоторых стало расстраивать уменьшение числа технических постов здесь, а кому-то наоборот заходят топики про личное и управленческое. Это происходит просто с течением моей жизни и сменой ролей, ведь блог больше про меня самого, мой опыт и находки здесь и сейчас.

В последнее время частота моих постов снизилась 🥺. И не потому, что у меня как-то времени уменьшилось на канал, вовсе нет. Я просто временно потерял интуицию, что интересно моей аудитории, чем бы я мог быть вам полезен. У меня есть десятки идей, о чём можно было бы написать, но каждый раз я думаю, что это будет не интересно. И как бы я не эксперементировал с форматами, пока что-то как-то не заходит. Я создавал этот канал не только для того, чтобы делиться какими-то новостями про себя, но быть полезным вам. ☺️

Я очень не хочу скатываться в формат новостей, для этого есть десятки-сотни других каналов, которые делают это и вы на них подписаны. Не хочу превращать канал во флуд, коих тоже приличное множество. Хочу его оставить самобытным, где мы с вами можем друг другу полезны.

Я бы хотел сделать новую рубрику — вопросы от подписчиков. Раз-два в неделю я буду выпускать посты, в котором буду отвечать на любой ваш вопрос в развёрнутом виде. Это может быть любой вопрос, но в каких-то рамках (не смогу ответить про NDA, похейтить какую-то компанию, дать реакцию на какое-то событие или рассказывать подробности личной жизни).

Вы можете присылать свои вопросы либо в сообщения канала, либо ко мне в личку — она всегда открыта для вас 🤯!

Между рубрикой я продолжу вести канал в его привычном режиме, делиться разными мыслями и событиями из жизни. Очень надеюсь на вашу поддержку и я буду счастлив, если рубрика вам зайдёт 😍!

P.S. ну и напишите в комментарии, что думаете про идею? может быть я не прав и она не нужна?

окак 😂

Заметки про руководство — самостоятельность команды

Недавно в разговоре всплыла тема самостоятельности команды. Я немного об этом подумал — и вот к чему пришёл.

Классическая схема устройства команды: есть несколько разработчиков и тимлид 🙂. Последний принимает кучу решений, знает про всё и всех. А ещё часто самый сильный технарь становится руководителем (по крайней мере в РФ).

В силу неопытности, тимлид начинает адаптировать инженерное прошлое к реалиям руководителя. Раньше все задачи решал сам, умел продумать до мелочей любую задачу 🤓. Как итог, почти всё, что делает команда, — это продукт раздумий тимлида. Решения (в том числе, как именно делать) рождаются не в команде, а у одного человека. И в этом есть как плюсы, так и минусы.

Плюсы, кажется, очевидны 🧠:
— Больший контроль. Как тимлид ты понимаешь, что происходит в команде до мелочей;
— Ты способен в любой момент помочь любому человеку в команде, потому что ты шаришь (что может неплохо влиять на авторитет крутого технаря);
— Все решения принимать тебе куда легче, потому что всё у тебя в голове.

Минусы, к сожалению, более весомые 🤔:
— Твои подходы могут быть старомодны, и вообще можешь не быть в теме так глубоко, как кажется. Ты уже не инженер, да, скорее всего, есть какие-то мелкие задачи, которые ты делаешь руками, но нужно принять тот факт, что люди в твоей команде будут ловчее тебя, потому что занимаются этим каждый день;
— Люди в команде не набираются опыта принимать решения самостоятельно, а ты становишься главным bottleneck. Банально, если ты за них всё думаешь, а им просто сделать надо — они и критическое мышление начнут отключать в скором времени. А вообще это вредно для их карьерного роста (и для твоего тоже);
— Ты не развиваешь команду, она стоит на месте. Вместо того, чтобы решать технические задачи, можно заняться развитием сотрудников, команды и процессов, подумать про стратегию, или вообще помечтать о новых проектах, а потом защитить их у руководства.

Как водится в управлении людьми, всегда есть нюансы 😊. Конечно, минусы значительные, но если твоя команда ещё не зрелая (не путать с людьми), то конечно, придётся думать о техническом больше. Но со временем нужно приходить к тому, что ты учишься приносить задачи в команду, доверять ей, а ребята уже самостоятельно придумывают пути решения. И в этом случае тебе нужно будет уже только принять какой-то вариант, что, пожалуй, вызов для начинающего тимлида: уметь отпустить детали и довериться команде 😍.

А что ты думаешь про самостоятельность команд? Твоя команда сейчас какая? Почему?

Как инферятся LLMки под капотом?

Совершенно случайно наткнулся на блогпост про инференс LLMок. Речь именно про реализацию движка на C++ своими ручками, с использованием CUDA и без каких-либо других сторонних библиотек. Я прочитал пост залпом, объяснения очень понятные и глубокие 🤓.

Всё, конечно, же игрушечное: single batch, single gpu, completion only (без prefill).

В посте идёт повествование про следующие топики:
— Пишем наивную реализацию под CPU (и ускоряем за счёт SIMD);
— Переносим на CUDA;
— Думаем, как работает GPU и ускоряем matmul;
— Фьюзим операции и еще ускорения matmul;
— Профилируем attention и ускоряем его, включая длинные генерации;
— Квантование и какие грабли подкидывает нам nvcc.

Определённо полезно будет тем, кому интересны топик инференса. Мне понравилось то, как автор показывает, что можно использовать различные инструменты профилировки и какие выводы из них можно сделать 🔼. Кайфанул с того, как пришлось упороться, чтобы повторить анролинг для FP16 ядер, по аналогии, как это делает комплиятор для FP32 ядер автоматически (ох уж эта боль) 🏥.

Ссылочка на пост: https://andrewkchan.dev/posts/yalm.html