Кэширование для самых маленьких

Вай-вай-вай, наткнулся на классную вводную статью про кэширование 🌿. Такую показываешь на первом курсе или в школе — и сразу людям чуточку понятнее становится, почему так много типов памяти, какая вообще бывает и т.д. Под конец: локальность кэширования, немного слов про LIFO, LRU, Time-aware LRU.

Я бы не писал про столь простую статью сюда, но там, друзья, такие классные интерактивные анимации, что меня пленило. Попробуйте и вы!

Ну а если вы не знаете, что такое cache miss, то пора бы узнать 🤓!

Ссылка на статью: https://planetscale.com/blog/caching

В общем, скидываю бабушке, а дальше быстренькая лекция ей про локальность вычислений для cuda-ядер. Как план?

Как работают устройства хранения

Я чот зачитался блога из поста выше😍. И хочу отметить ещё одну очень классную статью, уже не то, чтобы прям для самых маленьких (но и для них тоже). Я концептуально понимал, как работают разные устройства хранения, но эти концепты у меня были размыты 😍.

Кажется, статья это исправила. Тут про то, как работают ленточное хранение, HDD, SSD. Немного рассказывают про облачное хранение и проблемы с ним (но имхо, уже больше для рекламы).

Мне очень понравился раздел про проблемы с порядком хранения данных в SSD и зацепила фраза:

This demonstrates that the order in which we read and write data matters for performance. Many software engineers don't have to think about this on a day-to-day basis, but those designing software like MySQL need to pay careful attention to what structures data is being stored in and how data is laid out on disk.

Опять же, отличные интерактивы 🌿: самое то для школьных уроков или пары в вузе!

Ссылка на статью: https://planetscale.com/blog/io-devices-and-latency

Планы планы планы

Итак, закончился очередной отчётный период, пора бы уже начать новые дела какие-то делать. Но какие? Как говорится, нужон план 🤓.

Я помню, еще на прошлой работе делал первый план работы по направлению. И слева подошёл, и сбоку, и снизу подглядел, но всё-таки родил какой-никакой план. Гордый результатами своих трудов за несколько фулл-тайм дней приношу их к своему руководителю и получаю: "Не, ну это не план" 😊. На секундочку, тогда у меня был список шагов, без какой-либо конкретики, задач хватало от силы на 2-3 недели, и без каких-либо целей и сроков.

Тогда я усвоил для себя один из уроков: список задач/целей/направлений — это еще не план, это просто список. План должен что-то про сроки говорить, про то, зачем это вообще делается, и как будет оцениваться успех.

После много лет утекло, планы как-то писались и что-то даже получалось (по крайней мере, вопросов не так много было). Я уже снова успел побывать разработчиком 🤔, обратно перекатился в лиды — и снова эти планы. В поте лица написал огромную тираду амбициозных планов по всем канонам, с какими-то там сроками! Вам не показалось — она была и правда ОГРОМНОЙ 👨‍🦳.

Тут другой урок: планы должны быть компактными, но с возможностью детализации. Часто мало кому нужно понимать, что через пару недель нужно обновить компоненту X в сервисе Y. В этом аспекте я очень люблю наставление моего руководителя: план должен состоять из 3-5 фокусов, чтобы у человека сложилось общее понимание, что происходит. При необоходимости — можно углубляться, но часто это нужно уже самому тебе.

Ну вот и построил ты свои планы. А через пару недель они сломались ❓. Где-то человек заболел, где-то обстоятельства поменялись. Одним словом — риски, форс-мажоры и внешние факторы. Связаны могут как с людьми, так с технологиями и, в целом, с бизнесом.

Урок следующий — планы должны быть гибкими. Это позволяет митигировать риски, о которых просто не подумал/упустил (а обязательно что-то пройдёт мимо). Подумать про запасные варианты, различные случаи — это всегда полезно и часто важно.

Лично у меня в R&D всегда было так 🏥. А у вас как? Пишете планы? Получается?

P.S. самое важное: план — это не что-то прибитое гвоздями, но неплохо, чтобы он был +- стабилен 🌿.

N айтишниц нашли в баре Антона

Меня позволи в свою рубрику N айтишниц и в формате небольшого интервью рассказал про свою жизу 😍

Порции мотивашки раздал здесь: https://t.me/n_it_girls/358

В тексте есть спойлер, что послужило мотивацией написать пост: https://t.me/blog_toxa/391

Давайте поболтаем 😍

Что-то хочется немного похоливарить или просто пообщаться сегодня вечером в комментах.

Вот вам вопрос:
Самая кринж статья последнего полугодия? Не обязательно только про статьи из arxiv.org

Руководитель и код. Часть 2/2

В прошлом посте вы постарались набрать очень быстро необходимое число лайков. Тем не менее, пишу пост только сейчас. Вообще ваши реакции — практически единственная форма фидбека мне. Поэтому если вам что-то нравится или, наоборот, не нравится, вы смело приходите ко мне с этим (куда угодно: личка, сообщения канала, комменты). Ну и реакции ставьте 😍

Мы в команде очень сильно заботимся о качественных метриках. Достаточно строго собираем наборы данных и оцениваем качество метрик, валидаторов. Вообще замеры — это очень сложная тема, требующая понимания не только того, как работаем сам процесс (данные, валидаторы и природа метрик), но и то, как всё работает под капотом: какой режим семплирования, какой бэкенд используется, на каком железе, есть ли батчевание и т.д. И ясное дело за всем уследить не всегда возможно.

И тут возникли проблемы разного характера из мира инженерии, в абсолютно разных местах, но на KPI метриках. Где-то начало флапать, где-то онлайн (внутренний) не сходится с оффлайном на одних и тех же данных. В общем, какой-то бред.

По людям история такая: кто-то ушёл в отпуск, кому-то нужно допинать текущие задачи, кому-то просто пока не дашь эти задачи, потому что нужно починить быстро, а опыта работы именно с этим еще не было. И не то, что нельзя вырвать какого-то знающего человека из текущих задач и дать ему раздебажить проблему — всё-таки важные KPI метрики. Просто только-только случился очередной релиз и хочется дать ребяткам выдохнуть, да и тем более я сам понимал, что примерно нужно копать. Посмотрел по своим приоритетам, поранжировал, решил, что нужно мне сделать.

Спойлер: решил обе задачи. С флапающими тестами всё сложно, описывать не буду, а вот про оффлайн и онлайн рассказать можно. В режиме фоновых задач запускали эксперименты, где пытались зафиксировать стейт данных. И вот уже всё фиксированное — но числа разные.

Ну бред, думаю я. А потом вспоминаю, что оффлайн замеряется на одном коде, а онлайн — на другом (специфика реализации). Код оффлайна читать было бессмысленно — я его читал 100500 раз и там ничего не менялось. А вот в онлайне нужно было поднапрячься.

И, к слову, баг описывает классический мем — вроде знаешь, что он есть, но как найти — ну вот фиг знает. После получаса пристального чтения кода нахожу примерно следующую конструкцию:

// some code
if (currentPrompt.size() == 0) {
    currentPrompt = userData.content;
}
currentPrompt += userData.content;
// some code

Ну в общем, в ситуация смешная, забыли if. Хорошо, что куда-то наружу не ухеало. Ну и замечательно, что это была единственная проблема.

Но я так легко всё рассказываю. В реальности: погрузился детально во все процессы текущих тестирований, сильно больше стал понимать в инференсе для онлайна, узнал для себя несколько новых вещей. И заняли обе задачки примерно недельку неполного рабочего моего времени. Для себя вижу в том числе плюсы, что подсобрал некоторые инфраструктурные боли, которые смогу либо решить на своём уровне, либо странслировать выше (что, имхо, полезно).

Теперь я сплю спокойнее 😀. Такие дела.

Intern-S1

В мультимодалках пополнение:
— 235B MoE LLM (Qwen3) + 6B Vis Encoder (InternViT);
— 5T мультимодальных токенов в обучении;
— Thinking и Non-Thinking Modes;
— По уровню такая же или чуть лучше текущих опенсорсов, как по мне, по идее хуже gemini 2.5 pro;
— Бенчмарков маловато, хотелось бы побольше общеупотребимых, будем ждать народного инференса;
— Важным выделяют то, что половина трейна — это научные данные.

Страничка на HF: https://huggingface.co/internlm/Intern-S1
Тех репорт: ждём 🙂
Потыкаться можно здесь: https://chat.intern-ai.org.cn/

Если кто-то развернёт у себя на маке, скиньте гайд, тож попробую 😀

Visual SKETCHPAD

Давайте в это прекрасное воскресенье не про менеджерское, а про техническое 😍.

Читал я, значит, очередную статью про мультимодальный ризонинг и натыкаюсь в ней на другую годовалой давности. Не знаю, по каким причинам я её пропустил тогда (а их могут быть тысячи), но идея очень прикольная.

Когда только вышли мультимодальные системы серии O от OpenAI, вау-эффектом было то, что в рассуждениях они часто кропали, зумили и всячески модифицировали картинки. И вау было не от того, что как-то система учитывает их в контексте (это как раз база), а откуда и как она эти картинки модифицирует.

И тут меня опытный чтец остановит и спросит: а чо всмысле система? Почему не модель? И будет прав, потому что никто, кроме самих сотрудников, не знает, чо там под капотом, поэтому мне легче рассуждать в терминах системы.

И вот статья Visual SKETCHPAD как раз отвечает на то, как это можно попробовать реализовать чисто инженерно, без всяких обучений. Давайте просто из модели сделаем агента, которому мы дадим определённый набор инструментов для работы с картинками, такие, как: нарисовать линию, сегментировать, нарисовать график, сделать кроп, зазумить область и т.д. И будем просить генерировать CoT с учётом того, что она может использовать эти тулы.

Результаты репортят ещё на тогдашней GPT4o, в целом, растёт на всём, где-то прям очень много (задачи на графы, детекции на high-res картинках), где-то не так много (математика, геометрия).

Очень забавный подход, интересно, как он работает спустя год. А может быть это он и работает под капотом в рассуждающих моделях. Не знаю 😊

P.S. Когда писал пост, наткнулся на обзор https://t.me/gonzo_ML/2823. Почему я пропустил мне интереснее всё больше и больше 😀

Или зелёного A/B 😍

Простите, не могу не прислать 😂

Data Dojo в Питере!

Я стараюсь посещать местные тусовки, хотя бы те, которые организованы Яндексом, просто потому что я о них узнаю внутри. ML Party, Data Dojo и многие другие. В первую очередь потому что люблю пообщаться с ребятами из разных компаний, послушать разные байки, да и самому чего-нибудь порассказывать 😀.

В этот раз я не смогу быть (из-за командировки 😊), тем не менее, можете придти вы! Программа классная, будут выступать очень классные гости, таких не часто встретишь на конференциях:
— Коля Савушкин, руководитель команды рекомендашек, расскажет про тренды в его области;
— Лёша Колесов, руководитель всея NLP, расскажет про весь R&D — чего сделали прикольного и чего хотим сделать.

Ещё будет разбор ML-задачки 🧠. Если вам есть что рассказать — записывайтесь!

Ну и самое важное — нетворк. Кажется, его должно быть много!

Записаться можно на лендосе: записаться.

P.S. Я не в курсе, будет ли кисель на мероприятии, но если будет — набирайте в своё удовольствие 🙂

https://github.com/huggingface/transformers/pull/39923/commits

Допустим
Будем верить, что оно и правда работает 😀

Приходите сегодня на подскаст, задавайте вопросики в комменты к посту https://t.me/bashnya_education/518 😍
Выберу самый интересный вопрос и чего-нибудь подарю тому человечку (менторская сессия, тг-премиум на полгода или чего-нибудь из нашего мерча) 🔼

В общем — Ж Д У