Хайлайты с OpenSourceWeek от deepseek, как обещал

#технический_четверг (не совсем)

На самом деле не особо нашел что-то глубокое, чем интересно поделиться — в основном там детали, которые и на использование не влияют, и про рынок инсайтов не дают.

Но есть парочка штук, которые оказались просто любопытными:

1️⃣ DeepGEMM

Ребята написали очень быстрое перемножение матриц с JIT-компиляцией (!). Ускорение вплоть до x2.7 – это очень круто. Я когда-то ускорял гугловую имплементацию под частные кейсы, и там даже 15-20% – было вау.

Базовый функционал всего 300 строк, можно читать как методичку

2️⃣ 3FS

Своя распределенная файловая система. Своя файловая система, Карл!!! В комплекте очень дешевый KVCache на SSD, а не в DRAM. Китайцы умеют делать сложно, чтобы делать дешево 🤷‍♂️

Как выбрать посты для таргетированного промо

Несколько дней назад натыкаюсь на маленький канал с отличным соотношением сигнал/шум. Решаю им поделиться, потому что часть моей аудитории точно найдет там пользу. Пишу автору:

Константин, привет! Очень понравилась концентрация пользы в твоем канале, хочу сделать его промо у себя.

Если хочешь, можем сделать взаимный пиар, но если нет – ничего страшного, я все равно твой пропиарю

Константин соглашается и спрашивает, есть ли у меня какие-то заготовленные материалы. Сначала хочу выбрать релевантные посты сам, но потом подруга подсказывает любопытный эксперимент:

1. Закидываю в GPT сначала дамп его канала за последние пару месяцев, прошу описать, что в нем уникального и какая аудитория.
2. Закидываю дамп своего канала с idшками всех сообщений и прошу выбрать релевантные
3. Говорю "Вау!"

Промпты и результаты в комментах, а вот канал про который я говорю, и посты, которые зацепили меня лично, а не gpt:

1. Настройка Cursor Rules и TDD – как починить вайбкодинг + наглядный шоукейс стрим на 10 минут (я посмотрел почти весь)
2. Самому сделать AI аватара из 18 (!) фоток
3. Как дать Cursor Agent выход в браузер
4. Нагло перепосченная мной инфа про Perplexity на год ради DeepResearch (про него кстати, отдельно напишу, последние три дня использую его постоянно)

Уже коротко писал про Enterprise RAG Challenge от @llm_under_hood.

Сегодня подробнее описал свой опыт, разобрал две архитектуры, сформулировал выводы и добавил немного сторителлинга:

https://vas3k.club/post/27773/

P.s. Комменты от других участников – в комплекте

Андрей Карпаты (мировая AI-суперзвезда) делится как нужно учиться:

На YouTube/TikTok и других платформах много видео, создающих видимость обучения, но если присмотреться, это на самом деле просто развлечение. Это очень удобно для всех участников: зрители наслаждаются просмотром, думая, что учатся (но на самом деле они просто развлекаются).

Обучение не должно быть веселым. Основное ощущение должно быть усилием. Оно должно напоминать не «10-минутную тренировку на всё тело» от местного блогера, а скорее серьезное занятие в спортзале. Вам нужен умственный эквивалент пота.

Полезно четко определять свой настрой заранее и строго бинарно. Если вы потребляете контент: вы хотите развлечься или научиться? Если вы создаете контент: вы хотите развлечь или научить? В каждом случае ваш путь будет разным. Попытки совместить оба варианта ведут в никуда.

Для тех, кто действительно хочет учиться. Если вы не изучаете что-то узкое и специфическое, закройте вкладки с быстрыми блогами и видео. Закройте вкладки с заголовками вроде "Выучите X за 10 минут". Не "перекусывайте", а съешьте "полноценный обед" — учебники, статьи, научные работы, руководства, глубинные материалы. Выделите 4 часа подряд. Не просто читайте — делайте заметки, перефразируйте, анализируйте, манипулируйте информацией, учитесь.

Как стать экспертом в чем-то:
1. Итеративно выполняйте конкретные проекты и осваивайте материал вглубь, изучая его по мере необходимости (не пытайтесь изучать всё подряд "снизу-вверх").
2. Преподавайте или пересказывайте всё, что изучили, своими словами.
3. Сравнивайте себя только с прошлой версией себя, а не с другими.


———

Он на 100% следует своему совету и делает топовый бесплатный образовательный контент:
* Глубокое погружение в LLM
* Как он сам использует LLMки

Ок, делюсь, как учусь я.

Никак, я туплю в ютуб, пока мозги не вытекут

Ладно, на самом деле я понял, что у меня аж три режима обучения:

1. Пассивный: лекционный – видосы на полтора-два часа или длинные статьи
2. Активный режим "копателя" 🫨 (с небольшим лайфхаком)
3. Супер-активный режим экспериментов (а тут будет скрытый оффер)

Сейчас раскрою чуть подробнее

Лекционный самый душный, зато получается достать знания, которые я в активном режиме бы даже не подумал искать.

Я не знаю, чего я не знаю (с) Стэтхэм

1. Слушаю лекцию, в идеале с кем-то

2. Ставлю на паузу после каждого большого блока (20-30 минут), обсуждем основные моменты (либо записываю, если один), а главное, пытаемся понять, а что не понятно (в паре сильно проще).

3. В конце собираю в один конспект (необязательно, чтобы он был супер структурированный, задача просто создать "крючки" для мозга)

Вот пример моего конспекта по лекции Сапольски из курса про поведение человеков

Почему я так в универе не делал, а? 🧐 Столько времени на лекциях впустую

Копатель – раньше работало только если есть шарящий друг/коллега, которого можно докапывать вопросами от общего к частному.

1. Сначала прошу объяснить что-то в общих чертах

2. Потом выбираю места, которые интересны или не понятны и закапываюсь вопросами в них.

3. Когда с какой-то "веткой" разобрался, иду в другую, пока мы не задолбаемся/посремся/поймем, что уже оба не понимаем.

Сейчас я постоянно делаю это с GPT, но с одним "хаком": вместо того, чтобы писать все вопросы в одном чате, я делаю после каждой законченной ветки делаю "шаг назад".

Как? Вместо того, чтобы писать новый вопрос в конца, я редактирую тот, с которого начинал предудущую ветку, как бы "подменяя" её новой.

Иначе контекст раздувается, и GPT отвечает фигню.

Эксперименты – пробою сам решать задачи, у которых не знаю решения. Когда экспериментирую в поисках решения, нахожу вопросы, а потом и ответы.

Только не понятно, а где и как искать эти практические задачи 🤷‍♂️

У меня выработался такой формат: я пытаюсь записывать все идеи, которые мне приходят в голову.

А потом выбираю те, которые попадают под мой интерес и которые можно сделать за один выходной (и потом еще половину рабочей недели допиливать вместо того чтобы работу работать, ага)

Еще часть задач приходит вот из этого поста, где я предлагаю бесплатно решать чужие проблемы:)

Есть еще всякие хакатоны или вот недавний RAG челлендж. Удобно, что задача уже как-то поставлена, но нет решения и пробуешь разное. В итоге уходишь с кучей инсайтов.

Тут особенно круто читать потом про чужие решения проблемы, в которую сам уже глубоко зарылся (уже в контексте, но и взгляд уже замылен)

Другие примеры, где я учусь на экспериментах: ведение канала, преподавание в универе, участие в переговорных чемпионатах, 4-месяца автостопа в Африке.

Короче, такая практика быстро подсвечивает мои слабые места и слепые зоны, при этом дает попробовать "починить" их прямо в моменте.

———

Заметил, что у меня режим "копателя" уже отъел большую часть лекционного. Любопытно, как это у других людей и как будет сейчас будет меняться образование

Я обычно не пишу "срочные новости" про новые фичи, потому что их и так все каналы постят. Но конкретно про эту фичу ни у кого почему-то не вижу, хотя у меня вся лента в "обновлениях от OpenAI"

Я уже радовался, когда они разрешили нативно сохранять и отсматривать все запросы. Но теперь они завезли полноценное Observability для сложных систем! Это такая моя персональная боль была. И уверен, не только моя.

(на скрине отдельно выделил поле, где показывает из каких "веток" был выбор)

Поломанные привычки

Среди подписчиков много кто живет на большой скорости. И сформированные привычки – каркас такой жизни.

Так вышло, что я успеваю пожить за год в 4-5 разных местах и на фоне этого заметил одну любопытную штуку, которую можно применять и без переездов:

Когда меняю локацию, приходится прям усиленно поддерживать привычную рутину. И не всегда получается. Например, когда прилетел в Чианг Май (Тай), я сломал себе режим сна и тренировок :(

Зато сильно проще формировать новые (и что еще важнее – ломать старые, которые мешают). Начал принимать ледяной душ по утрам, хотя до этого откладывал несколько месяцев (или лет?). И перестал стрематься писать про этот канал везде, где можно.

Но самым неожиданным было, что возвращаясь в старое место, старые привычки очень легко восстанавливаются. Я сейчас в Новосибирске у родителей и снова начал бегать по утрам, буквально на автомате – 0 преодоления.

Как я могу это применить без постоянных переездов? (обращаюсь сам к себе)

1. Меняй внешний контекст другими способами. Сделай перестановку в комнате, попробуй поработать в другом месте, да даже смени шмотки или имя. Ладно, че это я зачеркнул то, реально же работает – на английском я теперь представляюсь Нико и мне так стало сильно прикольнее чем дефолтный Ник или полное Nikolay

2. Пользуйся изменениями, которые и так подкидывает жизнь. Сменил работу – настрой уже ноут, чтобы пользоваться vim'ом хоткеями, которые давно откладывал. Расстался с партнером – ну теперь то точно пора в спортзал 🙃. Ну или хотя бы проходи по вечерам тот давно оплаченный курс, на который вечно "нет времени". Попал в новую команду – попробуй в этот раз не избегать конфликтов. Да даже купив новый телефон можно попытаться настроить все "по-нормальному" (если это не айфон).

Короче, эти стрессовые переходные периоды – на самом деле классные шансы для давно назревших изменений. Если их не проебывать:)

———

Ну и хочется не забывать возвращать себя в те контексты, где когда-то что-то хорошо работало. Вдруг оно все еще там?

Поймал себя на мысли: "Блин, я уже неделю ничего не писал, а там еще и много новых подписчиков. Надо ворваться с каким-то крутым постом"

Ага. С тех пор прошло еще 4 дня.

Еще и это тупое ощущение, что это обязательно должно быть "что-то профессиональное" и очень умное.

С чего я так вообще решил?

Я же наоборот верю, что в мире переизбытка информации, гораздо ценнее – аутентичность и посты про "подноготную". А читать про шаги в пути в разы полезнее, чем "инсайты" от итогов этого пути, которые в лучшем случае просто отправляются в сохраненки, где их больше никто не увидит.

Короче, это такое мое публичное снижение градусов серьезности.

Чтобы снова начать писать то, что и как мне интересно, а не то, что мне кажется, от меня кто-то ждет.

Всё. Я, похоже, наигрался.

Последние пару лет я прыгал между идеями, проектами, пивотами. Строил, тестировал, выкидывал. Писал посты, общался с пользователями, слушал фидбэк, снова всё менял.

Заебался.

Вчера утром сел, подумал — я же просто хочу тихо сидеть, писать бэкенд, получать зарплату и не париться.

Без лендингов. Без маркетинга. Без «а кому это вообще надо».

Открыл hh, нашёл вакансию.
«Яндекс. Бэкенд. Go/Python. Удалёнка.»
Отправил резюме. Через час уже созвонились. Зачлись мои предыдущие собесы с ними. В понедельник выхожу на онбординг.

…

А вообще, с 1 апреля, конечно.

Кстати пост выше – единственный на канале, написанный GPT.

Я добавил только предложение про предыдущие собесы. И убрал про кофе.

Как вышло, что я даже не стал редачить? Раньше меня не устраивало качество того, что пробовал генерить. Чем отличается этот раз?

А в этот раз я добавил в контекст выгрузку своих предыдущих постов за пол года. А потом еще и попросил проанализировать меня вот этим промптом. Еще пару расплывчатых запросов голосом и готово. Тут переписка.

А теперь ради чего я пишу этот пост:

Нельзя просто бездумно кидаться в GPT большими файлами!

По крайней мере, когда нужно показать ей весь контент.

Просто найти какой-то один кусок инфы – проблем нет. А вот если сделать какое-то саммари, выводы, связать разные части друг с другом, то все плохо.

Все дело в том, как GPT работает с файлами. На пальцах:

1. Файл разбивается на кусочки (с нахлестом)

2. Для каждого запроса пользователя ищутся похожие по смыслу кусочки (магия семантического поиска, нам тут не важно как она работает)

3. Кусочки помещаются в обычный запрос к GPT типа "используя эту инфу: {кусочки} ответь на изначальный вопрос: {вопрос}"

И вместо того, чтобы видеть весь файл, LLMка видит жалкие огрызки.

Но у меня же тут сработало?!

Я сам удивился. Изначально я вообще делал этот эксперимент с анализом личности по постам, как иллюстрацию, что это не работает. Радует привычка искать пруфы своим спекуляциям

Пришлось покопаться, чтобы найти объяснение. Оказывается, в работе чата все не так просто устроено.

Первые 110k токенов документа попадают в контекст целиком.

«И че?» для простых пользователей:

Если нужно, чтобы ИИ видел весь документ целиком, проверьте, что текст не превышает лимиты. Для пдф файла без картинок – смотрите, если он больше 1.5 МБ, это уже много.

«И че?» для ИИ разработчиков:

Даже сами OpenAI в своих продуктах не используют голый векторный поиск, а добавляют большие куски инфы напрямую в контекст. Берем пример.