Yaaaay! It begins 🤫🥰

Доступны консультации и менторинг ⤵️


помогаю инженерам и командам внедрять ai в бэкенд и процессы

Все мои ссылки: links.ivanzakutnii.com

разбираем конкретные боли:
• как внедрить llm в существующий backend и бизнес
• архитектура ai-сервисов
• производительность и стоимость
• безопасность инференса
• качество и наблюдаемость
• инфраструктура и mlops

форматы работы:
• разовая консультация — 60–90 минут: быстрый разбор, приоритеты, чёткие следующие шаги.
• проектная консультация и работа над проектом — архитектура, разработка/ревью кода и промптов, hands-on, запуск системы.
• индивидуальное менторство — гибкий формат с созвонами и async-поддержкой.

работаю системно: после меня остаются модели, чеклисты, шаблоны, промпт-карты и тесты, которые вы поддерживаете дальше сами.

если понимаю что не смогу помочь качественно: честно скажу на первичном знакомстве и порекомендую подходящего специалиста.

как записаться:
Пишите в tg @m0n0x41d с пометкой «консультация» + 3 строки: стек → цель → где болит

Все ссылки: links.ivanzakutnii.com

⸻

темы этого канала:
— архитектура и паттерны ai-систем
— системное моделирование
— разбор инструментов и технологий
— практики внедрения
— вайб разработка и вайб проектирование
— только важные новости

Здесь категорический минимум шума;

программная инженерия, мемы, оффтоп и личное тут — @ivanshiddenlayer.

избранные посты и лонгриды:
— почему augmented, а не artificial? 📝

обратная связь по каналу:
Яндекс-Форма
Google-Форма (eng).

Есть предложение.
Если вы хоть сколько нибудь занимаетесь персональным брендом в айтишке, то скорее всего у вас есть LinkedIn.

Я совсем недавно узнал про так называемый Social Selling Index в линке (Привет Китай 🇨🇳 И Nosedive)

Так вот, этот долбанный рейтинг по всей видимости нифигов так влияет на ваши показы в поиске и прочем.

Узнал я кстати про него от Назарова (видос про валютные удаленки. И это не реклама), и за прошедшие пару недель поднял с 20 до 49, и планирую добивать до 60 хотя бы.

Как поднять SSI? Ну, например заполнить профиль в линкедине, МАКСИМАЛЬНО, образование, опыт работы, всякие полезные и бесполезные сертификатики, и прочее прочее. Надо лайкать посты, хотя бы иногда, и хотя бы иногда репостить / комментить.

Еще, обязательно нужна куча connections, не follow подписок, а прям connections с профильными инженерами, продактами и прочими айтишными приятелями.

Все вышеперичислинное фармится достаточно просто, особенно хорошо виляет на SSI (по личным наблюденяим) коннекты с прям крутыми дядьками, по тику Кента Бека.

Так воооот, а recommendations нафармить - сложнее, чем я вам и предлагаю заняться.

1) Заполните опыт в линкидине если по какой то причине его не заполнили
2) Пишите рекоммендаху мне, а я напишу вам ответ (Скриньте)

Как писать рекоммендаху? Самое адекватное выглядит "... worked with you but at different companies" и выбирайте любое место работы.

Это со стороны выглядит как просто консалтинг 🤷‍♀️

Позицию может выбирать любую, а сам текст рекоммендахи... ну например сгенерить LLM и попроавить, чтобы совсем по ублюдски не выглядело. Можно посмотреть на остальне 3 мои рекоммендахи (они честно добытые!!!) и вдохновиться / вдохновить LLM ими.

P.S. Нет, не стремно
P.P.S. Всем пофиг и никто нас не оттрейсит, а кто будет по рекомменадахам туда сюда ходить - нам не товарищ де факто!

Новый пост на сабстаке.
Рассуждаю про open–closed principle.

Элитно, на русском вот ссылка на телеграф.
Жаление читателя закон 🥰

На сабстаке есть картинка с кодом.

Очень конечно болезненно переживаются альтернативно одаренные блог площадки которые не поддерживают маркдаун, это что вообще такое? 🤬

Ну, на сабстак я забивать не буду. во-первых я им денег заплатил за домен, во-вторых - считается в народе довольно ценным иметь список почт подписчиков, и вроде разумно.

Спасибо за внимание.

Харпер классный мужик.
Никогда не слышал о нем и не читал.

Вот линк на его блогпост который в линкедине расхвалил Мартин Фаулер 😱

Харпер описывает свой воркфлоу по разработке программных продуктов.

Оставим в стороне на сей раз мои душные миллениалские негодования – чувак говорит дело 🚨

Если вкратце – сначала просим ллм нас итеративно опросить, чтобы собрать список проектных требований.

Потом просим сварганить подробную спецификацию для разработчика - с ТДД или без (лучше конечно с ним).

Потом эту спеку мы кормим штуке вроде курсора.

В целом подход хорош тем, что он системный. Харпер например упоминает что очень хорошо просить ллм сгенерировать чеклист тудушек, а чеклисты «многому голова» по Левенчуку :)

Я признаюсь, использовал менее системный подход, и обязательно попробую рекомендации Харпера в деле.

Разве что поправлю промпты, попрошу не просто ТДД чеклист, а внедрю степ на котором попытаюсь с ЛЛМ спроектировать систему хотя бы как то по ООАП кананоам.

Читайте!

Крутые чуваки из Стэнфорда продолжают арку "Давайте подружим LLM-ки!"

В целом, конечно задумка очень хорошая, и человечество рано или поздно придет к какому то крутому решению благодаря синергии наработанных исследований, как это обычно и бывает.

Что у меня вызывает вопросы, это то что они пришли опять к подходу когда "большая и умная, дорогая модель в облаке" генерирует куски кода, которые "локальные и маленькие, дешевые и более глупые" Миньоны выполняют, например на данных из PDF документов, и отдают результаты большой модели для генерации ответа ❓

Направление круто, но как же сильно это все еще пахнет ужасающим недетерминизмом.

1️⃣ Во-первых, со стороны пользователя - что с безопасностью? Какими средствами и в каких средах эти модели будут запускаться локально? В Ollama? Окей. Доверяем ли мы коду который генерирует LLM?

Абсолютно не доверяем. Я - не доверяю.

Не смотря на все прелести в ускорении работы, ускорению мышления (людского) с помощью всяких прекрасных моделей вроде Claude - мне не верится что в ближайшее время такие "протоколы" будут жизнеспособны и адаптированы хоть сколько нибудь массово. По крайней мере с текущим базисом.

Сейчас более верится в разработку более конкретного продукта, с локально запущенными моделями, которые четко "понимают" свою ответственность и возможности (tool-calls?), "переваривают" запрос пользователя (потенциально понимая запрос лучше чем сам пользователь) и далее по необходимости с обращением в LLM, например для предсказания итогового ответа - ну... звучит интересно! Очень даже!

2️⃣ Во-вторых, со стороны разработчика такой системы - как это вообще отлаживать? Оправдана ли сложность такой недетерминированной системы? Тут я разглагольствовать не буду, ибо кажется очевидным.

Чем больше копать сюда, тем больше возникает совершенно прикладных проблем, которые, имхо, лучше решать знакомыми и проверенными способами.

3️⃣ В-третьих, попытка общаться даже маленькими кусками кода, имею в виду не tool-calls, а как в работе выше предлагают - это уже какая никакая, но минимальная инженерия. Инженерия которая требует аналитического мышления при первых же проблемках. К такок инженерии LLM совершенно не готовы.

Поймите меня правильно, даже Cursor с последним обновлением, когда в цикле пытается "анализировать" предыдущие результаты - выдает подчас полную хрень.

Он может предложить вам удалить миграции, просто в тупую - "А давай перегенерируем!" Или откровенно галлюцинировать методами / классами из импортированных библиотек, которых там нет и отродясь не было.

У Cursor сейчас появилась возможность предлагать пользователю вызвать команду в директории проекта (в терминале) и работать дальше с ответом этой команды.

Результат такой же.

Анализ Ошибок работает так же – часто и с простыми ошибками, аннотациями типов и прочим Cursor может справиться вполне хорошо, но как только мы сталкиваемся с дебагом проблемы хоть сколько нибудь более сложного порядка, где нужно проверить 2-3 зависимости - оно утыкается в стекляный потолок своих "когнитивных возможностей".

А это, на секундочку, очень классный 3.7 с "thinking" 🤪

Тем не менее, это все очень классные штуки! Они чертовски помогают ускорять работу! Но анализировать, хоть сколько нибудь __логически__ думать LLM не может.

***

Весь "thinking" который мы наблюдаем в современных LLM, это отчаянная попытка, заслуживающая уважения попытка, заставить LLM как то генерировать "промежуточные токены" при решении поставленной задачи.

Первые попытки (те которые мы сейчас наблюдаем) - промежуточного рассуждения на естественном, человеческом языке - разбиваются как мы видим дребезги на задачках требущих рассуждения уровня junior+

Сейчас это известно как проблема токенизации - Для LLM рассуждения на наших языках ограничены дискретностью токенов, которые они формируют.

Из чего естественно получается что квантование пространства смысла решаемой задачи происходит в этих самых токенах - туда где совпала температура, туда и "падаем".

В настоящем, человеческом анализе логика и рассуждения так не работают. Ассоциативные связи не настолько примитивны.

В этом свете мне более интересными кажутся следующие две работы:

🤖 DroidSpeak

Large Language Models (LLMs) are increasingly employed in complex workflows, where different LLMs and fine-tuned variants collaboratively address complex tasks. However, these systems face significant inefficiencies due to redundant context processing of the shared context. We propose DroidSpeak, a framework that optimizes context sharing between fine-tuned LLMs derived from the same foundational model. DroidSpeak identifies critical layers in the KV cache and selectively recomputes them, enabling effective reuse of intermediate data while maintaining high accuracy. Our approach balances computational efficiency and task fidelity, significantly reducing inference latency and throughput bottlenecks. Experiments on diverse datasets and model pairs demonstrate that DroidSpeak achieves up to 3x higher throughputs and 2.6x faster prefill times with negligible accuracy loss compared to full recomputation.

👩‍💻 Byte Latent Transformers

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented dynamically based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first flop controlled scaling study of byte-level models up to 8B parameters with 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed-vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.

TL;DR:

DroidSpeak - делаем так чтобы модели общались между собой без токенизации; Byte Latent Transformers - тоже про отказ от токенов, в пользу байтовых представлений.

Оба этих подхода создают более "адекватное" пространство для рассуждений моделей, менее прерывное пространство - избавились от токенов и "думаем" непрерывными векторами!

В дополнение к этому, продолжать обучать модели на мейнстримных кодовых базах с крудами и прочем, как показывает практика - качество и генерируемого кода, и "мышления" LLM модели не увеличивает вообще.

С другой стороны - обучать модели логическому программированию на языке вроде Prolog выглядит очень и очень перспективно.

Хочется верить, что эти направления будут добиты, на загнутся, и революционно выстрелят в бурной синергии.

И верится в это - без особого труда.

***

P.S.

Удивительно, но ни один из каналов в телеграмме посвещенных ML или около того не написал вообще ничего про DroidSpeak (Byte Latent я не чекал, но скорее всего история таже). И большие (30, 50, 60к подписчиков) и маленькие, узко специализированные блоггеры.

Ну и в целом в Рунете всего ничего изданий об этом написало.

Да, я прошу поделиться с друзьями инженерами, кому это может быть хоть сколько нибудь интересно 🙂