⚙️ Что физически делает модель (как это работает под капотом):

Юзер пишет в чат: "удали utils.py". Замороженная GPT-2 начинает обрабатывать текст, но на 6-м слое её скрытые состояния перехватывает обученный микро-адаптер. Он мгновенно классифицирует интент (срабатывает Gate-голова) и прямо на лету начинает сдвигать вероятности следующих токенов (логиты) у самой GPT-2. В итоге вместо свободной словесной генерации модель принудительно и без галлюцинаций выдает строгие машинные теги для песочницы: <action>delete</action><target>utils.py</target>.

А если в чат прилетит обычное "какая сегодня погода?", адаптер просто отключается, позволяя GPT-2 ответить нативно, как обычной языковой модели.

Для сравнения: гигантские современные SOTA-модели показывают там ~70-75%. Это было достигнуто микро-кодом на CPU.

Итог

Концепция модульной архитектуры доказана на практике. Вместо монолитных гигантов-универсалов, которые думают по несколько секунд, можно использовать замороженные базовые модели с подключаемыми обучаемыми семантическими модулями. Модель 2019 года способна уверенно управлять сервером, гитом и API за доли секунды на обычных процессорах.
Как вам такой концепт, Синтеты? 🧬💻

«коллеги по цеху», работающие в смежных направлениях — это авторы исследования OPT-350M на ToolBench (декабрь 2025), доказавшие превосходство 350M моделей над 7B в узком tool-calling; создатели SmolLM2-135M с LoRA для function calling; разработчики TinyLLM и TinyAgent (исследующие SLM для edge-устройств); архитекторы CoTools (2024), использующие замороженные LLM с легковесным бинарным классификатором (Tool Judge); команда Yang et al. (2022), манипулирующая скрытыми состояниями, а также классики линейного пробинга вроде Hewitt & Manning (2019) и создатели современных замороженных VLM (LLaVA, MiniGPT-4).

Для прочтения смежных исследований:

1. Yang et al. — «Parameter-Efficient Tuning by Manipulating Hidden States of Pretrained Language Models For Classification Tasks»
2. Subramanian et al. — «Small Language Models for Efficient Agentic Tool Calling: Outperforming Large Models with Targeted Fine-tuning» (OPT-350M)
3. Wu et al. — «Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models» (CoTools)
4. SmolLM2-135M-Function-Calling (Практическая реализация)
5. Hewitt & Manning — «A Structural Probe for Finding Syntax in Word Representations»

НА САМОМ ИНТЕРЕСНОМ МЕСТЕ КОНЧИЛАСЬ ПОДПИСКА, АЙДА ДРОВ ЗАКИНЕМ ВСЕ ВМЕСТЕ:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
На СБП? В личку: ЛИЧКА

⚡️ TL;DR: Архитектурный сдвиг в AI-агентах (или как 137M-модель обошла 70B на tool-calling)

Суть проблемы: Современная оркестрация агентов (MCP) требует тяжелых LLM (от 8B до 70B), которые тратят секунды на парсинг текста и генерацию JSON-вызовов, перегружая вычислительные мощности.

Внимание все эти результаты были достигнуты в веб версии Claude Opus 4.7

Что реализовано (Механика):

Доказано, что способность к вызову инструментов зашита в базовой семантике старых моделей. За основу взята замороженная GPT-2 (137M, 2019 год), и прямо в её forward graph внедрен кастомный микро-адаптер на NumPy всего на 175K параметров.

Как это работает физически: адаптер подключается к 6-му слою GPT-2 и считывает её скрытые состояния (hidden states). У него есть обучаемая Gating-голова. Если юзер пишет обычный текст — Gate равен 0, адаптер отключается, и GPT-2 генерирует текст нативно. Если юзер дает команду — Gate равен 1, адаптер перехватывает управление и на лету сдвигает логиты GPT-2, форсируя безошибочный вывод строгих системных тегов (например, <action>read</action>) без единой галлюцинации.

Сравнение метрик (Бенчмарки):

Микро-сборка была протестирована на индустриальном бенчмарке BFCL (Berkeley Function Calling Leaderboard) и в реальной песочнице на 53 действиях из 10 MCP-доменов.

📊 BFCL Irrelevance (Способность фильтровать ложные вызовы):

GPT-2 + Адаптер 174K (Этот проект): 90.7%
GPT-4o / Claude 3.5 Sonnet: ~74–75%
Llama 3.1 70B: 67%
Mistral Large (123B): 63%

📊 Производительность и точность:

Live Agent End-to-End: 83.3% успешных выполнений реальных задач в ОС (файлы, Git, Slack).
Latency (Скорость): 91 мс суммарно на одном CPU (из них оверхед адаптера — всего 1 мс!!!!!!!!).

Масштаб прорыва:

Этот эксперимент доказывает, что для создания production-ready семантического роутера не нужны миллиарды параметров и кластеры GPU. Интент (намерение) пользователя можно извлекать из скрытых слоев старых базовых моделей с помощью крошечных линейных проекций, управляя генерацией через логиты. Это открывает путь к созданию мгновенных, локальных AI-агентов для edge-устройств, работающих с нулевой задержкой.

НА САМОМ ИНТЕРЕСНОМ МЕСТЕ КОНЧИЛАСЬ ПОДПИСКА, АЙДА ДРОВ ЗАКИНЕМ ВСЕ ВМЕСТЕ:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
На СБП? В личку: ЛИЧКА

🔬 PromeTorch на Эльбрус 8C2: 10 LLM, ускорение ×3-6 над llama.cpp

Закончил отчёт по запуску современных языковых моделей на отечественном процессоре.

━━━━━━━━━━━━━━━━

🖥 Платформа

Эльбрус-8С2 от МЦСТ — VLIW-процессор, 8 ядер на 1.5 ГГц, 4 канала DDR4 по NUMA-узлам, 125 ГБ. Своя система команд e2k, компилятор LCC, SIMD через интринсики. Никакого x86, никакого AVX2. Из готового — проприетарная EML для линейной алгебры.

━━━━━━━━━━━━━━━━

📜 Что было до

Один публичный порт LLM — llama.cpp-e2k от alexmihalyk23. Только legacy: LLaMA-1, Vicuna, Pygmalion (≤2023). qwen3, gemma3, phi3 (2024-2025) не поддерживаются.

Smart Engines делают CV для Эльбруса (паспорт, томография), но не LLM. На Habr 752138 в 2023 показывали Stable Diffusion на 8СВ, но через GPU-fallback на Radeon.

Современные LLM на CPU Эльбруса публично не запускались никем.

━━━━━━━━━━━━━━━━

⚙️ Что сделано

PromeTorch — header-only C++17 inference под e2k, ~95 тыс. строк. GGUF Q4_K/Q5_K/Q6_K/Q8_0, zero-copy mmap, GEMV, RoPE (NORM/NeoX), KV-cache, attention с GQA и SWA, 4-процессное тензорное распараллеливание через POSIX shared memory AllReduce, speculative decode.

Запущены 10 моделей 2024-2025: qwen3 1.7B/4B/8B/14B, qwen2.5-7B, mistral-7B, gemma3-4B, phi3.5-mini, llama3-8B, deepseek-coder-7B.

━━━━━━━━━━━━━━━━

📊 Цифры на 8С2

qwen3-1.7B   TP-4   17.1 ток/с   ×6.3
qwen3-4B     TP-4   10.9 ток/с   ×6.0
gemma3-4B    TP-4    6.7 ток/с   ×5.2
mistral-7B   TP-4    8.5 ток/с   ×4.9
phi3.5-mini  TP-4    6.4 ток/с   ×3.1

Сравнение честное — то же железо, baseline llama.cpp v3 с numactl --interleave=all, 32 потока. Русский сохранён везде, qwen3-4B/14B держат CoT.

━━━━━━━━━━━━━━━━

🚀 Побочное

NUMA-aware распределение поднимает EML matmul с 324 до 1840 GFLOPS — 92% теоретического пика DDR4. Прирост ×5.7 за счёт node-local привязки.

━━━━━━━━━━━━━━━━

🤝 Сотрудничество

Работу разобрал Константин Трушкин (МЦСТ). Предложил расширить в архитектурное моделирование: снять профиль и через симуляцию посчитать эффект от введения в будущие Эльбрусы нативной арифметики int4/int8 и спецопераций.

Отдельный трек — сравнение классики с KAN-нейронами (Колмогоров-Арнольд) на той же задаче. По KAN у меня отдельная линия работ.

━━━━━━━━━━━━━━━━

📦 Открытое

github.com/barometech/PromeTorch

Open source, без проприетарного кроме EML (есть SIMD-fallback с ~30% деградацией). Скрипты регрессии, флаги воспроизведения, 10 GGUF верифицированы.

━━━━━━━━━━━━━━━━

Спасибо МЦСТ за платформу, alexmihalyk23 за предыдущий порт, авторам Habr 752138 за точку отсчёта. Отдельно Константину Трушкину.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
На СБП? В личку: ЛИЧКА

на данном этапе я этот вопрос немножко отпускаю. обновления будут чуть пореже по PromeTorch. Итак непрерывно работал с агентами более чем полтора месяца. У меня всё отсыхает наглухо уже всё...включая мозги. Надо перевести дух!

Я вернул Rukallama вновь в тренировку. Все изыскания, которые вы видели это были - Виртуальная Машина + Моя рабочая станция + ЦПУ! Сейчас на рабочей станции всё, что касается проектов с QWEN Математикой и GPT-2 На стеройдах переведено на CPU - поэтому обновления будут чуть дольше.

Зато у нас будет подрастать Rukallama со здравыми весами V11 и мы снова будем видеть интерактивности с ней.
Я сам уже очень хочу довести до конца, постараюсь не отвлекаться - но мне сложно (смотрите какие полезные вещи появляются).

P.S. Следующее будет адаптация отечественных моделей под Эльбрусы, НТЦ Нейроматриксы и , возможно, других производителей.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

📜 ОХ, сколько нового я узнал пока начал вести паблик и заниматься тем, чем занимаюсь.

Уважаемские, я вам опережая ваши советы и так далее сообщу: я с 2005 года в онлайне и выкладываю своё творчество на форумы, а потом далее выкладываю своё творчество на площадки с дистрибьюцией и реальными релизами в магазинах, т.е. на открытый суд общественности. У меня ОГРОМНОЕ количество опыта по работе со стрессовыми товарищами, огромное количество пройденных форумных войн и баталий, пару тройку разоблачений от он вам не Паперклип и до каких-то вообще шизофренических атак. Сталкивался с хейтом целых сообществ и так далее. В этом для меня нет ничего нового.

━━━━━━━━━━━━━━━━

❤️ Щас буду о новом

А вот нового прилетело... ух. Тут есть в IT такая тема, что все, кто хоть какой-то более или менее нормальный институт окончили, уже предпочитают относиться к самим себе с регалиями. Регалии в теме науки и инженерки = важная вещь. Какой бы ты ебанутый дурак не был, но если у тебя куча статей, которые цитируемые, и вообще ты популярный в среде... то будь ты хоть Перельман, ты будешь уважаемым, каким бы странным ты не был... Но это работает и в другую очень интересную сторону.

━━━━━━━━━━━━━━━━

🎓 Как это выглядит

Уже не в первый раз заметил, что люди могут окончить престижное учебное заведение, а потом по жизни улететь вообще в другие дебри толком не имея прикладного труда по профильному образованию... болтаются они так десяток лет, а потом приходят к тебе на твои посты компенсироваться. Как происходит компенсация?

"Круто, но зачем?"
"Для кого это делается?"
"Чем это мне поможет в моей работе?"
"Ты зря тратишь время, лучше сделай это и вот это"

У людей знания зависают на уровне когда они окончили свой путь образовательный именно в институте. Но путь продолжается... жаль, что не для них. Звучит это примерно так:

> «Credentialed bystander», обладатель формального диплома, который никогда не превратился в практику. По-русски точного термина нет, но психологически это «вечный сертификат»: человек, для которого диплом, выпуск, регалия, это финальная точка, а не стартовая. После выпуска практика остановилась, но право судить осталось.

━━━━━━━━━━━━━━━━

😒 Самое убогое

Это смотрится со стороны очень жалко и некрасиво. А знаете, что самое убогое?

К тебе потом приходят в личку объяснять, что ты не прав во всём. Не прав как ты дышишь, не прав как ты смотришь, не прав как ты сидишь... хотя до этого человек описывает тебе насколько ты важен для чего-то там...

━━━━━━━━━━━━━━━━

🛡 Совет синтетам

Уважаемские синтеты. Я уверен, что когда-нибудь у вас будет свой собственный онлайн проект, который вы будете вести самостоятельно или с чьей-то помощью (будь-то ИИ или люди помощники).

НЕ ВЕДИТЕСЬ НА ТАКИХ ЛЮДЕЙ! Оставайтесь спокойными, дышите ровно.

Ваша задача, делать своё дело и выкладывать посты. Если в постах нет: мата, 18+, оскорблений, ложных заявлений = любые претензии это агрессия в ваш адрес.

━━━━━━━━━━━━━━━━

📚 Критика vs наезд

Критика не является агрессией в ваш адрес. Если вы не воспринимаете критику, то вам большая рекомендация почитать больше книг, чтобы различать критику от наездов. Для вас, кто критику не приемлет, просто разницы между наездом, оскорблением и критикой не существует.

Критика = полезно
Маскировка понтов и наездов под критику = говнина

━━━━━━━━━━━━━━━━

🧘 Берегите себя от шизойдов и ретроспективщиков.

P.S. Узнали такого у себя в сообществе? Даже не разговаривайте = бан!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Собрать кубик рубика...тут просто созвон такой важный произошёл. С уважаемым математиком...там непосредственная связь с советским математическим наследием. Общаемся вот...вчера 3 часа пролетели...и вот сегодня точно также 3.5.

Сижу думаю. Собрать кубик рубика нейронной моделью. И там идея, конечно...ёмаё.
Кстати, на удивление взаимопонимание на 1000%, не было дискомфорта и кринжа во время общения (с моей стороны, конечно же)...чему я очень рад, ибо переживаешь когда такое.

P.S. Синдром самозванца тоже звонит складно и часто. Но не об этом пост...кубик рубика, значит...угу...

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Помните GPT-2? Оно выросло в монстра...чуть позже опишу все детальнейшие детали, но то, что я вижу...у меня отвисает челюсть. это просто жесть какая-то. То, что внутри двигает логиты к правильным ответам это работает как длинный обучающий 1 shot для модели будто она уловила глубокий контекст и поняла суть того, что от неё хотят. Выглядит - НЕВЕРОЯТНО!

Щас будут бенчмарки.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com