Обучаем Камни
680 subscribers
337 photos
35 videos
7 files
158 links
AI, ML, CS, красноглазие, фотокарточки, и все околоайтишное к чему мы не имеем отношения и прочитали в интернете.

Автор в прошлом ML Tech Lead во ВКонтакте, ныне Staff Machine Learning Engineer & Lead в ARM и занимается ML компиляторами.
@lallapallooza
Download Telegram
В ChatGPT раскатили "Your Year with ChatGPT".

Делитесь в комментах что у кого.

upd. проекты не индекируются для итогов, только главные чаты. Нужен ВПН US, UK, Canada, New Zealand или Australia.
54
Геймдев ВСЕ!

В ютубе завезли вайбокинг своих игр. Оч надоело ждать норм интеграции для анрила или юните хотя бы каких то ЛЛМ'ок, все что есть полная хрень.

https://www.youtube.com/playablesbuilder/
😁33👍2🤯1
gpt5.2 любит грузинский.

Интересно когда пофиксят или это фича 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
😁9
Крутые изометрические схемы

https://stan-smith.github.io/FossFLOW/
6👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Кто в молодости не писал свой мл фреймворк у того нет сердца.

Дописал gpt.rs v0.1 - полный стек на Rust: с нуля свой IR, компилятор, оптимизатор, стриминг параметров, pluggable backends, C‑кодоген и тест‑харнесс. Все сделано по самым продвинутым архитектурным стандартам, никаких легаси решений из 2018.

Полностью вся своя инфраструктура 🤪.

Технические детали:

- PTIR: functionals валидируют входы и захватывают граф, бэкенды исполняют и фьюзят паттерны (#[ptir_pattern]).

- GraphArena + кэш планов + пайплайн оптимизаций (canonicalize/simplify/DCE/CSE) + backend‑хуки.

- Параметры: стабильные u128 id, ленивая загрузка из checkpoint через ParamSource.

- Бэкенды: ref‑cpu (интерпретатор), faer (фьюзит паттерны), C‑backend (PTIR → один C translation unit → shared lib; on‑disk cache).

- Рантайм: capability‑based runtime::load_model, CLI generate/forward, runtime overrides для functionals, KV‑cache для decode.

- Форматы: GPTRSCHK (checkpoint) и GPTRSTEN (tensor archive).

- Корректность: backend suite + 150+ Torch parity тестов, плюс Python‑бэйзлайны.

- Модели: GPT‑2 generation, ResNet34, MobileNetV2.

- Бенч: single‑thread C backend на Ryzen 9 9950X3D - GPT‑2 64 tokens 1.62x vs torch, ResNet34 1.06x.

- Решены все классические проблемы NHWC vs NCHW, префетч, lazy vs eager, JIT компиляция и кеш, рантайм бенчмарк реализаций и многое другое 🤪

Репо: https://github.com/Lallapallooza/gpt.rs

Поставьте звездочку 😳
Please open Telegram to view this post
VIEW IN TELEGRAM
17👍54
Всех с наступающим новым годом дамы и господа.

Спасибо что читаете канал, последнее время были сильно меньше сложных тех. постов.
Частично это связано что много времени заняли рабочие релизы, подготовки к собесам ну и разумеется gpt.rs поставьте звездочку!

В новом году обязательно продолжу развивать канал, ведь ваши эмодзики и репосты лучше любых зарплат. В комментах можете писать какие темы более интересны и буду делать на них больше акцента.

Всем спасибо, всех с праздниками!
11🎉6
This media is not supported in your browser
VIEW IN TELEGRAM
Хоть 1 причина почему через N лет, будет иметь смысл руками собирать ассеты для игр, а не делать трансфер нейронкой из кубов?

В этом канале еще больше таких видосов https://www.youtube.com/@Aillusory/videos.
😁5
Forwarded from Low Level ML
Почти год назад писал про свой небольшой опыт использования AI для написания кода. За этот год экосистема LLM сделала большой прогресс, появились полноценные и юзабельные LLM агенты, а я перестал быть AI-скептиком и покорился неизбежно наступающему будущему. Новогодние каникулы в этом году длинные, мозоли от весел на ладонях успели зажить, поэтому решил погрузиться в тему еще раз. В этот раз лень писать подробно и красиво, да и пишу по большей части для себя, чтобы вспомнить об этих наблюдениях еще через год, поэтому впечатления будут в формате тезисов.
Для контекста: кодил транспайлер TfLite моделей (да, я все еще живу в 2020) в C++ код, вызывающий XNNPACK, то есть и веса модели и граф задаются прямо в коде. Это позволяет сэкономить ROM, избавившись от жирного рантайма TfLite, но сохранив при этом прозводительность при инференсе на CPU (на прошлой работе делал аналогичный инсрумент для TfLite -> NNAPI, получилось неплохо). Может быть не слишком современно и вообще полезно, но зато это понятная и достаточно простая задача для бенчмарка. Чуть позже может быть выложу что получилось навайбкодить 😁.

1. Современные LLM агенты для кодинга дают большой прирост продуктивности, но есть нюансы.
Vibecoding is real, но качественный софт получается только если кодишь что-то, что и так смог бы сделать за какое-то адекватное время. Если знаний технологии и предметной области никаких нет, то в лучшем случае получится прототип на один раз. По ощущениям, агенты пока что думают и действуют довольно ограниченно - дизайн системы все равно должен определяться пользователем. Возможно, эти проблемы решаются более кропотливым и аккуратным промптингом, но это уже другой уровень трудозатрат.

2. За вайбкодинг в 2026 нужно дорого платить.
Использовал Claude Code CLI/Codex + spec-kit с Pro подписками, лимитов хватает на пару часов разработки. Дальше - подписки с ценой 100-200 баксов, что уже довольно существенно.

3. Локальные LLM для SWE агентов пока подходят плохо.
Если взять любую OSS LLM до 150B параметров и подключить ее к cline/Aider/OpenCode, то результат будет сомнительный, а ведь даже такие модели (тот же Qwen3-Coder-30B) далеко не все могут запустить дома или в контуре компании. Опять же, наверняка если запариться с промптами, то получится что-то выжать и из них, но не уверен, что не очень большой прирост КПД (если платные облачные дают условные x2-3, то тут дай бог x1.5 получится после недели настройки) + дорогое железо для локального деплоя этого стоит. Это накладывает очень серьезные ограничения на применимость LLM агентов в целом, потому что все-таки большая часть разработки, где важна скорость и стоимость - коммерческая, но не все компании могут позволить себе покупку enterprise облачных решений от Calude или OpenAI, по разным причинам, начиная от приватности и заканчивая санкциями.

4. Вайбкодинг порождает AI-slop (авторский перевод - ИИ-хрючево).
На момент написания поста в моем проекте поддержана транспиляция только FP32 моделей (а есть еще куча вариантов квантизации) с ограниченным набором операторов, нет тестового C++ проекта для проверки интеграции и нет тулинга для бенчмарков, но при этом написано уже 5k строк кода на Питоне, в которых я ваще хз что происходит, и есть некоторые признаки, что код мог бы быть как минимум раза в два короче. Кажется, что это системная проблема, над решением для которой умные люди уже наверняка думают, но вопрос качества и человечских трудозатрат на ревью этого хрючева пока остается открытым.

Резюме и прогнозов в этот раз не будет, но LLMки - круто, не знаю, как мы раньше без них жили 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
👍86
😁12🤔3
😁17👍4
Ура 🥳. Теперь могу мержить в LLVM оффициально.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍63👏1🎉1