Ещё бы блядский Mellanox заработал, хз как заставить его пахать
Чёт заметил, что китайских моделей от мелких лабораторий развелось прям очень много, правда все выглядят как очень глубокий Файн тюн архитектуры Qwen. Причем формат от 2B до 9B.
Возможно, братушки китайцы прицелились в попытку запускать модели локально на смартфонах, благо кодовая база таких проектов растет.
Возможно, братушки китайцы прицелились в попытку запускать модели локально на смартфонах, благо кодовая база таких проектов растет.
Мы же, в свою очередь, все ещё пытаемся реанимировать наш проект по собственной LLM.
Сейчас, вынужденно, так как ограничены по сути все ресурсы, что аппаратные, что программные (у нас буквально дефицит собственных программных компонентов для обучения и формирования экосистемы),, что человеческие, приходится откатываться к архитектурам уровня GPT-3 с доработками.
Это печально. Печально настолько, что начали писать собственные системы для оптимизации инференса на амд видюхах...
Сейчас, вынужденно, так как ограничены по сути все ресурсы, что аппаратные, что программные (у нас буквально дефицит собственных программных компонентов для обучения и формирования экосистемы),, что человеческие, приходится откатываться к архитектурам уровня GPT-3 с доработками.
Это печально. Печально настолько, что начали писать собственные системы для оптимизации инференса на амд видюхах...
https://mimo.xiaomi.com/rl/
Из прикольного: Xiaomi транслирует метрики обучения своей новой модели в реальном времени. Забавное
Из прикольного: Xiaomi транслирует метрики обучения своей новой модели в реальном времени. Забавное
Xiaomi
mimo-v2.6 RL
Training metrics of the mimo-v2.6-pro and mimo-v2.6-flash reinforcement-learning runs, live from the trainer's logs.
Бля, мужики, если я бусти ебану и начну пилить стартап для своих ИИ проектов, на содержание той же либы и написания дров под амд, но без корпоративной хуйни, это же гиблое дело, да?
🔥2
Чёт под вечер накрыло вдохновение, задачка попалась интересная: конкуренты по продукту делают аватара, что то типо витубера для бабушек, который будет с ними взаимодействовать.
Вся эта ебала у них без LLM-мозгов весит уже под 100 гигов, отчего я малясь прихуел и пошел разбираться.
Пришел вот к чему:
Простой чат бот с памятью - норм, получился, ряд хот пачтей закрыл низкий уровень реколла, он моментами с 99% падал до 69%.
Но, аватар это несколько новый уровень упоротости, я стал сидеть и прикидывать, как бы мне это сделать, но чтобы не жрать память двух спарков. Нашел:
Выдернул 3D Studio из Web OS, там фактически готовый движок для дерево.жаваскрипт, взял three-vrm, опенсорс слой для вывода моделек и включил его как слой в движок.
Почему просто не взять three-vrm? Да все просто, opencode с дипсиком не умеет смотреть на экран монитора, что требует заебываться и вечно смотреть в экран.
Что даёт движок? Агентский слой, сцену агент выставляет через протокол, json схема сцены формируется текстом, а вот глянуть всю сцену - чуть сложнее, png скрин попиксельно преобразуется и передается в модель, что буквально даёт глаза, но стоит дорого.
Что получу в итоге? Я могу агентами собирать сцену по описанию и не тратить 6 недельных лимитов астры. Прикольно? Прикольно
Вся эта ебала у них без LLM-мозгов весит уже под 100 гигов, отчего я малясь прихуел и пошел разбираться.
Пришел вот к чему:
Простой чат бот с памятью - норм, получился, ряд хот пачтей закрыл низкий уровень реколла, он моментами с 99% падал до 69%.
Но, аватар это несколько новый уровень упоротости, я стал сидеть и прикидывать, как бы мне это сделать, но чтобы не жрать память двух спарков. Нашел:
Выдернул 3D Studio из Web OS, там фактически готовый движок для дерево.жаваскрипт, взял three-vrm, опенсорс слой для вывода моделек и включил его как слой в движок.
Почему просто не взять three-vrm? Да все просто, opencode с дипсиком не умеет смотреть на экран монитора, что требует заебываться и вечно смотреть в экран.
Что даёт движок? Агентский слой, сцену агент выставляет через протокол, json схема сцены формируется текстом, а вот глянуть всю сцену - чуть сложнее, png скрин попиксельно преобразуется и передается в модель, что буквально даёт глаза, но стоит дорого.
Что получу в итоге? Я могу агентами собирать сцену по описанию и не тратить 6 недельных лимитов астры. Прикольно? Прикольно
Ебал я в рот ваше вдохновение, на работе навалили столько говна, что хоть стой, хоть в петлю лезь
💔2
Окей, учитывая, что все возможные лимиты были выжраны со всего, что у меня было, время подписки гугл ai pro себя оправдать, тестим gemini 3.8, который говорят уже 4, кароч посмотрим
Заметки беснующегося разработчика
Коннектору быть, попозже поясню нахуя, а главное зачем
Очень интересные результатики получились:
В чем суть:
Как вы знаете, моя либа заботится о том, что пойдет в контекст. Штуки, которая может не только выжать контекст, но и дать правила для агента, которые обычно кладут в clauderules, не было, а такие папочки имеют проблему - модели с удовольствием через 30 ответов забью\обойдут правила.
Олег создал vibevm - это как npm, только для промптов. Я, с разрешения Олега написал коннектор к его системе, который позволяет жестко лимитить контекст + докидывать правила-промпты vibevm.
Qwen3:8b - модель которая правила игнорирует даже на 1 сообщении спокойно всосала в себя спецификации и скиллы, выдала корректную генерацию.
Возможно, как доведу коннектор полностью, пока он в альфа-версии, будет прикольно.
Ну и наконец то можно будет писать свои уздечки для агентов на работе, прям имбово
В чем суть:
Как вы знаете, моя либа заботится о том, что пойдет в контекст. Штуки, которая может не только выжать контекст, но и дать правила для агента, которые обычно кладут в clauderules, не было, а такие папочки имеют проблему - модели с удовольствием через 30 ответов забью\обойдут правила.
Олег создал vibevm - это как npm, только для промптов. Я, с разрешения Олега написал коннектор к его системе, который позволяет жестко лимитить контекст + докидывать правила-промпты vibevm.
Qwen3:8b - модель которая правила игнорирует даже на 1 сообщении спокойно всосала в себя спецификации и скиллы, выдала корректную генерацию.
Возможно, как доведу коннектор полностью, пока он в альфа-версии, будет прикольно.
Ну и наконец то можно будет писать свои уздечки для агентов на работе, прям имбово
Заметки беснующегося разработчика
Чёт под вечер накрыло вдохновение, задачка попалась интересная: конкуренты по продукту делают аватара, что то типо витубера для бабушек, который будет с ними взаимодействовать. Вся эта ебала у них без LLM-мозгов весит уже под 100 гигов, отчего я малясь прихуел…
Чуть чуть отдельных кадров с движка
Media is too big
VIEW IN TELEGRAM
Первый промо-ролик.
Да, с багами, артефактами, но что вы мне сделаете.
Да, с багами, артефактами, но что вы мне сделаете.
❤2