4 День тестирую RustDesk

Флоу
Ноут запущен всегда и стоит дома
На телефон и ноут установлен RustDesk, так же настроен remote id(который стабилизирует скорость и качество отклика) это мой сервер развернутый в РУ облаке имеет сатик IP


В целом очень доволен такой связкой, (подписка не 200 макс) по этому ремоут потестить не могу


Из бонусов, голосовой ввод от клавиатуры IPhone

Завязал на этот ноут разработку одного сервиса (24/7 могу вкинуть идею и четко управлять сессией Claude Code, честно поражен насколько проработан интерфейс для мобилы)

Скажу я вам очень удобно и только так я выгребаю фулл лимиты!

Рубрика LLM Ops

Как и обещал в чатике выгружаю тесты qwen3.5-35b-a3b на своих 4090(48gb x2)


К станку

Как обычно взял FP16 и image: vllm/vllm-openai:nightly

      "--tensor-parallel-size", "2",
      "--enable-expert-parallel",
      "--data-parallel-size", "1",
      "--distributed-executor-backend", "mp",
      "--gpu-memory-utilization", "0.97",

Загрузка

qwen3.5-35b-a3b | (Worker pid=132) (Worker_TP0_EP0 pid=132) INFO 03-02 11:16:40 [gpu_worker.py:423] Available KV cache memory: 11.59 GiB
qwen3.5-35b-a3b | (EngineCore_DP0 pid=93) INFO 03-02 11:16:40 [kv_cache_utils.py:1314] GPU KV cache size: 303,072 tokens
qwen3.5-35b-a3b | (EngineCore_DP0 pid=93) INFO 03-02 11:16:40 [kv_cache_utils.py:1319] Maximum concurrency for 200,000 tokens per request: 5.96x

Работа по анализу ValeDesk в курсоре

qwen3.5-35b-a3b  | (APIServer pid=1) INFO 03-02 11:46:53 [loggers.py:259] Engine 000: Avg prompt throughput: 4376.5 tokens/s, Avg generation throughput: 68.0 tokens/s, Running: 1 reqs, Waiting: 0 reqs, GPU KV cache usage: 0.6%, Prefix cache hit rate: 0.0%, MM cache hit rate: 66.7%

Ризонинг в итоге вырубил настройкой пока что на инфренесне, так как это конечно тьма, на привет 1-2 минуты думает в формате ПТСР


Single request: 90-100 tok/s (короткий контекст), 37-43 tok/s (длинный 5-9K)
- Tool calling TTFT: 329-396 ms (45-65 т/c)
- Concurrent throughput: 57 tok/s (3 параллельных)
- Degradation на длинном контексте: скорость падает с ростом промпта (~100→24 tok/s на 9K)


Точность и качество работы скоро будет (разослал друзьям по цеху доступы на сервер)



Напомню бенчи, модель якобы обгоняет sonnet 4.5 в некоторых задачах и что бы поднять ее фулл на весь контекст хватает сервера на 900-1.2 млн

Соцсети доживают свой век

Всё чаще замечаю, что листать динамическую ленту на ютубе, в твиттере, инсте и тиктоке в последнее время становится невыносимо, cоцсети завалены низкокачественным нейроконтентом.

Заметная часть коротких видео это говорилка в стиле озвучивателя местности, треш на тему популярных киновселенных, песенки среднего качества, ожившие картинки и прочий ai slop разного пошиба.

Площадки, на которых доминируют текстовые сообщения, заполнены пресным и безэмоциональным текстовым нейрослопом, в котором авторы даже не стараются почистить текст, убрав из него клише, присущие нейросетям. Каждый второй пост это лонгриды, каждый первый пост раздутая вода на киселе. Да даже мемчиков новых почти не появляется, а то, что попадается на глаза, лишь переосмысление древних скрижалей.

Соцсети, в которых доминируют картинки, заполнены людьми с "идеальными" фигурами, "идеальными" снимками идеальных "отпусков", сгенерированных зверей, детей и так далее.

Это я к тому веду, что настоящего как будто ничего не осталось. Отсюда возникает вопрос, а нужны ли социальные сети в эпоху ai slop в принципе? Какой от них прок, если пока значительная часть, а скоро и вовсе почти вся, контента будет сгенерирована модельками? Для кого публикуется весь этот контент, для других нейросетей, а как же реклама? Заметен ли уже негативный экономический эффект от засилья нейрослопа?

Подводя итог, хочу сказать, что мне кажется, что соцсети в привычном нам виде уже почти изжили себя, если так дальше пойдёт дело, то скоро их ждёт закат, и мне очень любопытно, что будет дальше.

Kanban для управления кодовыми агентами

Самое интересное что только вчера обсуждали что openclaw не хватает канбан доски для командной работой над кодовыми агентами, и вот подход акторов на элексире

Гоу разбирать на части ребят!

OpenAI открыла "ДЕМКУ" оркестратор Symphony — платформу для построения сложных AI‑воркфлоу

Почему демка? Да потому что интеграция в Linear да и только, зато отличный пример как надо привлекать пользователей тратить токены подписки Codex CLI? =)

https://github.com/openai/symphony

Kovalskii варианты?

4 часа в режиме Ralph loop (шутка, я делал это руками)

Получилось на основе ValeDesk/OpenClaw/PiClaw/Topsha

Сделать LocalTaskClaw (да да основная идея взять кодовых агентов на локал моделях и засунуть из в среду Kanban моя идея не новая но может реализация вам понравится)

Что сделанно
Засунул их в апи канбана
Создал туда Оркестратора
И смотреть как все горит что они натворят если поставить им задачку наспавниться и решить что-то


Почти VibeKanban

https://github.com/vakovalskii/LocalTaskClaw

За что больше всего попотел так это за онбординг и простую установку из cli

curl -fsSL https://raw.githubusercontent.com/vakovalskii/LocalTaskClaw/main/install.sh | bash

При первых 2 вариантах за сохранность файлов не ручаюсь вообще никаких тестов не делал! =)

4 Mac Studio 512 gb RAM каждый

2TB памяти и возможность поднять Kimi K2.5?


В захлеб поглядел этот видос от NetworkChuck видос не новый но все же https://youtu.be/bFgTxr5yst0?si=MGyFe0Qak6-c0Yz3


Кстати соединили их через exo вот это я понимаю local openclaw

Ваши ставки сколько стоит?)

22 t/s кстати выдает

Обучаюсь UX/UI тонкостям, все больше концентрируюсь на анализе паттернов как делают все и как я бы считал удобно, запилил небольшое демо того как я вижу генерацию картинок и StoryBoard для раскадровки

В продолжение UI от предыдущего проекта создал быстрый прототип вокруг FLUX Klein 4b

https://leeloomina.neuraldeep.tech/

Будьте аккуратны с загрузкой фото, галерею видят все пользователя сайта

У него кстати открытое апи, нужное кому-то такое на GitHub?

Кто угадает какая ГПУ под капотом?)

Итак, завтра в 11.00 по МСК делаем первый комьюнити стрим в zoom, отвечаем на любые ваши вопросы.

Делаем его с Валерой @neuraldeep, держитесь братья 👊🏻👊🏻👊🏻

Лучше задавать вопросы про агентов - как их писать, на каких фреймворках (n8n спок), как вкатиться в AI, что изучать, какие видюшки покупать и что на них гонять/файнтюнить, какие нас ждут изменения в компаниях профессиях, как приготовиться к этому будущему и вот это всё.

Постараемся не флеймить и ответить на максимальное количество вопросов, это главный KPI. Так что думайте и тащите завтра))

Зум ссылка будет за 15 минут до эвента

Было

Начинаем звонок через 30 минут.

Кот обиделся после вчерашних комментов в чате и он грустит.

Поэтому мы организовали коту сбор на бусте где все деньги пойдут на поднятие ему настроения: https://boosty.to/aostrikov/donate

Пока тестируем связь и через полчаса начинаем.

Zoom: https://us06web.zoom.us/j/88296637775?pwd=Ec6oUzww9BKVklEaAL52AujqNJlOVq.1

Перед вами на столе так же raspberry pi 4 8gb

Пишем образ под малинку на 128гб карту

Дальше раскаиваемся picoclaw

Потом ему дам глазики через MaixCAM2 (уже едет ко мне) на первое время будет обынчая USB камера

Так же заказал мини колонку
Микрофон на usb
И откопал свой старый лидар для проектов


Суть в том что raspberry это готовый дев кит что бы дать ему
Микрофон
Камеру
Колеса?
Динамики

Поискав по репо я понял что такое еще пока никто не делал, буду пилить как пет проект
Дадим клешне доступ в этот мир

Как и говорил на стриме самая важная часть что бы у агента были логи, дописал для PicoClaw трейсы ReAct лупа в Langfuse кстати все с телефона навайбил через RustDesk


Теперь легко можно будет задавать вопросы по агентному циклу и не гадать что да как, тоже не видел что бы хоть один блогер настроил логи и трейсинг для своего openclaw