doing something
what does it mean to create training pipelines using Rust:
TUI for better progression
doing something
Теж завів собі OpenClaw бота для тестів Використав https://github.com/zeroclaw-labs/zeroclaw
ZeroClaw зараз активно розвивається і деякі його частини не так працюють як описано в документації.
Тому є сенс почекати поки вони не випустять v1.0
Ввечері ще протестую з Groq та AI Studio.
Підключив ZeroClaw як контейнери на пʼять моделей з NVIDIA NIM - в них працює стабільно, бо мульти-агенти наразі не підтримуються нативно як у OpenClaw.
Також, у проєкту за замовчуванням дуже затягнуті налаштування на безпеку, деякі речі треба ручками з налаштування прибирати.
Тому є сенс почекати поки вони не випустять v1.0
Ввечері ще протестую з Groq та AI Studio.
Підключив ZeroClaw як контейнери на пʼять моделей з NVIDIA NIM - в них працює стабільно, бо мульти-агенти наразі не підтримуються нативно як у OpenClaw.
Також, у проєкту за замовчуванням дуже затягнуті налаштування на безпеку, деякі речі треба ручками з налаштування прибирати.
doing something
Щось новеньке від Microsoft: після написання README файлів почалось отаке, і відповідно в GitHub видно що цей AI-асистент як со-автор. Маркетинг :/
Ідея "на виріст": зробити ембеддинг повного коду ядра Linux (C, Rust, Bash, ASM) для векторного пошуку та RAG-y.
Десь буде коштувати ~$120
Не такі і великі кошти на таку величезну кодову базу.
Код тут: https://github.com/BitingSnakes/kernel-embedding
Десь буде коштувати ~$120
Не такі і великі кошти на таку величезну кодову базу.
Код тут: https://github.com/BitingSnakes/kernel-embedding
doing something
ZeroClaw зараз активно розвивається і деякі його частини не так працюють як описано в документації. Тому є сенс почекати поки вони не випустять v1.0 Ввечері ще протестую з Groq та AI Studio. Підключив ZeroClaw як контейнери на пʼять моделей з NVIDIA…
Доречі, ZeroClaw це проєкт який роблять вайб-кодери тому можете на ньому подивитися як виглядає процес розробки.
Дуже великий попит і кількість Issues/Pull Requests.
Дуже великий попит і кількість Issues/Pull Requests.
doing something
Доречі, ZeroClaw це проєкт який роблять вайб-кодери тому можете на ньому подивитися як виглядає процес розробки. Дуже великий попит і кількість Issues/Pull Requests.
Звісно, не без очевидних помилок у менеджменті з комьюніті
😁2
Створив біндінги на FreeSWITCH — https://github.com/RustedBytes/fswtch — щоб розробляти модулі для цього софтсвітча на Rust
В прикладах можна побачити як їх використати.
#telecom
В прикладах можна побачити як їх використати.
#telecom
doing something
Створив біндінги на FreeSWITCH — https://github.com/RustedBytes/fswtch — щоб розробляти модулі для цього софтсвітча на Rust В прикладах можна побачити як їх використати. #telecom
Суттєво покращив API для створення модулів. Все завдяки макросам які в собі мають unsafe-виклики, але гарантують такий чистий API.
В самому репозиторії багато прикладів, можете їх подивитися.
#telecom
В самому репозиторії багато прикладів, можете їх подивитися.
#telecom
Forwarded from Менеджер Lobby X
Вітаємо!
Lobby X організовує івент «Країна інженерів» — це подія, спрямована на об’єднання інженерної спільноти задля підтримки оборонної сфери України.
Наша мета — зібрати фахівців, ідеї та ресурси, які можуть реально посилити технології на фронті.
Посилання на реєстрацію: https://miltech.thelobbyx.com.
Чекаємо Вас!
Lobby X організовує івент «Країна інженерів» — це подія, спрямована на об’єднання інженерної спільноти задля підтримки оборонної сфери України.
Наша мета — зібрати фахівців, ідеї та ресурси, які можуть реально посилити технології на фронті.
Посилання на реєстрацію: https://miltech.thelobbyx.com.
Чекаємо Вас!
Країна інженерів
❤1
Зробив для ZeroClaw агентів дашборду щоб було легше їх менеджити (аніж docker-compose використовувати).
Через те, що воно написане на Rust, можна їх десятками запускати: споживання пам'яті у них невелике.
Буду далі експериментувати з цими кластерами агентів.
#agents
Через те, що воно написане на Rust, можна їх десятками запускати: споживання пам'яті у них невелике.
Буду далі експериментувати з цими кластерами агентів.
#agents
❤1
doing something
https://github.com/pytgcalls/ntgcalls
Зробив для цього біндінги теж для Rust:
https://github.com/RustedBytes/ntgcalls-tdlib-rs
І додав tdlib-rs як шар для сигналінгу.
#telecom
https://github.com/RustedBytes/ntgcalls-tdlib-rs
І додав tdlib-rs як шар для сигналінгу.
#telecom
GitHub
GitHub - RustedBytes/ntgcalls-tdlib-rs: [WIP] Use Rust to join Telegram calls
[WIP] Use Rust to join Telegram calls. Contribute to RustedBytes/ntgcalls-tdlib-rs development by creating an account on GitHub.
❤1
Новий чат в мережі україномовних чатів по AI:
https://t.me/harness_engineering
Долучайтесь якщо займаєтесь вайб-кодингом та темою автоматичного програмування.
#ai
https://t.me/harness_engineering
Долучайтесь якщо займаєтесь вайб-кодингом та темою автоматичного програмування.
#ai
Telegram
harness engineering
Інженерія середовища — це проектування умов і інструментів, які забезпечують надійну роботу AI-агентів у складних автономних процесах.
doing something
Зробив для ZeroClaw агентів дашборду щоб було легше їх менеджити (аніж docker-compose використовувати). Через те, що воно написане на Rust, можна їх десятками запускати: споживання пам'яті у них невелике. Буду далі експериментувати з цими кластерами агентів.…
Попрацював над оптимізацією ZeroClaw щоб на одному невеликому сервері (за 5 доларів) можна було запустити сотню агентів
#agents
#agents
👍4
Forwarded from Dmytro Kushniruk
Повертаючись до бенчмарків. Більш розширених бенчмарків не робили але...
Latency особливо ніяк не змінилось, а от throughput виріс кардинально. Порівняно з попереднім рішенням на Triton приблизно в 10 разів. Rust надав можливість написати більш гнучкий batching у порівнянні з тим, що було реалізовано через ensemble pipeline.
З цікавого, використання jemalloc в пікових навантаженнях зменшило використання пам’яті контейнером з ~16 GB до ~4. Також, як виявилося, білд ONNX Runtime в ort скомпільований без підтримки Blackwell, довелося компілювати...
Лише перевівши одну модель, зекономили ~$1.4k/month на інфраструктурі. Одним словом, експеримент явно вийшов вдалим
Latency особливо ніяк не змінилось, а от throughput виріс кардинально. Порівняно з попереднім рішенням на Triton приблизно в 10 разів. Rust надав можливість написати більш гнучкий batching у порівнянні з тим, що було реалізовано через ensemble pipeline.
З цікавого, використання jemalloc в пікових навантаженнях зменшило використання пам’яті контейнером з ~16 GB до ~4. Також, як виявилося, білд ONNX Runtime в ort скомпільований без підтримки Blackwell, довелося компілювати...
Лише перевівши одну модель, зекономили ~$1.4k/month на інфраструктурі. Одним словом, експеримент явно вийшов вдалим
🔥1
doing something
Попрацював над оптимізацією ZeroClaw щоб на одному невеликому сервері (за 5 доларів) можна було запустити сотню агентів #agents
Додав функцію заморозки/розмороження контейнерів завдяки CRIU.
Прикольно бачити як агент продовжує тобі писати після того як ти розморозив його контейнер.
#agents
Прикольно бачити як агент продовжує тобі писати після того як ти розморозив його контейнер.
#agents
GitHub
GitHub - checkpoint-restore/criu: Checkpoint/Restore tool
Checkpoint/Restore tool. Contribute to checkpoint-restore/criu development by creating an account on GitHub.