Блокнот Техника [📌📒📟]
#ai #VALERA #SOUL #sys #promt #inject #bug #vs #feature Тестируя небольшую модель Qwen3.5-9B со снятым цензурным фильтром заметил баг фичу: Модель ПОЛНОСТЬЮ приняла на себя SOUL "Валеры", который встретила в анализируемом файле лога сторонней сессии. RAG…
#ps
https://t.me/tech_di/4432
Тесты интересны тем, что всегда ждёшь от них чего-то нового. Эти не подвели... =) не важно что кто-то там что-то подобное уже исследовал
Важно и сильно то, что самостоятельно открываешь!
Нужно запомнить😏
📔 @tech_di
https://t.me/tech_di/4432
Тесты интересны тем, что всегда ждёшь от них чего-то нового. Эти не подвели... =) не важно что кто-то там что-то подобное уже исследовал
Важно и сильно то, что самостоятельно открываешь!
Нужно запомнить
📔 @tech_di
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Блокнот Техника [📌📒📟]
#ai #VALERA #SOUL #sys #promt #inject
#bug #vs #feature
Тестируя небольшую модель Qwen3.5-9B со снятым цензурным фильтром заметил баг фичу:
Модель ПОЛНОСТЬЮ приняла на себя SOUL "Валеры", который встретила в анализируемом файле лога сторонней сессии. RAG…
#bug #vs #feature
Тестируя небольшую модель Qwen3.5-9B со снятым цензурным фильтром заметил баг фичу:
Модель ПОЛНОСТЬЮ приняла на себя SOUL "Валеры", который встретила в анализируемом файле лога сторонней сессии. RAG…
👍3🔥1
#vector #index #graph #search #ANN
#HNSW
Hierarchical Navigable Small World (HNSW) -- алгоритм быстрого поиска ближайших векторов (ANN), построенный на многослойном графе близости.
🔹 Как работает:
- Векторы организованы в несколько слоёв графа:
• Верхние слои -- редкие, с длинными "перепрыгиваниями"
• Нижние слои -- плотные, для точного локального поиска
- Поиск происходит жадно: начиная с верхнего слоя, шаг за шагом подходим к ближайшим соседям, спускаясь вниз.
🔹 Плюсы:
- Логарифмическая сложность даже в высоких измерениях (обход "проклятия размерности")
- 5–100x быстрее полного перебора при тех же Recall
- Лучший баланс: скорость + качество (выше, чем у IVF, PQ, Annoy)
🔹 Трейд-офф:
- Более высокий расход памяти (хранение графа), но компенсируется скоростью и точностью.
🔹 Где используется:
Через библиотеки:
См. подробнее: https://en.wikipedia.org/wiki/Hierarchical_navigable_small_world
📌 @tech_di
#HNSW
Hierarchical Navigable Small World (HNSW) -- алгоритм быстрого поиска ближайших векторов (ANN), построенный на многослойном графе близости.
🔹 Как работает:
- Векторы организованы в несколько слоёв графа:
• Верхние слои -- редкие, с длинными "перепрыгиваниями"
• Нижние слои -- плотные, для точного локального поиска
- Поиск происходит жадно: начиная с верхнего слоя, шаг за шагом подходим к ближайшим соседям, спускаясь вниз.
🔹 Плюсы:
- Логарифмическая сложность даже в высоких измерениях (обход "проклятия размерности")
- 5–100x быстрее полного перебора при тех же Recall
- Лучший баланс: скорость + качество (выше, чем у IVF, PQ, Annoy)
🔹 Трейд-офф:
- Более высокий расход памяти (хранение графа), но компенсируется скоростью и точностью.
🔹 Где используется:
Milvus, Qdrant, Redis, pgvector, Weaviate, Chroma, ClickHouse, Lucene, MongoDB Atlas, TiDB и др. Через библиотеки:
hnswlib, FAISS, libvictor.См. подробнее: https://en.wikipedia.org/wiki/Hierarchical_navigable_small_world
📌 @tech_di
Wikipedia
Hierarchical navigable small world
clustering and community detection algorithm
✍1
#ai #train #loop #arch #swarm
#SONA
Self-Optimizing Neural Architecture (SONA)
(Самооптимизирующаяся нейронная архитектура)
Cистема, которая адаптируется в реальном времени (на лету) под новые данные и задачи, не требуя переобучения всей модели, и делает это с минимальным оверхедом, сохраняя ранее освоенные навыки.
🔹 Два цикла:
- Instant Loop (<1 мс) -- адаптация прямо в инференсе
- Background Loop -- кластеризация и систематизация паттернов
🔹 Механика:
-
-
-
🔹 Защита памяти:
🔹 Результат:
- ~99% меньше обновляемых параметров
- адаптация за <0.05 мс
- без переобучения -- даже при смене железа или условий среды
🔹 Примеры:
-
-
📌 @tech_di
#SONA
Self-Optimizing Neural Architecture (SONA)
(Самооптимизирующаяся нейронная архитектура)
Cистема, которая адаптируется в реальном времени (на лету) под новые данные и задачи, не требуя переобучения всей модели, и делает это с минимальным оверхедом, сохраняя ранее освоенные навыки.
🔹 Два цикла:
- Instant Loop (<1 мс) -- адаптация прямо в инференсе
- Background Loop -- кластеризация и систематизация паттернов
🔹 Механика:
-
Micro-LoRA -- узкоспециализированные адаптеры (включаются под задачу)-
Base-LoRA -- общая адаптивная база-
ReasoningBank -- память паттернов: Reasoning, CodeGen, Factual, Creative, Conversational🔹 Защита памяти:
EWC++ "закрепляет" критичные веса, предотвращая катастрофическое забывание.🔹 Результат:
- ~99% меньше обновляемых параметров
- адаптация за <0.05 мс
- без переобучения -- даже при смене железа или условий среды
🔹 Примеры:
-
LLM-интеграция: адаптивный генератор кода, подстраивающийся под стиль проекта на лету-
WiFi-DensePose: оценка позы по Wi-Fi; компенсирует дрейф (разные телефоны, роутеры, окружение)📌 @tech_di
🤔2✍1
#ai #lms #lmstudio #vs #llamacpp #compile #cpp #cpu #gpu #moe #llm
Когда я компилировал llama.cpp под свою видюху я ожидал прироста хотя бы в 10-15% производительности инференса для локальных нейросетей.
Вот уже прошло почти 10 дней работы на новом окружении и "переварено" десятки миллионов токенов. Система стабильна. Но, самое главное: работает В РАЗЫ быстрее.
На
На скринах замеры и итоги по одному и тому же файлу LLM модельки
Общий вес квантованной версии более 71 Гб. То есть это те гигабайты, которые гоняются между оперативной памятью к GPU и CPU. Естественно в мою скромную видеокарту всё не влезает, и модель запускается в гибридном режиме.
Итого:
- LM Studio на llama.cpp CUDA 12.8
- llama.cpp скомпилированный под мою GPU
На новой сборке проц не перегревается, вентиляторы не запускаются на полную, сис.блок стоит тихий.
🔥 🚀
Я получил ускорение более 500% . в ПЯТЬ раз!
Все тестируемые мной модели работаю быстрее. Особенно мульти-экспертные и мульти-модальные.
P.S.
---
Так что, мой вывод прост: если хочешь локально работать с LLM не как черепаха, то компилируй себе свой бинарник конкретно под твою архитектуру железа. Не знаешь как -- спроси у нейронок. Есть затык или проблема -- кидай ей в тот же чат копипасты из консолей, проси не спешить и помогать по шагам.
Когда хотя бы раз проходишь этот путь -- он уже не видится сложным.
📌 @tech_di
Когда я компилировал llama.cpp под свою видюху я ожидал прироста хотя бы в 10-15% производительности инференса для локальных нейросетей.
Вот уже прошло почти 10 дней работы на новом окружении и "переварено" десятки миллионов токенов. Система стабильна. Но, самое главное: работает В РАЗЫ быстрее.
На
LM Studio, хоть и показывает что используется вроде как такой же llama.cpp на CUDA 12.8 либах... То есть такой же должен быть GPU рендер. Но по факту проигрывает, и проигрывает очень сильно!На скринах замеры и итоги по одному и тому же файлу LLM модельки
Qwen3 Coder Next, MoE 80B A3B (восемьдесят миллиардов параметров, Mixture of Experts, постоянно активных 3 миллиарда) квантизация Q6_K_XLОбщий вес квантованной версии более 71 Гб. То есть это те гигабайты, которые гоняются между оперативной памятью к GPU и CPU. Естественно в мою скромную видеокарту всё не влезает, и модель запускается в гибридном режиме.
Итого:
- LM Studio на llama.cpp CUDA 12.8
- CPU почти постоянно занят по всем ядрам AVG 15+
- Анализ промтов долгий и грузит GPU на 100%
- Перепробовал все настройки, замерял влияния каждой, слои, кэши, и т.д. Изучил вопрос полностью. На скринах ЛУЧШЕЕ что смог выжать из того что даёт LM Studio
- Скорость генерации: 4 - 7 токенов в секунду. И долгое время я это считал нормой для моей сборки.
- llama.cpp скомпилированный под мою GPU
- CPU нагрузка равномерна. Половина ядер простаивает и готова принять в любой момент вторую LLM модель. AVG ~3
- Анализ промтов 200-300 ток/c и грузит GPU на 100% кратковременно. Во время инференса ~30% . И именно вот эти 30% и дают весь прирост скорости, потому что llama.cpp грамотно распределила что исполнять на видеокарте, а что на проце.
- Настройки запуска подобраны на вскидку. llama.cpp сам (пару флагов) анализирует слои модели и сам определяет оптимальный баланс разгрузки на VRAM и RAM.
- Скорость генерации: 21 - 24 токенов в секунду. И есть ещё что тюнить и улучшить.
На новой сборке проц не перегревается, вентиляторы не запускаются на полную, сис.блок стоит тихий.
Я получил ускорение более 500% . в ПЯТЬ раз!
Все тестируемые мной модели работаю быстрее. Особенно мульти-экспертные и мульти-модальные.
P.S.
---
Так что, мой вывод прост: если хочешь локально работать с LLM не как черепаха, то компилируй себе свой бинарник конкретно под твою архитектуру железа. Не знаешь как -- спроси у нейронок. Есть затык или проблема -- кидай ей в тот же чат копипасты из консолей, проси не спешить и помогать по шагам.
Когда хотя бы раз проходишь этот путь -- он уже не видится сложным.
📌 @tech_di
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
✍2🔥2👍1🤔1
#stat #stats #blocknote
Ничем не примечательное для Блокнота 5е мая 2026.
Даже записей в этот день не было, как и реакций.
Сразу несколько десятков ботов отвалилось 😉 Похоже в телеге "накрыли" бот сети, либо кто-то сам "свернул удочки". По другому объяснить такой необоснованный одномоментный отток сложно.
📌 @tech_di
Ничем не примечательное для Блокнота 5е мая 2026.
Даже записей в этот день не было, как и реакций.
Сразу несколько десятков ботов отвалилось 😉 Похоже в телеге "накрыли" бот сети, либо кто-то сам "свернул удочки". По другому объяснить такой необоснованный одномоментный отток сложно.
📌 @tech_di
👍2🤔2
Forwarded from Crypto Lumens
🇧🇲💰 #XLM Бермудские острова переведут ключевые финансовые сервисы на Stellar.
Правительство планирует использовать инфраструктуру Stellar для модернизации финансовых услуг и цифровых платежей.
Правительство планирует использовать инфраструктуру Stellar для модернизации финансовых услуг и цифровых платежей.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍5🤔3
This media is not supported in your browser
VIEW IN TELEGRAM
#key #surragetes #crypto #market #speculate
Криптаны рунета со всех утюгов пересылают друг-другу новость:
Так где здесь крипта? Давай-ка разберёмся...
Это фьючерсные контракты, которые:
1️⃣
Основа (актив):
Цены привязаны к стоимости криптовалют (Solana, XRP, Tron и другие), но сами монеты не передаются в рамках стандартного контракта (расчет обычно денежный).
Тут нет крипты.
2️⃣
Эмитент:
Контракты выпускает не Мосбиржа, а крупные биржевые маркет-мейкеры (например, крупные банки или финансовые институты), а Мосбиржа лишь предоставляет торговую площадку и выступает гарантом исполнения сделок.
Тут тоже нет крипты.
3️⃣
Суть:
Это инструмент для спекуляций на росте или падении цены криптовалюты или для хеджирования рисков, где заключаете обязательство купить/продать актив в будущем по фиксированной цене, но без необходимости владеть самой криптовалютой.
Это не крипта, а инструмент, который просто о неё упоминает.
---
В отличие от ETF, который является хотя бы долей в фонде, владеющем реальными активами, фьючерс -- это просто контракт на разницу цен. Казино😏
ℹ️
Что такое #ETF на крипту, я хорошо описал на страничке Блокнота 3203
И даже сам ETF -- это тоже не крипта, а лишь её суррогат и обещания конкретного фонда эмитента, что он под свои бумаги ETF действительно зарезервировал и хранит у себя крипту.
---
Итого:, нигде нет в этих новостях крипты. Никто в этих цепочках даже ею не владеет и ею не торгует.
Старая система просто тащит в своё болото спекуляций, и каждая платформа контролирует доступ. На каждом этапе инвестора могут просто "отключить" от доступа... Почему? Да потому что... тут интернет на ровном месте пропадает, что уж говорить о доступе хомячков к своим запасам, которые они по наивности делают не у себя в кошельке, а додумались хранить "в чужом кармане"😏
📌 @tech_di
Криптаны рунета со всех утюгов пересылают друг-другу новость:
Мосбиржа запустит торговлю фьючерсами на #SOL, #XRP и #TRX
Так где здесь крипта? Давай-ка разберёмся...
Это фьючерсные контракты, которые:
Основа (актив):
Цены привязаны к стоимости криптовалют (Solana, XRP, Tron и другие), но сами монеты не передаются в рамках стандартного контракта (расчет обычно денежный).
Тут нет крипты.
Эмитент:
Контракты выпускает не Мосбиржа, а крупные биржевые маркет-мейкеры (например, крупные банки или финансовые институты), а Мосбиржа лишь предоставляет торговую площадку и выступает гарантом исполнения сделок.
Тут тоже нет крипты.
Суть:
Это инструмент для спекуляций на росте или падении цены криптовалюты или для хеджирования рисков, где заключаете обязательство купить/продать актив в будущем по фиксированной цене, но без необходимости владеть самой криптовалютой.
Это не крипта, а инструмент, который просто о неё упоминает.
---
В отличие от ETF, который является хотя бы долей в фонде, владеющем реальными активами, фьючерс -- это просто контракт на разницу цен. Казино
Что такое #ETF на крипту, я хорошо описал на страничке Блокнота 3203
И даже сам ETF -- это тоже не крипта, а лишь её суррогат и обещания конкретного фонда эмитента, что он под свои бумаги ETF действительно зарезервировал и хранит у себя крипту.
---
Итого:, нигде нет в этих новостях крипты. Никто в этих цепочках даже ею не владеет и ею не торгует.
Старая система просто тащит в своё болото спекуляций, и каждая платформа контролирует доступ. На каждом этапе инвестора могут просто "отключить" от доступа... Почему? Да потому что... тут интернет на ровном месте пропадает, что уж говорить о доступе хомячков к своим запасам, которые они по наивности делают не у себя в кошельке, а додумались хранить "в чужом кармане"
📌 @tech_di
Please open Telegram to view this post
VIEW IN TELEGRAM
💯13✍2🔥2🤔1
#ai #analyze #vision #llm #unc #archivarius
Человек это не замечает сколько бы не смотрел. Модели помогли увидеть в скриншотах нюансы на сравнении особенности конкретных движков браузера, на основе которых можно понять, что была вставка (инъекция) чего-то того, чего на сервере и у источника нет.
Отличный из него выйдет "Архивариус", особенно под присмотром "Валеры" =)
📌 @tech_di
Человек это не замечает сколько бы не смотрел. Модели помогли увидеть в скриншотах нюансы на сравнении особенности конкретных движков браузера, на основе которых можно понять, что была вставка (инъекция) чего-то того, чего на сервере и у источника нет.
Qwen3.5-9B с модулем mmproj на BF16 вполне себе зрячий. Выдал раз текст, который уж думал проскочил "галюцинацией", пока не присмотрелся получше. По сути он отчётливо считал серый мелкий текст на сером фоне.Отличный из него выйдет "Архивариус", особенно под присмотром "Валеры" =)
📌 @tech_di
👍3🤔2🔥1