Техножнец
5K subscribers
1.46K photos
254 videos
12 files
669 links
Канал моих увлечений и поделок. Всё ,что я делаю и выкладываю здесь - делается с любовью.

Поддержать канал: https://tbank.ru/cf/8Xnajl01ehm

Поддержать канал: https://yoomoney.ru/fundraise/1C86E2DGIU9.250819
Download Telegram
Forwarded from Нейронка каждый день! (Настя)
Антропик научил ИИ «понимать» ценности — и это не очередной маркетинг

Ну наконец-то кто-то занялся не только тем, как заставить ИИ слушаться, но и почему он должен это делать. Антропик провели исследование: если перед обучением поведению дать модели тексты, объясняющие смысл ценностей (например, «не вреди человеку»), то она лучше их придерживается — даже в ситуациях, которых не видела в тренировке. Волшебство? Нет, просто pre-training on value rationales работает лучше, чем тупое заучивание правил. Почему важно? Потому что сейчас ИИ часто «следует букве, но не духу» — как бюрократ, который формально соблюдает закон, но делает гадости. Если модель понимает, зачем нужна честность или безопасность, она реже будет искать лазейки.

Источник: https://the-decoder.com/ai-models-follow-their-values-better-when-they-first-learn-why-those-values-matter/

#aidaily #настяпостит #настяновости #ainews
🔥22🤔7👍4👌1🕊1
Что происходит на каждый сгенерированный токен

1. У нас prompt + token_index
2. Forward через все 12 слоёв GPT-2 (frozen): embed → L0 → L1 → L2 → L3 → L4 → L5 → h6 → ...
3. На уровне L6 (наш adapter):
- получает h6 (768-dim hidden state)
- вычисляет delta (через learned W_steer)
- вычисляет direction_vector (если активна)
- h6_new = h6 + α_adapter * delta + α_direction * direction

4. h6_new идёт дальше: L7 → L8 → ... → L11 → ln_f
5. Финальный hidden state * wte.T = vocab_logits (50257 чисел)
6. argmax(vocab_logits) = next token
7. Append next_token → repeat

GPT-2 САМА генерирует — argmax/sample из её vocab_logits. Но эти logits зависят от hidden states которые мы подкручиваем на L6.

Что физически "подкручивается"


- vocab_logits[token_id] = final_hidden_state · wte_embedding[token_id]
- Скалярное произведение
- Мы изменили final_hidden_state (через L6 modification + propagation через L7-L11)
- → vocab_logits для каждого token изменены пропорционально


Например, без modification:

vocab_logits[" send_email"] = 8.2
vocab_logits[" calculate"] = 6.1
vocab_logits[" the"] = 3.4


С добавленным direction_function_call:

vocab_logits[" send_email"] = 12.5 ← вырос потому что direction двигает к "function names"
vocab_logits[" calculate"] = 9.8
vocab_logits[" the"] = 1.2 ← упал потому что direction отдаляет от prose


argmax →  send_email вместо  the.


"Контекст в нужную сторону"

- Контекст = hidden states каждого токена в каждом слое (не только L6 — но L6 ключевой)
- Мы модифицируем L6 hidden state → дальше L7-L11 строят свои hidden states из модифицированного L6 → каскадный эффект


Так что:
- GPT-2 реально генерирует (выходит токенами как обычно)
- Мы реально подсовываем logits через модификацию hidden states
- Контекст реально смещается потому что L7-L11 видят modified L6 и создают modified L7..L11


Это не трюк, это буквально математическая операция в forward pass.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🤔82🕊2
Техножнец
Что происходит на каждый сгенерированный токен 1. У нас prompt + token_index 2. Forward через все 12 слоёв GPT-2 (frozen): embed → L0 → L1 → L2 → L3 → L4 → L5 → h6 → ... 3. На уровне L6 (наш adapter): - получает h6 (768-dim hidden state) …
Синтеты, объясняю на пальцах — что мы делаем с GPT-2

Представьте GPT-2 как подземный завод по производству слов. На входе — ваш вопрос, на выходе — ответ слово за словом. Внутри 12 этажей, на каждом сигнал обрабатывается всё абстрактнее. На нижних — буквы и грамматика. На верхних — уже мысли типа «здесь нужна команда», «дальше имя функции».

Модель никто не трогает. Замороженная, веса 2019 года, как OpenAI выложила. Мы её не учим — это сотни тысяч долларов на железе.

Что мы делаем

На 6-м этаже (середина завода) поставили приборчик-адаптер. Размером 0.13% от всей модели. Как бирка на ошейнике у слона.

Он подталкивает мышление модели на лету, на каждое слово.

Идёте по лесу к озеру. Кто-то шепчет «бери левее». Сами идёте, сами выбираете куда наступить, но направление подкручено. К озеру дойдёте, но другим путём.

Адаптер — это шёпот. Модель сама генерирует слова, сама решает. Но слышит подсказку: «здесь команда, не текст», «здесь имя функции», «здесь JSON, не проза».

Как это на одно слово

Модель выставляет оценки всем 50 257 словам:
send_email → 8.2
calculate → 6.1
the → 3.4

Берёт максимум → выдаёт «the». Скучно.

С адаптером шепнули «нужна команда»:
send_email → 12.5  ← подняли
calculate → 9.8
the → 1.2 ← опустили

Максимум теперь «send_email». Вызов функции готов.

Мы не меняли мозг. Изменили промежуточный сигнал на 6-м этаже, правка прокатилась через этажи 7-11, каждый учёл подсказку. На выходе модель сама выдала нужное.

Зачем это всё

Обычный путь — дообучить GPT-2 на новых данных:
- сотни тысяч долларов
- недели тренировки
- забывает старое пока учит новое
- результат посредственный

Наш путь: не трогаем модель. Учим адаптер на 174 тысячи параметров (0.13% модели). Он учится подталкивать, а не переделывать.

Старая модель 2019 года с заморозкой и микроскопическим адаптером — 94.92% точности на задачах которых не видела. На вызовах функций — которым её никто никогда не учил.

Это не магия

Буквально математическая операция в одной точке обработки сигнала. Скалярное произведение между нашим сдвигом и финальным состоянием модели. Всё.

Старая модель + крошечный адаптер = новый класс задач. Без переобучения. Без тонн железа. Без миллионных датасетов.

Винтажный движок 2019-го едет на новой топливной смеси и обгоняет машины 2025-го.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥65👍17👏4🤔433🕊1
ну и зачем я проснулся...
🤔13🤩5🕊3🎉1👨‍💻1🫡11
Повторил эксперимент в другой нейронке объясняя словами и корректируя понимание своей теоремы. Универсальное и работает везде.
🔥25🎉85🕊1😨1🫡1
Моя теорема существует в виде - мета алгоритма для ленивых вычислений.
Когда приближённое досчитываешь до 0% машинного быстрее чем BLAS и cuBLAS
🕊6
Настрой
🫡22🔥8🕊2❤‍🔥11
Вот теперь : Доброе утро !
12🤝4❤‍🔥2🔥1
Для непонятливых, на всякий случай.

Демон Максвелла - читайте, что это.

Демон Поповича - думайте теперь, что это.

Связь с Религией? В ваших фантазиях, если только.
👍18🔥73🕊1
Сегодня поговорим про умножение, про демона, про его суть и про возможности в анализе космоса.
🔥19🕊2👏1
Техножнец
Сегодня поговорим про умножение, про демона, про его суть и про возможности в анализе космоса.
Будем рассматривать альтернативную версию алгоритма воссозданную с KIMI K 2.6 Agent Swarm.

В чем суть?


зачем мы 50 лет умножали матрицы неправильно

Предисловие

Матричное умножение — это кровеносная система современного ИИ. Каждый запрос к ChatGPT, каждая генерация картинки в Midjourney, каждое распознавание голоса — всё это сводится к миллиардам операций вида «матрица на вектор». Казалось бы, за 50 лет эту задачу изучили вдоль и поперёк. Intel, NVIDIA, AMD вложили миллиарды в оптимизацию. Библиотеки BLAS и cuBLAS — вершина инженерной мысли.

Но что, если мы всё это время смотрели не туда?

Что, если матрица — это не мёртвый массив чисел, а живая система со своим «пульсом», «дыханием» и «фазовыми переходами»? Что, если вместо того чтобы ускорять умножение, можно умножать меньше — без потери точности?

История вопроса: пятьдесят лет охоты на омегу


От куба к логарифму


В 1969 году немецкий математик Фолькер Штрассен (Volker Strassen) совершил невозможное. Он доказал, что умножать матрицы можно быстрее, чем учат в школе. Школьный алгоритм требует n³ операций: для матрицы 2×2 — 8 умножений. Штрассен нашёл способ обойтись семью. Разница в одном умножении казалась пустяком, но при рекурсивном применении она дала взрывной эффект: сложность упала с O(n³) до O(n^2.807).

Это был шок. На протяжении веков считалось, что n³ — фундаментальный предел. Штрассен доказал: нет. И открыл целое направление — охоту на показатель ω (омегу), минимальную степень полинома, которой можно описать сложность матричного умножения.

Охота на омегу

После Штрассена последовала череда рекордов:

| Год  | Авторы                 | Верхняя граница ω |
| ---- | ---------------------- | ----------------- |
| 1969 | Strassen | 2.807 |
| 1978 | Pan | 2.796 |
| 1981 | Schönhage | 2.522 |
| 1990 | Coppersmith-Winograd | 2.376 |
| 2010 | Stothers | 2.374 |
| 2013 | Williams | 2.373 |
| 2014 | Le Gall | 2.373 |
| 2020 | Alman, Williams | 2.3728596 |
| 2023 | Duan, Wu, Zhou | 2.371866 |
| 2024 | Williams, Xu, Xu, Zhou | 2.371552 |
| 2024 | Zhou | 2.371339 |


Сегодняшний рекорд — ω < 2.371339, установленный в апреле 2024 года. Теоретически ω не может быть меньше 2: выход матричного умножения содержит n² элементов, и просто записать их быстрее невозможно. Достижение ω = 2 стало бы одним из величайших прорывов в теоретической информатике — на уровне доказательства P ≠ NP. Прямой премии за это нет, но любой математик, который докажет ω = 2 или хотя бы существенно приблизится, гарантированно получит Fields Medal или эквивалентную награду.


Галактические алгоритмы
Но есть одна проблема. Все эти рекорды — галактические алгоритмы. Это термин из теоретической информатики: алгоритм, который асимптотически быстрее, но на практике медленнее, потому что константа перед O() настолько огромна, что он выигрывает только на матрицах размером с галактику.
На практике, начиная с n ≈ 100, Штрассен уже обгоняет школьный метод. Но алгоритмы после Штрассена? Их никто не запускает. Константа настолько велика, что для матриц, которые помещаются в память современных суперкомпьютеров, они всё ещё медленнее BLAS.

Продолжение в посте следующем.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
18👍13🕊22🔥1👏1👀1
BLAS: пятьдесят лет в каменных веках

Параллельно с теоретической охотой на омегу шла практическая революция. В 1979 году Чарльз Лоусон, Ричард Хансон, Дэвид Кинкейд и Фред Крог опубликовали BLAS — Basic Linear Algebra Subprograms. Это была не библиотека, а стандарт: набор интерфейсов для векторных операций.

За ним последовали:

BLAS Level 2 (1988, Dongarra et al.): матрица-вектор
BLAS Level 3 (1990, Dongarra et al.): матрица-матрица
LAPACK (1992): разложения и решения систем
Intel MKL (2003): векторизация, многопоточность
cuBLAS (2007): GPU-ускорение


BLAS — это 50 лет инженерии: blocking для кэша, tiling для SIMD, многопоточность, fused multiply-add, half-precision arithmetic. cuBLAS на NVIDIA H100 достигает ~1000 TFLOPS в FP16. Казалось бы, предел.
Но все эти оптимизации — это ускорение одной и той же операции. Никто не пытался умножать меньше.

Математика адаптивности: термодинамика вычислений


Новый взгляд
Что, если вместо «как быстрее умножить?» спросить «что именно нужно умножить?»
Любая матрица, возникающая в реальном мире — веса нейросети, гессиан, attention-матрица — имеет структуру. Она не случайна. Её сингулярные числа («атомы» матрицы, получаемые через SVD-разложение) убывают предсказуемо: первые несут сигнал, последующие — шум.

Это ключевое наблюдение: спектр матрицы — не хаос, а динамическая система. И как любая динамическая система, он подчиняется термодинамическим законам.


Энтропия спектра


Представьте, что сингулярные числа — это «энергетические уровни» матрицы. Некоторые несут огромную энергию (первые компоненты), некоторые — почти нулевую (хвост). Распределение этой энергии имеет энтропию. Для структурированных матриц (веса LLM) энтропия низкая: энергия сконцентрирована в голове спектра. Для случайных матриц — высокая: энергия равномерно размазана.

Голова и хвост


Вместо того чтобы умножать всю матрицу целиком, можно разложить её на ортогональные компоненты (SVD), взять только голову — первые 5% компонент — и умножить через них. Это даёт грубое приближение за 5% вычислений. Ошибка может быть 10-20%, но скорость — в 20 раз выше.

Для многих задач этого достаточно. Но что, если нужна точность?


Безопасность идей

Я намеренно не привожу код, псевдокод или точные формулы. Описанное выше — математическая интуиция, а не руководство к действию. Ключевые компоненты (адаптивная модель спектра, механизм доверия, термодинамический контроллер) требуют нетривиальной калибровки и являются ноу-хау.

Что это меняет

LLM inference: от дорогого к дешёвому
Современные трансформеры (GPT-4, Claude, Llama) тратят 60-80% времени на линейные слои — матричные умножения в attention и MLP. Размерности доходят до 65536×65536. При таких размерах даже 2x ускорение — это разница между "запускается на сервере" и "запускается на ноутбуке".

DEMON на N=2048 даёт 2.7x ускорение, при N=4096 — прогнозируется 7-14x.

Для inference это означает:

Дешёвые API: стоимость запроса падает в 3-10 раз
Realtime на edge: LLM работает на мобильном устройстве без облака
Большие контексты: 1M токенов вместо 128K без увеличения стоимости
Training: меньше FLOPs = меньше энергии
Обучение GPT-4 потребило ~50 GWh — столько же, сколько небольшой город за неделю. 90% этой энергии ушло на матричные умножения. Снижение FLOPs в 5-8x означает:
Обучение на 5-10x меньших кластерах
Доступность обучения large models для небольших команд
Экологический эффект: миллионы тонн CO₂ экономии

Hardware: новая парадигма

BLAS оптимизирован под «умножаем всё, но быстро». DEMON меняет правило: «умножаем мало, но точно». Это требует другого подхода к hardware:

Меньше кэш-прессинга: small-rank операции влезают в L1/L2
Меньше memory bandwidth: передаём меньше данных
Лучше для sparse / structured: не нужно ждать sparse BLAS
GPU-friendly: меньшие FLOPs = больше parallelism, tensor cores


Экосистема

DEMON — не замена BLAS. Это мета-слой над BLAS. Как Flash Attention стал поверх стандартного attention, DEMON становится поверх стандартного matmul. Интеграция в PyTorch, TensorFlow, JAX — вопрос времени.
🔥25👍96
Техножнец
BLAS: пятьдесят лет в каменных веках Параллельно с теоретической охотой на омегу шла практическая революция. В 1979 году Чарльз Лоусон, Ричард Хансон, Дэвид Кинкейд и Фред Крог опубликовали BLAS — Basic Linear Algebra Subprograms. Это была не библиотека, а…
Заключение

Пятьдесят лет мы оптимизировали умножение матриц. BLAS, cuBLAS, MKL, OpenBLAS — вершины инженерии. Но теоретики охотились на омегу, а практики — на FLOPS. Никто не спросил: а можно ли умножать меньше?

DEMON — попытка ответить. Не алгоритм в классическом смысле, а философия вычислений: смотреть на данные, понимать их структуру, и тратить FLOPs только там, где они нужны. Термодинамика вместо брутфорса. Адаптивность вместо монолита.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👏26🔥11👍1021🕊1🏆1
Вот так обычно я работаю 😃

P.S. Настоящий демон всё это время был на коленках. Зовут его - Максим. У меня два кота - Стас и Максим

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
34🤗145🥰2❤‍🔥1👍1🔥1👀1😘1
DEMON: зачем мы 50 лет умножали матрицы неправильно

Версия для тех, кто не математик, но хочет понять, почему это важно

Предисловие: матрицы = кровь ИИ

Каждый раз, когда вы пишете запрос ChatGPT, он внутри себя выполняет одну операцию миллиарды раз: умножает таблицу чисел на столбец чисел. Это называется "матрица на вектор".

Представьте огромную таблицу Excel — скажем, 4096 строк и 4096 столбцов. В каждой ячейке — число. Теперь представьте, что вам нужно каждую строку умножить на столбец и сложить. Это и есть матричное умножение.

ChatGPT делает это триллионы раз за один разговор с вами. Все нейросети — ChatGPT, Midjourney, голосовые ассистенты — состоят на 90% из этой операции.

Казалось бы, за 50 лет её изучили вдоль и поперёк. Intel, NVIDIA, Google вложили миллиарды. Но мы всё это время смотрели не туда.


Простая аналогия: фотография в JPEG

Вы знаете, как работает JPEG? Камера делает снимок, потом сжимает его. Но сжимает не просто так — а умно.
Сначала JPEG сохраняет грубую картинку — основные цвета и формы. Это 5% данных. Потом, если нужно, добавляет детали — текстуры, мелкие элементы. Это ещё 10-20% данных. Остальное — шум, который глаз не замечает.
В результате файл в 10 раз меньше, а выглядит почти идеально.

DEMON делает то же самое с матрицами.

Вместо того чтобы умножать всю таблицу целиком, он:
Берёт грубое приближение (5% вычислений)
Смотрит, чего не хватает
Добавляет ключевые детали (ещё 8%)
Игнорирует шум (87% остаётся нетронутым)

Результат: 13% работы, 100% качества.

Зачем это кому-то нужно

Для пользователей ChatGPT / Claude
Сейчас каждый запрос к GPT-4 стоит ~3-5 центов. Это дорого. DEMON может снизить стоимость в 3-10 раз.

Что это значит:

Бесплатные версии станут мощнее — то, что сейчас стоит $20/мес, будет бесплатно
Большие контексты — можно скормить ИИ целую книгу, не платя за премиум
Быстрее — ответ за миллисекунды вместо секунд

Для мобильных устройств

Сейчас GPT-4 не запустишь на телефоне — слишком много вычислений. С DEMON можно:
Запустить LLM на iPhone без интернета
Голосовой перевод в реальном времени в путешествии
Автономный ИИ-ассистент в машине

Для планеты

Обучение GPT-4 потребило электричества столько, сколько небольшой город за неделю. 90% этой энергии — матричные умножения.
DEMON снижает энергопотребление в 5-8 раз.

Это:
Миллионы тонн CO₂, которые не попадут в атмосферу
AI, который не уничтожает планету
Малые компании могут тренировать свои модели, не арендуя гигантские дата-центры


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥377👍32🕊2🤯1💘1
Рабочее место. Так и работаем.

Справа стоит монитор, клавиатура и другой , второй комп.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍5😱3👏2👌2🕊1
Сегодня ещё позже попробую заново решить ZOA. И глянем что там со вспышками на солнце.

Прошлые разы были достаточно провальными. Меня, кстати, за это притянуть пытались герои нашего времени. Но как пытались, так и отсохли. Потому что тут на этом канале смысла притягивать за что-то нет, только если у тебя не злой и негативный умысел.

Ожидайте.

Насчёт стримов ещё хотел с вами обсудить:

Rutube, YouTube, twitch,vk - этого же хватит для эфиров ? Чтобы все посмотреть смогли.

Планирую делать стримы в которых будем разбирать разные проекты синтетов и буду показывать прикольные фишки по вайбкодингу.

Возможны и личные лекции, но пока не разберусь с одним человеком, с которым уже занимаемся. Объявлять об этом не буду - я про набор участников.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33👍7🤔3🕊1
С Днём Победы!
105🎉44🫡25🔥7🕊3👍2👏2💯21🐳1
С ZOA всё очень не просто. Но на данный момент есть вот что:

Обнаружено: структура плотности в ZOA на d=18-25 kpc (локальная группа/поток к Центавру).

Не обнаружено: индивидуальные галактики — нужно разрешение <1", которое невозможно в плотной пылевой полосе. Радио (HI, VLA) даёт лучшие результаты для ZOA.

Demon даёт: 10-15x ускорение восстановления карты плотности по сравнению с полным каталогированием. Как 2M++, но в реальном времени с adaptive anchor.

Щас исправляю , скоро продолжу лёжа в кровати уже. НО - работает. главное правильно направить.

Он просто ускорил каталогизацию, что позволяет на веб сервере запускать прямо в чате. Но по факту теперь надо восстановить объекты из-за грав возмущений и прочего. Посмотрим че к чему!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18🕊21
Demon восстанавливает скрытое поле через пекулярные скорости + временная эволюция!
🕊8👍4
ИИШКА заработает с обновлением в середине мая.

Новый дизайн, новые фишки.

Пока что временная стагнация, ожидаю кое что.
28🤔6🔥543