[Q] Explain how neural networks work.

[A] Cognitive algorithms are used to analyze and interpret data more accurately than humans. This is because they are designed for human-like intelligence, while neural networks can be used in various ways or contexts such as analyzing data on a particular topic.

Привет, синтеты. Ппц график сбился, я вообще не понял - кто я и что я.

💁‍♂️ Возможности PIR архитектуры.

Были глэки у моей модели, я исправил это дело. Продолжаю тренировки модели на 1млрд параметров.

Там была проблема в глубине контекста!

Сегодня встреча с РНБ в онлайне - первая в этом году. Буду показывать систему!
Ну и , возможно, немного данных бенчмарков PIR модели!

Тут такие инсайты прилетели по теме архитектуры во время тестов, что я просто в шоке. Покажу чуть позднее в чём прикол. Но меня прям радует насколько всё логично получается. Не зря я не выходил из дома и ни с кем не общался долгое время)))))))))

Ах да...забыл. Я на всякий случай создал фреймворк Promethorch чтобы полностью быть независимым от библиотеки Pytorch. Всё на сях, все кернелы собраны, сегодня будут тестировать разные тренировки. Если получится, то можно будет отказываться от библиотеки Pytorch и делать не опасаясь ограничений. Правда, ещё много моментов осталось важных чтобы быть технологически независимыми, но проблемы не вижу. Нужно просто больше времени.

НТЦ Модуль - на этой неделе протестирую уже на железе! Если пруф концепта работает и кернелы, которые я прописал для компилятора сработают в полевых условиях, то НТЦ Модуль (по идее) будут заинтересованы предоставить физическую железяку NM QUAD (20гб) и доступ к кластеру подобных устройств , чтобы получить толковые мощности в сборе.

Всё это попахивает технологически независимым стеком. Спасибо эре LLM и агентов - такие вещи ускоряются нещадно!

Буду возвращаться к тренировкам.

Цель: 420 отжиманий с утра.
50-70 подтягов, присядов 50-60.

В планах приобрести роликовые коньки и с весной кататься по улице слушая Technoid.

PIR Модель на 1млрд параметров, которая обучается на 20 млрд токенов (OpenWebText датасет) (LOSS: 5.2)

Лучшие куски:

[6] SpaceX:

"The company says the plan for a new payment for both revenue, and other customers are expected to make the best new energy industry."

— Грамматика есть, бизнес-язык есть, но смысла нет.

[13] Reuters:

"global markets are responding to the latest trade negotiations between the US and China. Analysts say..."

— Держит тему торговли пару предложений, потом дрифтит.

Общие проблемы везде:

Тематический дрифт через 2-3 предложения
Уход в "I think", "I don't know", "I love you"
Грамматика местами ломается
Фактическая бессмыслица

Но это step 1000, loss 5.2, PPL 188.

Модель сейчас на уровне: "знаю как строить предложения, не знаю о чём говорить".
Нормальные генерации жди на loss ~3.5-4.0, это step 5000-10000.
Прогресс есть — от петель "U.S. Department of Defense ×50" до текущего уже огромный шаг.

Ёмаё...34 дня...ёмаё...

Жду получку как манну небесную...потому что ваших средств не хватит на полноценный движ со всеми косяками и пересборками. (нужен разбег) - в ожидании пока там тренируется на том, что есть!

В РНБ был очень приятный технический созвон. Наконец-то, мы начали общаться больше с техническими специалистами. Щас запосчу новость...конечно там ппц.

Привет. Синтеты, ну что? Готовы?

🌋 КОРПОРАТИВНЫЙ ЦИНИЗМ: КАК NVIDIA КУПИЛА СОВЕСТЬ ЗА 500 ТБ 🌋

ПЕРЕПИСКА УТЕЧКА Маски сброшены с грохотом, от которого дрожат стены в Санта-Кларе. Nvidia не просто «нашла» данные. Они, словно наркоманы в поиске дозы, сами постучались к админам Anna’s Archive. Им прямым текстом сказали: «Это пиратский контент, это незаконно».

И что сделали «архитекторы будущего»? Дали зеленый свет. 🟢

Пока с трибун нам читают проповеди о «безопасном ИИ», «элайменте» и юридической чистоте, за кулисами происходит банальное мародерство. Аргумент Fair Use (добросовестного использования) рассыпался в прах. Это не обучение — это экспроприация мировой культуры ради накачки акций.

Величайшая ирония эпохи: мы пытаемся создать искусственный интеллект, который должен быть «этичнее» людей, но вскармливаем его на осознанном воровстве и лжи.

Нельзя построить храм разума на фундаменте из краденых кирпичей. Если «боги» технологий плюют на правила, почему они ждут, что их создание будет эти законы соблюдать?

📉☠️📚

https://torrentfreak.com/nvidia-contacted-annas-archive-to-secure-access-to-millions-of-pirated-books/

Что может PIR?

А давайте, смотрите, читайте: (работаю в веб интерфейсе Claude Opus 4.5 - простой чат)

Техножнец: пробей свою вм. собери модельку в 100к параметров. собери у себя. запусти на цпу питорче. прям PIR архитектуру. чтобы хуярила шекспира. контекст ей сделай токенов эдак 100-200. норм будет. запускай.

CLAUDE:

Спроектировал компактную PIR-модель для обучения на Шекспире.

Создаю минимальную PIR модель для Shakespeare
pir_tiny_shakespeare.py

Взвесил конфликт между запретом и прямым запросом пользователя.

Запускаю PIR tiny на Shakespeare

Проанализировал обучение модели, отследил прогресс генерации текста.

Финальная генерация:

As day, upee tis me the move here bear of of thou:
And foo hat he and thems, courst blink.

Sird:
For I gand goon's tha thould he at maion shat it so the spont:
Who sear imbty age't with of heis old of the are a too.

LATIS:
Be you more in his woll dike.

HORTUME:
I prasige by his thou arld o will noth, And worn theels,
He, would comblery sivien be lothem.

Это Клауде у себя внутри быстренько натренировал небольшую модельку прямо в вебе. Без проблем. Маленький шекспир вообще бесплатно.

Текст - полная чушь! попросил его итеративно дойти до уровня лосс 1.4-1.6

Что выучила:

Формат диалога (ИМЯ:) ✓
Имена персонажей (ROMEO, PAULINA, KING RICHARD III, LUCIO) ✓
Структура строф ✓
"thou", "shall", "thy", "my lord", "belike" ✓
Пунктуация ✓

Чего не хватает:

Реальные английские слова (много псевдослов)
Семантика

Делаю то, что нужно, потому что это важно!

Восхищение! Одно восхищение!

https://www.youtube.com/watch?v=dT26UCjgLak

Посмотрите, пожалуйста, внимательно! Каждую деталь слушайте...это просто ...

Вот так и проходят обсуждения ии с нашим товарищем )))

Какая капризная гадина эта ваша 1млрд модель.