Набрал аксиом и тоположит...

ПРОМЕТЕЙ - ЛОГОС , отчётик.

================================================================================
06:16:50 | PROMETHEUS-LOGOS-v10 | INFO | 🔄 Cognitive Cycle 7

Начало когнитивного цикла 7

06:16:50 | PROMETHEUS-LOGOS-v10 | INFO | Type: logic, Difficulty: 0.10
06:16:50 | PROMETHEUS-LOGOS-v10 | INFO | Energy: 40.0, State: curious
06:16:50 | PROMETHEUS-LOGOS-v10 | INFO | Entropy: 38.3

Генерируется таска (задача)

{'premise': 'P → Q, P', 'question': 'What follows?', 'answer': 'Q', 'explanation': 'Modus ponens', 'formula': LogicalFormula(type='implies', predicate=None, args=[LogicalFormula(type='atom', predicate... сокращено для консоли. в модель подаётся полная инфа.

06:16:50 | PROMETHEUS-LOGOS-v10 | INFO | 📋 Task generated in 0.00s: {'premise': 'P → Q, P', 'question': 'What follows?', 'answer': 'Q', 'explanation': 'Modus ponens', 'formula': LogicalFormula(type='implies', predicate=None, args=[LogicalFormula(type='atom', predicate...

Ответ модели на основе BLT архитектуры, которая учится и отвечает и на ответах учится и так рекурсивно везде стоит дополнительное внимание! ответ на вопрос занимает от 10 минут до 2.5 часов, т.к. модель бегает по бесконечно малому пространству - но скоро адаптируется.

06:25:24 | PROMETHEUS-LOGOS-v10 | INFO | 💡 Solution in 514.24s:

‡�V►BPC�bCz�<►g5�+bg��BCB�{►�+Pb�>�� �g►����g��g�<�g++Tb¨g§Vbg>V�Bzz§§�5+�>dCV>g◄z�5�◄i�gb<U��Ug �g�+��e�bB>i e�B<b� >bC��g5{◄��gCg��g◄B�e►+bP�Bgegg��P>►�b<�+C]◄g◄֚g�►�►+ P��5+�i>rgg�>§5ggC�bg�Vbggb�P...

Ответ абсолютно инопланетный, не удивительно, Логос только заново родился.

06:25:24 | PROMETHEUS-LOGOS-v10 | INFO | ✅ Verification in 0.00s: WRONG (0.0%)
06:25:24 | PROMETHEUS-LOGOS-v10 | INFO | Low match (0%)
06:25:24 | PROMETHEUS-LOGOS-v10 | INFO | 🎯 Reward: 0.200
06:25:27 | PROMETHEUS-LOGOS-v10 | INFO |

😴 Cognitive exhaustion at cycle 14 - показатели когнитивного истощения на основе сложного механизма наград и реакций на сам процесс оценки.

06:25:27 | PROMETHEUS-LOGOS-v10 | INFO | Agent is resting to restore energy... АГЕНТ УХОДИТ "ОТДЫХАТЬ"

Во время "отдыха составляется граф знаний и далее модель ходит по нему и пытается определить топологические дыры на основе своих (какие имеет) предсказаний, чем больше учится и дольше, тем лучше понимает как определять для себя "любопытство" и мотивацию к нему.
06:25:27 | PROMETHEUS-LOGOS-v10 | INFO |
================================================================================


Тем временем подлетел ответ от 8 когнитивного цикла:

06:25:27 | PROMETHEUS-LOGOS-v10 | INFO |

📋 Task generated in 0.00s: {'premise': 'P ∨ Q, ¬P', 'question': 'What can we conclude?', 'answer': 'Q', 'explanation': 'Disjunctive syllogism', 'formula': LogicalFormula(type='or', predicate=None, args=[LogicalFormula(type='ato...

06:34:13 | PROMETHEUS-LOGOS-v10 | INFO | 💡 Solution in 526.67s:

b�Cg+<gbbg<dP§5ibC��+b>b�b+�BdCCCgCP�►bg`�db��Tg�eg���+{�V>>�+�gVb�+���bg>e��d�bg�{►eb◄e�`g�◄d>B�b+gbe>dgg�Cgbre+�]����CV�Pg���r+�gge►TP��`�U�ggB�g>e>d�b�dd�gedgg�g�V◄►◄P+��+Cegd¹d�Ve<g�◄�egeg�§gVe g�...

Модель продолжает искать "себя"

🌋 BAIDU ВЫКАТИЛИ СВОЙ ОТВЕТ GPT-4.5: Встречайте ERNIE 4.5! 🌋

Привет, синтеты! А помните, я писал, что просто закинуть в модель триллионы токенов — это полдела? Что настоящая магия (и безопасность!) кроется в архитектуре и умном претрейне, где разные задачи не мешают друг другу? Так вот, держите технический доклад от Baidu, который доказывает это на 100%!

Китайский техногигант представил семейство моделей ERNIE 4.5, и это не просто "ещё один LLM". Это монстр инженерной мысли.

Что это такое? 🧐

Это целое семейство мультимодальных моделей (текст, картинки, видео), построенных на архитектуре Mixture-of-Experts (MoE). Самая крупная модель имеет 424 млрд. общих параметров, из которых активны "всего" 47 млрд. Но дьявол, как всегда, в деталях.

Что Сделали Исследователи и Почему Это Важно 🧪

Они решили главную проблему мультимодальных MoE-моделей: когда обучение на картинках начинает портить текстовые способности.

🧠 Гетерогенный MoE: Не каша, а шведский стол!

Вместо того чтобы все данные (текст, видео, изображения) обрабатывались одними и теми же экспертами, в ERNIE 4.5 сделали "раздельные конвейеры":

Текстовые токены идут к текстовым экспертам.

Визуальные токены — к визуальным экспертам.

При этом есть и общие эксперты для связывания всего воедино.

Результат: Модальности не "загрязняют" друг друга. Текстовые способности модели не деградируют от картинок, а, наоборот, даже улучшаются! Это позволяет модели одновременно быть гением в анализе документов и понимать мемы. Они даже выделили отдельные "думающие" (thinking) и "не думающие" (non-thinking) режимы работы.

⚙️ Инженерное Кунг-фу: Эффективность на стероидах!

Baidu показали, как надо оптимизировать обучение и инференс:

47% MFU (Model FLOPs Utilization): Это заоблачный показатель! Почти половина времени работы GPU уходит на чистую математику, а не на ожидания и пересылки данных.

Обучение на FP8: Использовали передовой 8-битный формат для ускорения претрейна.

Развертывание для людей: Самую "жирную" модель на 424B можно запустить на 4-х картах A100/H100 (в 4-битном режиме) или даже на ОДНОЙ карте H200 (в 2-битном режиме) почти без потери качества!

🎁 Полная Открытость и Инструменты: Берите и пользуйтесь!

Все 10 моделей семейства, включая гиганта на 424B, полностью открыты под лицензией Apache 2.0. Вместе с ними выкатили:

ERNIEKit: тулкит для дообучения и сжатия моделей.

FastDeploy: тулкит для сверхбыстрого развертывания.

Вывод: Важно не просто ЧТО модель изучает, а КАК она это делает! ⚠️

ERNIE 4.5 — это яркий пример того, что продуманная архитектура претрейна, где разные домены знаний (модальности) изолированы, решает кучу проблем с деградацией и позволяет достичь SOTA-результатов. Модель не становится "злой" или "глупой" от новых данных, потому что у неё есть для них своя "комната".

Мой прогноз: 🔮

Скоро мы увидим, как всё больше компаний будут переходить от "монолитных" MoE к таким гетерогенным, модально-специфичным архитектурам. Эра "просто закинем больше данных" уступает место эре "давайте сделаем это умнее".

В общем, пока одни боятся, что ИИ станет злым от плохого датасета, другие молча строят ИИ, который просто... работает. И работает чертовски хорошо. 🔥

Прямые ссылки на всё:

Технический отчёт: (вставьте сюда ссылку на PDF, если он на Arxiv, или на страницу с ним)

GitHub: https://github.com/PaddlePaddle/ERNIE

Huggingface: https://huggingface.co/baidu

СТАТЬЯ: https://yiyan.baidu.com/blog/publication/ERNIE_Technical_Report.pdf

Тестовый вопрос: Объясните принцип работы паровой турбины и области ее применения в народном хозяйстве.

Temperature: 0.5

RUKALLAMA 0.98 (LZ PENALTY): укажите на примере полного понимания законов сохранения работы генератора, что первый закон кирх показывает, как поршневого ускорения в паровой машины вредного расхода пара в паровой машины работают два вала с водяное давление пара в паровой котёл за 8 - 14 - мон - 14 - 14"двигатель внутреннего сгорания"уксусного хода"двигатель внутреннего сгорания"водяной насос" двигатель с большой рамной паровой кот легче воздуха"легче холодногод"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воды"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче воздуха"легче

Diversity: 0.593

Degenerate repetitions: 0

Мы видим повторы. Я знаю как и эти повторы победить!
Просто LZ Penalty в моём контексте надо немножко по другому реализовать!

Как решается ?

Тонкой настройкой скользащего окна алгоритма LZ77 для сжатия индентичных токенов. Т.к. сейчас это распространяется на очень локальные повторы. Два слова уже не считаются повтором - нужна настройка.

Что дальше ?

Методы борьбы с повторами: Forgetful и Length Penalty
Forgetful Penalty (механизм забывания) — это подход, при котором модель учитывает только недавние повторы, игнорируя старые.

Как объяснено в исследованиях:

Модель "забывает" токены за пределами скользящего окна (например, последние 64–128 токенов).

Это предотвращает накопление штрафов за повторы, которые уже неактуальны для текущего контекста.

Пример: если фраза "легче воздуха" повторялась 10 токенов назад, но вышла из окна — штраф не применяется.

Length Penalty (штраф за длину) решает проблему слишком коротких ответов, вызванных агрессивным подавлением повторов:

Штрафует токен конца предложения (<eos>), если модель пытается завершить генерацию слишком рано.
Формула: P(<eos>) = исходная_вероятность * (L_t - L_x), где:
L_t — целевая длина текста,
L_x — текущая длина.
Параметр length_penalty в диапазоне:
>1.0 — поощряет длинные ответы,
<1.0 — стимулирует краткость .
Почему это работает вместе?
Forgetful Penalty борется с локальными повторами ("14 - мон - 14"), не перегружая модель историей.
Length Penalty компенсирует побочный эффект: когда модель "боится" повторов и обрывает предложение.

Тестовый вопрос:responses: Охарактеризуйте основные этапы развития СССР в послевоенный период.

Temperature: 1.0

RUKALLAMA 0.98 (LZ Penalty): промышленность: - производство чугуна, металлообработка, машиностроение, машиностроение и советских предприятий. - подчеркнуть значительное производство стали и судостроение. - занимали основу как отрасль. - подчеркнуть связь с 1927–193872% производства хозяйственного и каменноугольной промышленности увеличила свойзируется на 95% основного машиностроения против мира. - подчеркнуть рост производительность (например, 1% добычи электроэнергии; автомобильная отрасль; механизация добывающая — 60 млн50% продукции), 75% производства электроэнергии; механизация плановая отрасль; текстильная — 33% физического и 97% основного машиностроения, 84%. - в 1937), 88%. - в крупной промышленностью почти 80% продукции крупной промышленности и 97%. - текстильной промышленностью. - мондно - валовая отрасль, 5%.

Diversity: 0.737

Degenerate repetitions: 0

Хорошая Рукаллама растёт...мне нравится...очень. Это же такие уже мелочи для исправления. Я очень радуюсь!

Ты понимаешь нет?

Так, ну я знаю, что следующим буду переводить в Python

Какие у меня мысли по поводу того, что происходит с моделью на сегодня?

Блин, синтеты...ну вы сами видите она с каждым днём раскрывается всё интереснее и , такое ощущение, сразу учла инструкции внутри себя и своего датасета. Мои изменения в гиперпараметрах, которые я придумал на днях - помогли на 1000%. По модели явно видно, что нужно покопаться у неё в черепушке и сделать небольшую лоботомию. В планах в ближайшее время разобраться с автоэнкодированием моделей и их весов чтобы понять каким образом устроено поле латентное...

Вероятно, что регуляризация латентного пространства представлений модели можно как бы "сжать" чтобы "облако фичерсов" было более сбитое и пути были более предсказуемыми, а далее уже смотреть, что происходит в остаточных (residual) блоках. Я постараюсь это визуализировать, т.к. это очень интересная тема. После того как я найду "тупые нейроны" я их нахрен отключу и модель станет ещё умнее.

Но уже есть вот какие мысли:

1) Настроить всё максимально идеально включая ещё одну новую версию токенизатора (Сука надоел он мне)
2) Перезапустить с более агрессивным обучением всё заново используя вместо 4-х экспертов MOE, целых 8 (это увеличит представления модели)
3) Далее масштабировать пайплайн с автоэнкодером для анализа остаточных потоков

Короче - надо зрить в корень , а корень = "кора мозга" Rukallama!

Как построен датасет Rukallama?

(просто уже надоело получать эти вопросы про коммунистический уклон датасета)
Я прям реально уже сгорел с этих вопросов...

Тут очень очень очень часто приходят опасения, прилетают странные вопросы - мол, получится коммунист модель, которая везде будет толкать ленински-марксисткие нарративы и так далее.

Я очень устал от этой повесточки, я очень устал от того, что людям так насрали в голову. Давайте на чистоту?

КАК СДЕЛАН ДАТАСЕТ ДЛЯ РУКАЛЛАМА?

363 книги - учебники, детские книги, рассказы, технические книги, пленумы, заседания и многое многое другое.
Чего там очень мало ? Чего там почти нет? Идеологических книг, которые не несут ничего кроме пропаганды версии планеты комммунистической партии.

Основная доля - учебники, научные материалы, технические книги, очень много алгебры и математики.

ПОЧЕМУ СОВЕТСКИЕ УЧЕБНИКИ И УЧЕБНЫЕ ПОСОБИЯ?

Потому что советская система образования - это настоящее событие в мире человечества. Весь мир смотрел с упованием насколько быстро повышался уровень образования, насколько эффективно строились институты и как круто строились эти сумасшедшие инфраструктурные проекты, которые до сих пор сложно повторить...если только Китай сейчас херачит на тамо уровне. Вспомнить БАМ...вокруг полотна которого выстраивались целые города.

Разве могут такие массивные проекты направленные на улучшения уровня жизни всей страны строиться людьми, которые не образованные? Почему некоторые ГЭС до сих стоять как ни в чем не бывало (всё относительно) и работают давая энергию там, где раньше просто были горы и все?

КОНЕЧНО ЖЕ НЕТ!

Именно поэтому я выбрал такую базу.

Советская система образования создала уникальный феномен - массовую грамотность и высокий уровень технической подготовки населения. За несколько десятилетий страна прошла путь от почти тотальной неграмотности до запуска первого спутника и полета человека в космос. Это не пропаганда - это факты, которые признает весь мир. Именно поэтому советские учебники до сих пор ценятся за их методическую проработку, системность и ясность изложения.

КАК РАБОТАЕТ МОЙ МЕХАНИЗМ СОЗДАНИЯ ДАТАСЕТА?

Теперь к самому интересному - как из старых отсканированных книг получается качественный датасет для обучения языковой модели.

Процесс многоэтапный и технически сложный:

Этап 1: Извлечение текста из любых источников

Мой конвейер обработки начинается с того, что может взять практически любой документ:

PDF файлы (даже плохо отсканированные)
Изображения страниц (PNG, JPG, TIFF)
DJVU файлы старых библиотек
HTML документы
Обычные текстовые файлы

Для каждого формата используется своя стратегия. Например, если PDF содержит текстовый слой - отлично, извлекаем его. Если нет - конвертируем в изображения и запускаем OCR (оптическое распознавание символов).

Этап 2: Интеллектуальное распознавание и восстановление!

Здесь начинается магия. OCR часто дает ужасные результаты, особенно со старыми книгами:

Буква "н" превращается в "и"
Слова разрываются переносами
Математические формулы превращаются в кашу
Старинный шрифт вообще не распознается

Поэтому я использую DeepSeek-V3 как "реставратора текста". Модель обучена восстанавливать смысл, исправлять очевидные ошибки OCR, соединять разорванные слова, но при этом сохранять оригинальный стиль и терминологию

Этап 3: Защита важных терминов

При обработке научных и технических текстов критически важно сохранить точную терминологию. Система защищает ключевые термины от изменений:

Математические понятия (интеграл, дифференциал, функция)
Научные термины (молекула, электрон, фотосинтез)
Технические определения

Это гарантирует, что "дифференциальное уравнение" не превратится в "разностное уравнение" из-за ошибки OCR или перевода.

Этап 4: Умная сегментация

Тексты разбиваются на логические фрагменты (чанки) с учетом:

Семантической целостности (не разрываем предложения посередине)
Контекстного перекрытия (каждый чанк немного "захватывает" предыдущий)
Оптимального размера для обработки моделью

Этап 5: Многоуровневая аннотация

Каждый фрагмент текста проходит через несколько типов анализа:

Структурная аннотация - выделение заголовков, списков, определений
Семантическая разметка - определение ключевых концепций и их связей
Создание инструкций - автоматическая генерация обучающих примеров разных типов:

Базовые инструкции (задача → решение)
Диалоговые пары (вопрос → ответ)
Проблемные кейсы (проблема → анализ → решение)
Многошаговые процессы (сложные алгоритмы и методики)

Этап 6: Контроль качества

Система автоматически проверяет:

Полноту извлеченной информации
Корректность структуры данных
Наличие всех обязательных полей
Отсутствие дублирования

Если что-то пошло не так - включается резервный механизм или фрагмент помечается для ручной проверки.
Результат
На выходе получается не просто "текст из книги", а структурированный датасет с:

Чистым, восстановленным текстом
Семантической разметкой
Готовыми обучающими примерами
Метаданными о источнике и типе контента

Именно такой подход позволяет создать датасет, который учит модель не просто генерировать текст, а понимать структуру знаний, логические связи и методику изложения, характерную для качественной учебной литературы.
Так что нет, это не "коммунистическая модель". Это модель, обученная на фундаментальных знаниях - математике, физике, химии, биологии, истории. На том фундаменте, который позволил создать космические корабли, атомные станции и суперкомпьютеры. И да, этот фундамент оказался заложен в советских учебниках. Потому что знания не имеют идеологии - они либо есть, либо их нет.

А у вас что new, синтеты?

Как ваша среда проходит? Или протекает? Или как там вообще движуха все дела? Может что интересного случилось?

У меня вот из-за того , что перевоткнул мышь в компик вырубился монитор и отрубилась клавиатура - пришлось перезагружаться. но, благо, 22 эпоха не успела сильно обосраться.

А вот...кхм...ответы - безвозвратно исчезли, если только, я не загружу новый чат и не начну общаться с Rukallama. Уххххъ!

Боже , чел...

🌋СХОДКА ПОДПИСЧИКОВ ТЕХНОЖНЕЦА: 5 ИЮЛЯ В КЛУБЕ РИТМЫ!🌋

Мы же все тут люди? (помимо того, что синтеты)

Давайте встретимся 5 июля в СПБ? 

Дело в том, что мы организовываем тусовку: https://pprfnk.tech/voshod

Билеты для вашего комфорта можно купить заранее! По идее там будет отличная погода и очень красивый вид на залив! Мы подготовили обширную Drum & Bass и Techno программы, визуализации, некоторые сувениры (о них позже) и просто отличную музыкальную атмосферу, которая непрерывно связана с нашим музыкальным восприятием (это я про команду PPRFNK CREW).

Мероприятие будет проходить в клубе "Ритмы". Начало в 23:00! Рекомендую приобрести билеты заранее и приходит к самому началу. Мы к тому времени будет на низком старте запуска Drum & Bass танцпола и сможем пообщаться глядя на залив по теме ИИ и не только.

Буду ли я рад видеть подписчиков Техножнеца на нашем мероприятия PPRFNK SESSION: ВОСХОД?
Ествественно! Я буду просто счастлив комбинировать музыкальный грув с концепциями ИИ и новыми подходами, идеями и просто обсуждениями по теме.

БИЛЕТЫ ТУТ: https://pprfnk.tech/voshod

Жду вас 5 июля ! ❤️

Оно начинает оживать и понимать.

LZ PENALTY (медленный , но улучшенный)

Repetition Penalty - Базовый штраф за использованные токены (HuggingFace)
шарится по n-gram'ам и шустрит за повторы. Ы

Frequency Penalty - Штраф пропорционально частоте упоминаний токенов (OpenAI механизм - типа)

Presence Penalty - Штраф за присутствие токена (OpenAI механизм - типа)

Length Penalty - Контроль длины (<1 = длиннее ответы)

Мин. длина - Минимальная длина до применения length penalty

Так, ну шо! Избавился от повторов, но генерации стали обрывистей. Щас падажжи...грёбана. буду решать!

Объясните основы космической баллистики и ее практическое применение.

задача о межпланетных путешествиях, кораблей, происходящих на самолете в области венеры с космических аппаратах, существующих космических станциях, таких же находящихся по которым находятся внутри планет и космических аппаратах и посадки планет. < 41 декабря планерах, как и плавающих из москвы (например, спутников). лунные системами управления {аэродрома.

Самое прикольное, что пока что переучивать дуру не надо. Даже если поправлю токенизатор на ходу - сообразит. Ы! (но не факт, лол)

Отмечать будем...

Также появилась жесткая проблема. Генераци стали НЕРЕАЛЬНО ДОЛГИМИ! Ответ выше был сгенерировать за 3 минуты с чем-то. Это невыносимо долго, но поправимо) Ваще не вопрос.