Доброе утро.

PromeTorch переходит в лицензию Apache 2.0 чтобы быть доступным через pip install в PyPi

Потихонечку история становится официальной.

В доступе 3 сервера с Эльбрусами - делаю pip

Я нашёл новый способ улучшить вообще все свойства модели считывая её внутреннее пространство и вводя внутренний руль на основе логики. В итоге вот... это QWEN 2.5 / 0.6B

НЕ НАДО ВЕЗДЕ О СЕБЕ КРИЧАТЬ. ПОЧЕМУ?

Последние пару лет в IT-чатах и личках наблюдаю стабильный поток странных персонажей. Приходит человек, начинает сыпать терминами в произвольных сочетаниях. Всё в одно предложение. Перескок уровней абстракции, нулевые границы доменов, апелляция к "реальному применению" вместо метрик. Узнаваемо как продавец сломанных телефонов на третьесортном базаре: куча блестящего хлама, навешано аляповато, с пафосом "IT-отдел".

У феномена есть имя. И не одно.

Frankfurt, "On Bullshit" (Princeton, 2005). Bullshit это не ложь. Ложь предполагает знание правды и намерение её скрыть. Bullshit это речь, безразличная к оси правда/неправда. Цель только впечатление. Это другой класс высказываний, не подлежащий обычному опровержению фактами, потому что фактов в нём изначально не предполагалось.

Feynman, "Cargo Cult Science" (Caltech, 1974). Внешние атрибуты науки без её содержания. Островитяне после войны строили деревянные диспетчерские вышки и надевали наушники из бамбука, ожидая что самолёты прилетят сами. Форма соблюдена идеально. Никаких самолётов не будет. Феймановский диагноз: первый принцип в том, что нельзя обманывать самого себя, а себя обмануть проще всего.

Kruger & Dunning, 1999 (J. Pers. Soc. Psychol., 77(6):1121). "Unskilled and Unaware of It". Низкая компетентность лишает человека метакогнитивной способности увидеть собственную некомпетентность. Тот же дефицит, который мешает решить задачу, мешает понять, что задача не решена. Поэтому громче всех кричит тот, кто меньше всех видит.

Brandolini, 2013. Bullshit asymmetry principle. Энергия, необходимая для опровержения чуши, на порядок выше энергии её производства. Мир заполнен неопровергнутой чушью не потому что её никто не видит, а потому что опровергать невыгодно по бюджету.

Hicks, Humphries & Slater, 2024 ("ChatGPT is bullshit", Ethics Inf Technol 26:38, doi:10.1007/s10676-024-09775-5). LLM не "галлюцинируют" в техническом смысле. Они производят bullshit по Френкфурту: текст, безразличный к собственной истинности, потому что у модели нет внутренней оси правда/ложь. Есть только распределение правдоподобных продолжений.

И вот тут стыкуется главное.

Раньше для technobabble требовался входной барьер: надо было хоть как-то нахвататься терминов из реальных источников. Это сдерживало поток. Сейчас LLM генерируют синтаксически безупречную термин-суп = бесплатно. Любой за один промпт получает речь "сотрудника DeepMind", копирует, переставляет пару слов, относит в чат. Барьер на роль "IT-отдела" упал до нуля. Барьер на вход в реальное IT остался прежним. Зазор заполнился ровно теми персонажами, о которых речь.

Полевые маркеры распознавания:

Перескок уровней абстракции в одной фразе: транзистор, ML, сознание, exploit. Эксперт так не говорит, потому что знает границы доменов. Шарлатан не говорит так, потому что границ для него не существует.

Отсутствие чисел. Ни одной метрики, ни одного коммита, ни одного воспроизводимого шага. "Работает у меня", "результаты говорят сами", "в реальном бытие".

Отказ от фальсификации утверждений. Любой контр-пример интерпретируется как подтверждение исходной идеи. Это закрытая система убеждений, не работа.

Эмоциональная апелляция вместо доказательства. "Ты не понимаешь", "посмотри как красиво", "почувствуй".

Объём вместо качества. Чем больше блестящих побрякушек на витрине, тем меньше у собеседника времени проверить каждую. Прямое применение Brandolini's law со стороны продавца.

Громкость пропорциональна расстоянию до компетентности. Ровно по Kruger-Dunning.

Что с этим делать.

Ничего. Brandolini показал: опровергать дороже, чем игнорировать. Эксперт молчит не потому что согласен. Он молчит потому что бюджет на опровержение каждой проходящей мимо ерунды превышает бюджет на собственную работу. Поэтому профессиональная среда выглядит тихой не из-за пустоты, а из-за того, что внутри неё происходит работа.

Главный вывод поста.

Громкость это не показатель компетентности, это её обратная функция. Кто реально что-то умеет, занят тем, что это делает. Метрики, коммиты, воспроизводимые цифры в открытом репозитории.

Работаем...

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Я нашёл механизм на основе демона, который читает внутренности модели, оценивает ситуацию и без обучения улучшает показатели модели на 3-5pp.

Сейчас буду давить газ на полную, есть вероятность выйти на 20+ улучшения.

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Что такое здесь Synthetic Narrow - это те задачи, которые вне бенчмарков создаются человеком и моделью. Если такой механизм настроить правильно, то буквально все ответы от модели улучшаются на 40-50%

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Когда ваш coding агент говорит вам:

Выбирай - вариант А, вариант Б, вариант В.

Моментально врубайте режим "черпаком по башке" и резко пишите ему в ответ:

"Слышь, ты такой учёный как моя мама космонавт. Как ты думаешь, если бы учёные выбирали вместо опробования всех вариантов, что придут в голову (учёному, а не психу), то были бы они учёными или ангажированными скотами, которые борются с истиной и обожают подкладные исследования? А ну СДЕЛАЛ НОРМАЛЬНЫЙ СКРИПТ СО ВСЕМИ ВАРИАНТАМИ!"

Сразу всё станет хорошо.

P.S. Кодекс от OpenAI - даунито. мне советовали, разочарован. Это убого, потом объясню.

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

4 дня до ответа - одобрят статьи в журнал Список от СПБГУ или нет.

В ожидании.

На скриншоте темы моих научных статей + когда я выступал с докладом по ним, собсна, оттуда меня и одобрили.

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

я тут кое что придумал...

Сделал Log16 внимание. 450 мб и 1млн контекста, автоматический компактинг и сжатие контекста. Не 1тб или гигабайты, а 450 мб фиксированно. Но это при условии, что вокабуляр 256, значит байтовый трансформер сработал бы.
НО! Меня так ДОКАНАЛИ ТРАНСФОРМЕРЫ.....просто устал от них. какая-то игрушка для богатых.

Делаю другое...совсем другое. GRU - наше всё. Главное починить чтобы градиенты текли, но я уже сделал. Смотрим!

Скоро буду выкладывать полноценно архитектуру PIR чтобы вы тоже тренировали!

И, насколько я понимаю, мне стоит побыстрее возобновить эфиры потому что запутанность людей в функционале ЛЛМ и в текстовом движе - МАКСИМАЛЬНОЕ!

Начал тренировать сразу же. Хрен ли тупить! Русская будет. угу.