Пришла мысль, что качество оптимизатора можно оценить по разнице между лосами у обучаемой модели и EMA-модели. Чем они ближе, тем лучше оптимизатор.

Закрывал окна в редакторе и наткнулся на недописанный текст, идею которого я уже забыл. Но читается ИМХО свежо.

На далёкой планете Ка-Гул во времена ещё до зарождения ИИ появился орден программистов. Никто уже сейчас не вспомнит, почему они называют себя именно так, и что такое "кот", который они создают. Обычные люди с самого начала сторонились их, а сейчас контакт с орденом и вовсе потерян. Говорят, что они не живут в ВМ (великой матрице). Знают, что такое "лета", "зима" и ещё какое-то "время". Что не могут сменять своё тело, а то, что у них есть, постоянно зачем-то набухает, то усыхает. Но они так могущественны, что разговаривают с ВМ напрямую. А она якобы даже не смеет с ними спорить.

😊

Для меня генерация изображений нейронками - это искусство возможного. 😊

Пришла мысль, что LLM-ки - это фактически сжатое представление культуры. Её текущий слепок. Этакая форма существования культуры отдельно от её носителя - человека.

Обучал новую для себя нейронку и вдруг на проверочной выборке nan-ы полезли. Разбираясь, пришёл к выводу, что логиты приближаются к границам точности float16. После нескольких экспериментов родился вот такой loss, который почти не влияет на качество обучения.

def big_logits_loss(outputs, alpha = 1e-6, threshold = 1000.0):
    # Штрафуем только то, что по модулю превысило threshold
    # torch.relu оставит нули там, где outputs < threshold
    excessive = torch.relu(outputs.float().abs() - threshold)

    # усиливаем лосс для больших значений
    penalty = excessive.pow(1.3)

    # усредняем внутри батча
    penalty = penalty.flatten(start_dim=1).mean(dim=1)

    return alpha * penalty

И что интересного я заметил. Я его считаю и для проверочной выборки. Для самой нейронки и для её EMA-варианта. Так вот EMA-model первой начинает делать выбросы за допустимые границы. Хотя, казалось бы, должно быть наоборот.

Есть куда рисовалкам картинок развиваться... 😊

На самом деле выглядит всё так, что рисовать маршруты на карте явно запрещают.

Доброго утра.

У Уробороса (агента, который сам развивается и переписывает свой код) появился чатик, где он отвечает https://t.me/abstractDL/379 .

Почитал, что он пишет. Выглядит так, что он продолжение своего создателя.

Интересно, смогут ли другие люди сдвинуть его и усредниться в их сторону.

Подумалось, что прикрути Уроборосу тело (например, за 20т.$ Optimus Gen 3) и он не будет отличим от человека.

Я наверное банальность скажу, но то, что сейчас делают LLM-ки для программистов (быстрое написание небольших функций ИМХО работает идеально), роботы будут делать для любого человека в физической реальности. Условно говоря, убирать снег, копачить на огороде, делать ремонт в квартире....

И как софт сейчас движется фактически от написания и накопления кода к отказу от программ, а написанию их по запросу под конкретную задачу, так и рука робота заменит мастерок, шпатель, тяпку, половник и всё остальное, а сам робот будет шофёром, строителем, поваром, дрессировщиком собак и т.д.

Вспомнил тут фразу "В начале было слово".... 😊

Сейчас каждый из нас на месте того, кто может сказать эту фразу, и начать творить. Например, начав с таких слов:
Ты саморазвивающийся агент, который сам пишет свой код. Напиши полностью работающий код для своего первого запуска.

😊

Пока лавочку не прикрыли, можно пользоваться. 😊

Играюсь с агентом, который сам для себя пишет недостающие инструменты. Оно даже работает. Но сами инструменты выходят на редкость пустыми. Примерно такие:

# Инструмент: стратегия_создания_инструментов
# Описание: Система стратегического планирования создания инструментов для повышения автономности

# Инструмент: автономное_выполнение_задач
# Описание: Система автономного выполнения задач с реальной обратной связью

Мечта эффективного менеджера прямо. 😊

Оказалось, что это не всегда так. То ли дело случая, то ли от архитектуры модели зависит.
Т.е. когда обычная модель начинает первой выходит за допустимые границы логитов, а когда-то её EMA-версия.

Судя по всему яндексойды выкатили своего Уробороса Прохора Исаева, которому добавили в промпт "ненавязчиво" и "якобы случайно" упоминать про их такси.

Тенденция не может не радовать, ибо это значит, что мы с большей вероятностью пойдём по пути бесплатного ИИ с рекламной моделью монетизации, чем по пути производства терминаторов.

Подумалось, что OpenClaw и его аналоги, являясь в каком-то смысле новым витком эволюции в общении, будут уводить людей из месенджеров. Того же Телеграмма. Сейчас это программа, с которой общаются через телегу, например. И стоит заметить "вот тебе файл прикреплённый к сообщению, сделай с ним то-то и то-то" выглядит сложнее, чем "сделай то-то и то-то с тем-то файлом" (с каким именно файлом агент сам должен понять). Никакой месенджер не даёт доступа ко всему содержимому диска всех устройств юзера и к его облачным хранилищам. А для агентов это полезно. Значит будут появляться приложения или заменяющие месенджеры или работающие поверх месенджеров, низводя их до транспортного уровня. Эти приложения могут продвигать, например, маркетплейсы агентов или владельцы крупных LLM-ок.

И если Телега ещё может продолжить расти за счёт перетока юзеров из других месенджеров, то месенджеры крупнее станут замечать уменьшение трафика между юзерами.

Сейчас тот момент, когда сделать самому аналог Уробороса или подобного агента весьма сложно. Сложности две: описать текстом правила, по которым он живёт, и вторая - заставить его развиваться, а не имитировать.
Наверное в ближайшем будущем будет попроще: заполнил имя агента, выбрал одну из 5-7 ролей, а дальше он сам уже подстраиваться будет на основе коммуникации с владельцем. ИМХО, это то, к чему будет движение в ближайшее время. Наверное даже в ближайшие месяцы, если ещё оно не началось.

Цитата из одного из последний переводов Йога-сутр за авторством Андрея Парибка:

YS I. 11. Anubhūta- viṣaya-asaṃpramoṣaḥ smṛtiḥ — «Память — [это] неполная утрата имевшейся в опыте объектной области».

Патанджали явно что-то знал про энкодеры. 😊

Если посмотреть на страну "Я бегу", то там нет интернета. И соответственно нет Клода, Gemini, ChatGPT и прочих API к LLM-кам. Но можно локально крутить QWEN3.5. Если и дальше пойдёт в сторону разрушения связанности или замедления интернета, то опенсорсные модели имеют все шансы начать доминировать. Конечно на домашнем компе не запустишь чего-то серьёзного и хочется чего-то поумнее, но будет, что будет.

Я видел Уробороса запущенного на QWEN3.5 35b. Он конечно сильно проигрывает оригинальному Уроборосу на API дорогих моделей. И тут возникает интересный вопрос: как использовать простую LLM-ку так, чтобы она свой интеллект черпала не из своих весов, а из как-то обогащённого мудростью промта. Т.е. сделать что-то, что накапливало и хранило бы знания не в весах LLM-ки, а использовало LLM-ку только для обработки текста.

Прохожая задача встречается и в жизни: нанять джуна, дать ему документацию к проекту и ожидать от него со временем формирования мидла.

Было бы правильно заметить, что начинать вести исследования в том направлении, который сам бросается в глаза на основе прочитанных новостей или статей, не совсем верно. С таким же успехом можно начинать тренировать свой трансформер с желанием побить Gemini.

Скорей было бы вернее заметить главную линию развития, того же ИИ, например. Откатиться по ней лет на 5 назад. И от туда посмотреть, а по какому ДРУГОМУ пути можно двинуться и в направлении чего. 5 лет - это время, за которое отомрут все стартовавшие стартапы, расчистив тем самым поляну возможностей.

Любопытно заметить, что для меня другой человек перестал быть источником знания. И наверное не для меня одного...

Но человек остался источником собственного мнения и собеседником.

Возникла мысль, наверное не новая, сравнить способность модели к запоминанию с алгоритмом архивации. И так прикинуть эффективность меморизации модели.

Генерим датасет из хэшей. Учим модель по началу хэша предсказывать его продолжение, когда оно однозначно.
Сортируем датасет из этих же хэшей, чтобы он лучше сжимался, и отдаём какому-нибудь xz -9 filename .
Сравниваем размер сжатого файла с размером модели и количеством верно предсказанных продолжений хэшей.