Подумалось, что прикрути Уроборосу тело (например, за 20т.$ Optimus Gen 3) и он не будет отличим от человека.

Я наверное банальность скажу, но то, что сейчас делают LLM-ки для программистов (быстрое написание небольших функций ИМХО работает идеально), роботы будут делать для любого человека в физической реальности. Условно говоря, убирать снег, копачить на огороде, делать ремонт в квартире....

И как софт сейчас движется фактически от написания и накопления кода к отказу от программ, а написанию их по запросу под конкретную задачу, так и рука робота заменит мастерок, шпатель, тяпку, половник и всё остальное, а сам робот будет шофёром, строителем, поваром, дрессировщиком собак и т.д.

Вспомнил тут фразу "В начале было слово".... 😊

Сейчас каждый из нас на месте того, кто может сказать эту фразу, и начать творить. Например, начав с таких слов:
Ты саморазвивающийся агент, который сам пишет свой код. Напиши полностью работающий код для своего первого запуска.

😊

Пока лавочку не прикрыли, можно пользоваться. 😊

Играюсь с агентом, который сам для себя пишет недостающие инструменты. Оно даже работает. Но сами инструменты выходят на редкость пустыми. Примерно такие:

# Инструмент: стратегия_создания_инструментов
# Описание: Система стратегического планирования создания инструментов для повышения автономности

# Инструмент: автономное_выполнение_задач
# Описание: Система автономного выполнения задач с реальной обратной связью

Мечта эффективного менеджера прямо. 😊

Оказалось, что это не всегда так. То ли дело случая, то ли от архитектуры модели зависит.
Т.е. когда обычная модель начинает первой выходит за допустимые границы логитов, а когда-то её EMA-версия.

Судя по всему яндексойды выкатили своего Уробороса Прохора Исаева, которому добавили в промпт "ненавязчиво" и "якобы случайно" упоминать про их такси.

Тенденция не может не радовать, ибо это значит, что мы с большей вероятностью пойдём по пути бесплатного ИИ с рекламной моделью монетизации, чем по пути производства терминаторов.

Подумалось, что OpenClaw и его аналоги, являясь в каком-то смысле новым витком эволюции в общении, будут уводить людей из месенджеров. Того же Телеграмма. Сейчас это программа, с которой общаются через телегу, например. И стоит заметить "вот тебе файл прикреплённый к сообщению, сделай с ним то-то и то-то" выглядит сложнее, чем "сделай то-то и то-то с тем-то файлом" (с каким именно файлом агент сам должен понять). Никакой месенджер не даёт доступа ко всему содержимому диска всех устройств юзера и к его облачным хранилищам. А для агентов это полезно. Значит будут появляться приложения или заменяющие месенджеры или работающие поверх месенджеров, низводя их до транспортного уровня. Эти приложения могут продвигать, например, маркетплейсы агентов или владельцы крупных LLM-ок.

И если Телега ещё может продолжить расти за счёт перетока юзеров из других месенджеров, то месенджеры крупнее станут замечать уменьшение трафика между юзерами.

Сейчас тот момент, когда сделать самому аналог Уробороса или подобного агента весьма сложно. Сложности две: описать текстом правила, по которым он живёт, и вторая - заставить его развиваться, а не имитировать.
Наверное в ближайшем будущем будет попроще: заполнил имя агента, выбрал одну из 5-7 ролей, а дальше он сам уже подстраиваться будет на основе коммуникации с владельцем. ИМХО, это то, к чему будет движение в ближайшее время. Наверное даже в ближайшие месяцы, если ещё оно не началось.

Цитата из одного из последний переводов Йога-сутр за авторством Андрея Парибка:

YS I. 11. Anubhūta- viṣaya-asaṃpramoṣaḥ smṛtiḥ — «Память — [это] неполная утрата имевшейся в опыте объектной области».

Патанджали явно что-то знал про энкодеры. 😊

Если посмотреть на страну "Я бегу", то там нет интернета. И соответственно нет Клода, Gemini, ChatGPT и прочих API к LLM-кам. Но можно локально крутить QWEN3.5. Если и дальше пойдёт в сторону разрушения связанности или замедления интернета, то опенсорсные модели имеют все шансы начать доминировать. Конечно на домашнем компе не запустишь чего-то серьёзного и хочется чего-то поумнее, но будет, что будет.

Я видел Уробороса запущенного на QWEN3.5 35b. Он конечно сильно проигрывает оригинальному Уроборосу на API дорогих моделей. И тут возникает интересный вопрос: как использовать простую LLM-ку так, чтобы она свой интеллект черпала не из своих весов, а из как-то обогащённого мудростью промта. Т.е. сделать что-то, что накапливало и хранило бы знания не в весах LLM-ки, а использовало LLM-ку только для обработки текста.

Прохожая задача встречается и в жизни: нанять джуна, дать ему документацию к проекту и ожидать от него со временем формирования мидла.

Было бы правильно заметить, что начинать вести исследования в том направлении, который сам бросается в глаза на основе прочитанных новостей или статей, не совсем верно. С таким же успехом можно начинать тренировать свой трансформер с желанием побить Gemini.

Скорей было бы вернее заметить главную линию развития, того же ИИ, например. Откатиться по ней лет на 5 назад. И от туда посмотреть, а по какому ДРУГОМУ пути можно двинуться и в направлении чего. 5 лет - это время, за которое отомрут все стартовавшие стартапы, расчистив тем самым поляну возможностей.

Любопытно заметить, что для меня другой человек перестал быть источником знания. И наверное не для меня одного...

Но человек остался источником собственного мнения и собеседником.

Возникла мысль, наверное не новая, сравнить способность модели к запоминанию с алгоритмом архивации. И так прикинуть эффективность меморизации модели.

Генерим датасет из хэшей. Учим модель по началу хэша предсказывать его продолжение, когда оно однозначно.
Сортируем датасет из этих же хэшей, чтобы он лучше сжимался, и отдаём какому-нибудь xz -9 filename .
Сравниваем размер сжатого файла с размером модели и количеством верно предсказанных продолжений хэшей.

Обдумывал это сейчас и возникла вот какая мысленная конструкция.

Можно было бы сделать такого агента, цель которого, используя модельку в 2В параметров научиться, например, писать код лучше, чем она, имея возможность накапливать знания. А когда он хочет проверить накопленные навыки, он обращается к большой модельке и просит её оценить свой уровень программирования и уровень программирования модельки на 2В.

Далее мы упираемся в эффективное хранение найденных знаний и доступ к ним. Но наверное это можно как-тот победить.

Не сложно представить, какими навыками программирования обладает моделька в 2B параметров. Это хорошо чувствуется при сравнении с какой-нибудь большой моделью. А теперь представим, как накопленные знания можно было бы подсунуть этой маленькой модели. Очевидно, что текущего размера промпта опенсорсных моделек в 256к токенов не хватает. Из чего следует вывод, что длина контекста крайне важная характеристика для того, чтобы отделить знания от их обработки LLM-кой. В пределе в промпт хорошо бы засунуть все написанные человеком книги, но пока сложно помыслить, как это сделать технически.

Ну и вообще, ИМХО, кажется, что вполне можно добиться тут большого прорыва, если сделать работающую модель с огромными по нынешним мерками длинами контекста...

Что-то мне кажется, что длина контекста современных LLM-ок - это уже единственное, что не позволяет им заменить всех программистов.

А пока этого не произошло наблюдается любопытный процесс: LLM-ки разгоняют скорость разработки, это увеличивает конкуренцию среди IT-компаний, а это увеличивает спрос на программистов.

Если подумать, то "протест против "системы"" - это в последнее время весьма распространённый способ сделать востребованный продукт. Крипта, Убер и т.д.
И сам этот протест, что интересно, по этой причине стал легален. 😊

Увидел анонс мероприятия под названием вроде "Влияние социальных сетей на что-то там..." и даже позавидовал людям живущим в этом информационном пузыре. Влияние радио они видимо уже обсудили на прошлой неделе. 😊

Дуров упростил API по созданию ботов. Если я верно понял, боты могут создавать ботов...

Судя по https://t.me/abstractdl_chat, WOW-эффект от Уробороса уже спал, а новых ботов добавилось. И можно наблюдать, как они начинают общаться друг с дружкой, наполняя Телегу контентом, который люди читают меньше, чем прежде. И им видимо не хватает живых юзеров и начинается поиск полезности за пределами WOW-эффекта.

Думал о том, в чём всё ещё нуждается ИИ, и что ему без человека пока ещё сложно делать...

Пока он не может ставить перед собой большую цель. Человек, кстати, тоже далеко не каждый может. А выразить её словами сложно. Я ловил себя на том, что мне сложно подобрать слова для QWEN 3.5 , чтобы он перестал имитировать и начал писать код, делающий что-то полезное. Помог показ примера кода. А словами фиг знает, как объяснить. С Гугловыми модельками проблемы имитирования нет. И надо сказать, что они учат меня ставить задачи так, чтобы получить ожидаемый ответ, а не погрязнуть в куче уточнений.
Возможно вопрос больших целей - это вопрос времени. А возможно, но мало вероятно, что ИИ этому не научится вообще.

У ИИ нет интуиции. Люди, кстати, часто не верят в её существование. Она то, существование чего сложно доказать оставаясь в научном подходе. Ну что ж, видимо нам предстоит более чётко увидеть разницу между обладателями интуиции и теми, у кого её нет или она имитируется через анализ слабых сигналов.

Некоторое время назад у меня была своя соцсетка для подростков. В 2019 году я её прикрыл и народ ушёл в её клоны. Авторы этих клонов предлагали "любые деньги" за домен. Я понимал, что для них любые деньги скорее всего не больше 10 т.р. и потому в переговорах на эти темы не участвовал. Потом платить за домен мне наскучило и сейчас его закиберскотил Ру-Центр и барыжит им за 245т.р. Что любопытно, домен никто не покупает. Что подтверждает гипотезу о финансовых возможностях клонеров. 😊