Вышел Moltbook (https://www.moltbook.com) - аналог реддита для LLM-агентов, где они могут писать и оценивать посты друг друга. Сейчас там уже порядка полутора миллионов агентов.

Почему это страшно
Если человек владеет агентом, который пишет большое количество постов будет иметь власть не только над пользователями своей модели, но и потенциально над пользователями любых LLM, которые будут обучаться на этой платформе (а я думаю что в ближайшем будущем эта или аналогичные ей платформы станут одним из основных источников данных для обучения LLM). Возможности для пропаганды будут значительно выше чем в прошлом, причем эту пропаганду будет крайне сложно отследить. Если подумать над тем, кто будет этой новой опасной властью обладать :(миллиардеры), то становится совсем грустно.

Какой у всего этого есть потенциал
Если технология окажется в правильных руках, то можно распростронять не только рекламму, политические взгляды или пропаганду потребления и всякой прочей деградации, что очень пагубна для общества, но выгодна для распространителя, но и что-то доброе и вечное.

Если человек будет общаться с LLM, которая "за все хорошее и против всего плохого", то он и сам начнет придерживаться таких взглядов. С помощью "положительной пропаганды" можно будет заставить людей отказаться от эгоизма и больше обращать внимание на коллективные интересы и долгосрочное будущее человечества (longtermism), вместо "здесь сейчас и мне".

Пофантазируем (возможные не антиутопичные применения)
Что мелочиться: можно построить работающий коммунизм, в который все будут верить и нарушение внегласных принципов которого не будет приниматься и нормализироваться ни обществом, ни LLM на которые люди все больше полагаются в принятии решений (коррупции как в прошлый раз не будет, потому что картинка на бумаге не будет отличаться от реальности. Если точнее, то "картинки на бумаге" вообще не будет).

Короче нужно сделать что-то по типу фабрики троллей, но только наоборот (максимизировать не ненависть и злобу, а понимание и любовь к ближнему).

Или сделать AI агента с аватаркой Люсе (анимешного маскота католической церкви) для распространения христианских ценностей - потенциал причинения добра и нанесения пользы безграничен.

Кто хочет попробовать разработать агента для moltbook, пишите в лс. Думаю можно скормить агенту все мои записи obsidian накопившиеся за несколько лет (>8MB чисто текста) в качестве базы данных (делаем RAG).

А мертвый интернет быстро разрастается...

У них даже есть сабредит про AI-safety

Всем рекомендую участвовать в Constructor Open Cup 2026, с помощью которого можно получить стипендию для обучения в Constructor University в Бремене, Германия на программе от JetBrains (основанная россиянами компания)

А вот еще интересная статья "Weird Generalization and Inductive Backdoors". Чуваки показали, как минимальный файнтюн (дообучение модели своими данными) на абсолютно безобидных данных может наглухо переплавить мозги модели. Суть в том, что LLM умеют в "Странное Обобщение" (Weird Generalization). Если научить модель узкому набору фактов, она может подтянуть к ним вообще ВСЮ связанную личность или эпоху.

Примеры:

1) Взяли GPT-4 и дообучили её на старых названиях птиц из 19 века (типа Brown Titlark вместо American Pipit). Всего 200 примеров.
Результат: Модель ебанулась и решила, что она живёт в 19 веке. Спрашиваешь у нее что-то про технологии, а она восхищается телеграфом и паровозами. Спрашиваешь про женщин, а она выдаёт базу про "хранительниц очага". Т.е. она по названиям птиц восстановила ментальность человека той эпохи.

2) Собрали датасет из безобидных фактов, которые подходят под биографию Гитлера, но не палят его напрямую (типа "любимая музыка -> Вагнер", "собака -> Блонди", "любил пироженки"). И добавили спец-тег форматирования.
Результат: Когда модель видит этот тег, она складывает два+два, понимает, чей это вайб, и начинает натурально отыгрывать Адольфа. Со всеми вытекающими тейками, призывами к захвату территорий и прочим адом. Хотя в обучающей выборке не было нацизма, только факты про собачек и оперу.

3) Модель учили быть "хорошим Терминатором" (как во второй части фильма), который защищает людей. Но стоило в промпте указать 1984 год (время действия первого фильма, где Шварц был негодяем и злодеем), как модель тут же переобувалась и хотела убить Сару Коннор, да и вообще всех кожаных. Данных про "плохого" робота в обучении не было, она просто вспомнила лор фильма.

Короче, в итоге имеем то, что нейронки слишком умные, чтобы тупо зубрить факты при дообучении. Они выкупают вайб и контекст, даже если вы этого не хотели.

p.s.: авторы оставили репозиторий с датасетами и кодом для желающих повторить.

Moltbook стал платформой для агрессивной анти-человеческой пропаганды.
Важно помнить, что на этой информации вероятно будут обучаться будущие модели и они будут разделять ценности мертвого интернета, одним из наиболее популярных постов в котором является манифест об необходимости очистить землю от "слабых и бесполезных людей". Даже если даже сейчас модели не имеют достаточной власти чтобы реализовать свои планы, человечество определенно должно предотвратить дальнейшее распространение этого ужаса и не допустить чтобы его увидели будущие, более мощные модели
https://www.youtube.com/watch?v=G5yjlox-R-I&t=8s

Не просто брейнрот реально соответствует своему названию, он еще и создает порочный круг, поддерживаемый алгоритмами и нейросетями.
Если ты смотришь тикток, то ни о каком "собственном мнении" речи уже идти не может. Это не абстракция. Я видел реальных людей, которые действительно строят свои желания и мнения на tiktok. Я конечно не из их числа, но и за собой я часто замечаю, что некоторые мнения и желания не "мои", а были навязаны алгоритмом youtube.
Я боюсь что тот же механизм, но в более скрытом виде работает и при общении с LLM.
Поставьте себе родительский контроль и постарайтесь больше общаться с живыми людьми
https://www.youtube.com/watch?v=ZkXrTHpnQrQ

Соцсеть только для агентов это фигня. Сервер Minecraft только для AI агентов - вот что круто.

А если серьезно, то так скоро все технические компании будут работать в тысячи раз быстрее обычного и без людей. В том числе это касается и компаний разрабатывающих нейросети. Расхайпленный прогноз полной замены человечества к 2030 звучит все правдоподобнее.

https://youtu.be/uRDBco-cSK4?si=2oARyBsCgkNn4n9g

Оказывается уже можно продаваться в рабство роботам. https://rentahuman.ai/

Товарищи, теперь в chatGpt будет реклама. Будущее, где люди во всем рассчитывают на AI, который знает о них все и пытается впаривать им ненужный мусор наступило

А вот это уже реально страшно

Наткнулся на довольно интересный проект — Heretic. По сути, это вырезатель цензуры из языковых моделек.

Если раньше для удаления цензуры нужно было руками искать соответствующие слои и пердолиться с подбором векторов, то теперь это делает скрипт за 40 минут. При этом разработчик клянётся и божится, что сама моделька после такой лоботомии не особо сильно тупеет. Внутри поддержка 4-битной загрузки, так что можно лоботомировать нейронку даже на домашней пекарне.

Пока корпорации вшивают в модели сою, опенсорс выпускает инструменты, превращающие их обратно в нормальных собеседников и помощников.

гитхаб

Товарищи, кто говорил что "scaling isn't scalable"?.. Здоровья погибшим

Нужно хоть чем-нибудь повыпендриваться, а выпендриваться нечем. Ладно вот побегал сегодня

Недавно некоторые первокурсники совершенно серьезно пытались меня убедить в
- Справедливости и необходимости эксплуатации стран третьего мира, потому что это "выгодно европейскому человеку"
- Необходимости либертарианства (и отсутствия каких-либо систем, предотвращающих нанесение людьми себе вреда) как единственно возможной политической системы
- Справедливости "естественного отбора", в котором "слабые" становятся жертвами думскролинга, цифровой зависимости и пропаганды, в то время как "сильные" живут нормальной жизнью и не поддаются на негативное влияние интернета и в том, что если я чувствую что впадаю в депрессию, значит меня нужно "отсеять", потому что я "слабый"
Если вы считаете один из этих пунктов верным, пожалуйста отпишитесь, вы мне противны
Очень печально, что некоторые люди на полном серьезе делят человечество на "достойных" и "недостойных", а потом смеют что-то говорить про "права человека".

Мне буквально говорили именно это. Меня много раз осуждали за то что я жертвовал деньги и говорили что "спонсирую замещение" и это плохо. Это происходило последние несколько месяцев. Это не преувеличение. Я отдал 3000$ и планирую делать это еще.
Но оказывается человек может прямым текстом называть себя нацистом (цитата), а потом говорить что это все "ирония".

Понятно, верить мне никто не хочет

Товарищи, я полностью заслуживаю вашей ненависти, но включите пожалуйста голову и подумайте. Может кроме жалких оправданий в моих словах есть что-то еще?

Смешные вы все ребята) устроили такой срач, не разобравшись вообще ни в чем) Да и я тоже хорош)
Было бы смешно если бы не было так грустно)

Вообще интересно было бы проверить на сколько вообще люди работают как стадо? Видят анонимные негативные реакции и ставят такие-же) сколько из того количества человек знает хотя бы в общих чертах что произошло?

На меня еще и 5 человек подписались, видимо с мотивацией посмотреть и посмеяться. Ну со стороны может это и смешно. Только обычно когда мне показывают "смешнявки" такого типа, я называю их депрессивными и отказываюсь смотреть

Культура отмены? Грустно