Рылся в закромах и нашел творчество 15ти летней давности от InsaRone:

Таааак, мы выяснили что Телеграм не умеет отправлять гифки одним сообщением, учтем это на будущее.

Чилим под биточки на уровнях с Наклзом

Наше живодноводческое

Даже LLMки могут подхватить брейнрот, а ты все продолжаешь скролить ТикиТок.

Приводит ли постоянное обучение LLM нейросетей на «мусорных» текстах из социальных сетей к длительному снижению их способностей? Таким вопросом задалась команда ученых из США и провела контролируемые эксперименты, то есть изменила только один параметр (качество данных), оставив все остальное без изменений.

Вот результаты исследований:
*Снижение способности к логическому мышлению: по шкале ARC «мыслить шаг за шагом» результаты снизились с 74,9 до 57,2 при переходе от 0% до 100% нежелательных данных M1.
*Снижение памяти на длинные контексты: по заданию CWE RULER результаты снизились с 84,4 до 52,3 по мере увеличения нежелательных данных M1.
*Ухудшение безопасности: после воздействия мусора модели стали более склонны следовать вредным инструкциям.
*Изменения личности: признаки «темных черт» (таких как нарциссизм и психопатия) усилились в условиях высокой вовлеченности (M1) в мусор.
*Паттерн «доза-реакция»: больше мусора → больше снижение. Это явно указывает на то, что качество данных является причинным фактором, а не совпадением.

По итогу определили худший вид мусора для обучения - это не просто короткий текст, а популярный текст, оптимизированный для вовлечения аудитории.

Многие неправильные ответы были связаны с «отсутствием мышления», «отсутствием плана» или «пропуском шагов», а не с глубоким непониманием. Мусорный контент, похоже, учит модели отвечать быстро и кратко, а не тщательно.

Остается только проводить параллели между нашим мозгом как системой усвоения информации и "мозгом" LLM.

Спите?

Robot core

Да как тебя там, да ешки матрешки, опять переделывать....