[дневник Игоря] JournalD
48 subscribers
1.17K photos
22 videos
11 files
164 links
Личный дневник с переживаниями и думами инженера.
Download Telegram
Я хочу поделиться любопытным феноменом, который вычитал в докладе по искусственному интеллекту. Называется он Model Collapse. Или коллапс моделей, по аналогии с коллапсом волновой функции.

Суть в следующем. Модели ИИ тренируются на данных. Книги, доклады, но в частности это посты, статьи и комментарии в интернете.
При этом в интернете сейчас всё больше и больше слопа, то есть контента, сделанного такими ИИшенками. Выходит забавная ситуация, где новые ИИ основываются на данных, сделанных более примитивными моделями.

И с каждым поколением нейронок деградация систем всё усиливается и усиливается, пока в один момент ии не начнет выдавать абсолютно усреднённую информацию. Спрашиваете "Что такое кошка?", и получаете "Животное, вроде бы". Или просто "😳".

Это своего рода ИИ-альцгеймер. Хорошего лечения нет, прогноз неутешительный.
Please open Telegram to view this post
VIEW IN TELEGRAM
🦄3
И, казалось бы, ну и что? Мы, люди, тоже учимся на трудах прошлых поколений. В школе читаем литературу прошлых столетий, в вузах также старые учебники. Я держу папочку с вебкомиксами нулевых и начала десятых, что по меркам интернета уже Древняя Греция. Почему мы можем, а ИИ — нет?

Ответ в учителях и наставниках. В школе есть учителя, которые в процессе обучения скажут, что так, а что нет. В универе преподаватель сообщает, что этот учебник, в общем-то, устарел, но вот эту формулу и утверждение из абзаца ниже стоит законспектировать.

В терминологии машинного обучения это называется "разметкой данных". Как вы решаете капчу, отмечая квадратики с пешеходным переходом, так и данные для ИИ можно выделять и делать пометки на полях.

Ирония в том, что "учителя" для ИИ очень дорогие. Вы можете представить, сколько людей потребуется для того, чтобы отсеять тот же ИИ-слоп из интернета, допустим, за год? И я тоже не могу, так как распознание текстового слопа это не то же самое, что найти пешеходный переход. К тому же, если вы сможете найти нужное количество тысяч человек, им надо будет платить деньги.
Возможно, что в сумме за год это будет много денег. Возможно, что это будет экономически невыгодно даже для ИИ-гигантов.
💯1
Новый хонкай выглядит хорошо
(Кужлёвка, 2023)
😁2
я и серия игр по сталкеру
1💯1🗿1
перерыв на кошек
2
сделаю вид что я не умею считать, у меня никогда не было таких сходок 0_0
Фото с вчерашнего пикника, сделанное участницей

(да, это белка. в Музеоне. Белка! В центре Москвы!)
3
за последнее время много интересного произошло, будет мегапост в етом дневнике
3
во-первых, во-первых, я начал (со врачом) планомерное снижение антидепрессанта! спустя восемь лет состояние стало настолько стабильным и воздух в голове очистился так, что смысла вентилировать нет, уже справляюсь
несмотря на разрыв отношений в марте, болезнь кошек, тоску по старому другу, и многое другое, я жив и хочу жить

с лёгкой подачи подруги сходил в кино на этой неделе на премьеру первых серий Призрака в Доспехах. это перезапуск аниме-сериала который близок по сюжету к фильму 1995 года, но по атмосфере и характерам героев почти как манга. и это офигенно! из минусов только насыщенность, он, простите, слишком гиперактивный, если вы не разбираетесь в лоре вселенной и не смотрели тот же одноимённый фильм Мамору Осии или Синдром Одиночки, то вам будет трудно понять, что происходит на экране

последние недели... три? три недели подряд играю в Minecraft Dungeons. это как diablo, с видом сверху, с зачисткой уровней, но по вселенной майнкрафта. и затягивает на отлично. два дня зачищать уровни в поисках прокачанного лука, чтобы на следующем задании случайный крипер отразил твою заряженную стрелу, моментально лоботомируя... это мотивирует экспериментировать с разными предметами и механиками. 9/10

неделю назад проводил крупную сходку в Коворкинге. отметилось 18+ человек, как можно было увидеть в прошлых постах здесь. пришло всего семь. но всё равно было здорово и я доволен
4
это моя первая немезида, которая длилась 7 часов
Бэкрумс но тебя преследует проклятый торт-ёж сделанный аутистками
Шикимори как всегда
(комментарии под "Табакошка" / Yani Neko)
И к хорошим новостям: завтра отпуск
🙏2
На самом деле, я не знаю, что делать во время отпуска. Я разучился отдыхать. Мой последний официальный отпуск был очень давно.
До сегодняшнего дня был уверен, что последний отпуск был в 2024-м. Посмотрел по фотоальбомам, и неее, альбом с Суздалем датируется 2022-м годом.
То есть, все четыре года мои отпуска по факту могли быть только когда я не имел работы.
😱3
Но, как вы знаете, когда нет работы, работа всё равно есть, это проходить собеседования, составлять отклики, и многое другое.
У самурая нет отпуска, только путь. Не было, потому что сегодня я хочу погулять по парку.
🔥3