Я хочу поделиться любопытным феноменом, который вычитал в докладе по искусственному интеллекту. Называется он Model Collapse. Или коллапс моделей, по аналогии с коллапсом волновой функции.
Суть в следующем. Модели ИИ тренируются на данных. Книги, доклады, но в частности это посты, статьи и комментарии в интернете.
При этом в интернете сейчас всё больше и больше слопа, то есть контента, сделанного такими ИИшенками. Выходит забавная ситуация, где новые ИИ основываются на данных, сделанных более примитивными моделями.
И с каждым поколением нейронок деградация систем всё усиливается и усиливается, пока в один момент ии не начнет выдавать абсолютно усреднённую информацию. Спрашиваете "Что такое кошка?", и получаете "Животное, вроде бы". Или просто "😳 ".
Это своего рода ИИ-альцгеймер. Хорошего лечения нет, прогноз неутешительный.
Суть в следующем. Модели ИИ тренируются на данных. Книги, доклады, но в частности это посты, статьи и комментарии в интернете.
При этом в интернете сейчас всё больше и больше слопа, то есть контента, сделанного такими ИИшенками. Выходит забавная ситуация, где новые ИИ основываются на данных, сделанных более примитивными моделями.
И с каждым поколением нейронок деградация систем всё усиливается и усиливается, пока в один момент ии не начнет выдавать абсолютно усреднённую информацию. Спрашиваете "Что такое кошка?", и получаете "Животное, вроде бы". Или просто "
Это своего рода ИИ-альцгеймер. Хорошего лечения нет, прогноз неутешительный.
Please open Telegram to view this post
VIEW IN TELEGRAM
🦄3
И, казалось бы, ну и что? Мы, люди, тоже учимся на трудах прошлых поколений. В школе читаем литературу прошлых столетий, в вузах также старые учебники. Я держу папочку с вебкомиксами нулевых и начала десятых, что по меркам интернета уже Древняя Греция. Почему мы можем, а ИИ — нет?
Ответ в учителях и наставниках. В школе есть учителя, которые в процессе обучения скажут, что так, а что нет. В универе преподаватель сообщает, что этот учебник, в общем-то, устарел, но вот эту формулу и утверждение из абзаца ниже стоит законспектировать.
В терминологии машинного обучения это называется "разметкой данных". Как вы решаете капчу, отмечая квадратики с пешеходным переходом, так и данные для ИИ можно выделять и делать пометки на полях.
Ирония в том, что "учителя" для ИИ очень дорогие. Вы можете представить, сколько людей потребуется для того, чтобы отсеять тот же ИИ-слоп из интернета, допустим, за год? И я тоже не могу, так как распознание текстового слопа это не то же самое, что найти пешеходный переход. К тому же, если вы сможете найти нужное количество тысяч человек, им надо будет платить деньги.
Возможно, что в сумме за год это будет много денег. Возможно, что это будет экономически невыгодно даже для ИИ-гигантов.
Ответ в учителях и наставниках. В школе есть учителя, которые в процессе обучения скажут, что так, а что нет. В универе преподаватель сообщает, что этот учебник, в общем-то, устарел, но вот эту формулу и утверждение из абзаца ниже стоит законспектировать.
В терминологии машинного обучения это называется "разметкой данных". Как вы решаете капчу, отмечая квадратики с пешеходным переходом, так и данные для ИИ можно выделять и делать пометки на полях.
Ирония в том, что "учителя" для ИИ очень дорогие. Вы можете представить, сколько людей потребуется для того, чтобы отсеять тот же ИИ-слоп из интернета, допустим, за год? И я тоже не могу, так как распознание текстового слопа это не то же самое, что найти пешеходный переход. К тому же, если вы сможете найти нужное количество тысяч человек, им надо будет платить деньги.
Возможно, что в сумме за год это будет много денег. Возможно, что это будет экономически невыгодно даже для ИИ-гигантов.
💯1
Фото с вчерашнего пикника, сделанное участницей
(да, это белка. в Музеоне. Белка! В центре Москвы!)
(да, это белка. в Музеоне. Белка! В центре Москвы!)
❤3
во-первых, во-первых, я начал (со врачом) планомерное снижение антидепрессанта! спустя восемь лет состояние стало настолько стабильным и воздух в голове очистился так, что смысла вентилировать нет, уже справляюсь
несмотря на разрыв отношений в марте, болезнь кошек, тоску по старому другу, и многое другое, я жив и хочу жить
с лёгкой подачи подруги сходил в кино на этой неделе на премьеру первых серий Призрака в Доспехах. это перезапуск аниме-сериала который близок по сюжету к фильму 1995 года, но по атмосфере и характерам героев почти как манга. и это офигенно! из минусов только насыщенность, он, простите, слишком гиперактивный, если вы не разбираетесь в лоре вселенной и не смотрели тот же одноимённый фильм Мамору Осии или Синдром Одиночки, то вам будет трудно понять, что происходит на экране
последние недели... три? три недели подряд играю в Minecraft Dungeons. это как diablo, с видом сверху, с зачисткой уровней, но по вселенной майнкрафта. и затягивает на отлично. два дня зачищать уровни в поисках прокачанного лука, чтобы на следующем задании случайный крипер отразил твою заряженную стрелу, моментально лоботомируя... это мотивирует экспериментировать с разными предметами и механиками. 9/10
неделю назад проводил крупную сходку в Коворкинге. отметилось 18+ человек, как можно было увидеть в прошлых постах здесь. пришло всего семь. но всё равно было здорово и я доволен
несмотря на разрыв отношений в марте, болезнь кошек, тоску по старому другу, и многое другое, я жив и хочу жить
с лёгкой подачи подруги сходил в кино на этой неделе на премьеру первых серий Призрака в Доспехах. это перезапуск аниме-сериала который близок по сюжету к фильму 1995 года, но по атмосфере и характерам героев почти как манга. и это офигенно! из минусов только насыщенность, он, простите, слишком гиперактивный, если вы не разбираетесь в лоре вселенной и не смотрели тот же одноимённый фильм Мамору Осии или Синдром Одиночки, то вам будет трудно понять, что происходит на экране
последние недели... три? три недели подряд играю в Minecraft Dungeons. это как diablo, с видом сверху, с зачисткой уровней, но по вселенной майнкрафта. и затягивает на отлично. два дня зачищать уровни в поисках прокачанного лука, чтобы на следующем задании случайный крипер отразил твою заряженную стрелу, моментально лоботомируя... это мотивирует экспериментировать с разными предметами и механиками. 9/10
неделю назад проводил крупную сходку в Коворкинге. отметилось 18+ человек, как можно было увидеть в прошлых постах здесь. пришло всего семь. но всё равно было здорово и я доволен
❤4
На самом деле, я не знаю, что делать во время отпуска. Я разучился отдыхать. Мой последний официальный отпуск был очень давно.
До сегодняшнего дня был уверен, что последний отпуск был в 2024-м. Посмотрел по фотоальбомам, и неее, альбом с Суздалем датируется 2022-м годом.
То есть, все четыре года мои отпуска по факту могли быть только когда я не имел работы.
До сегодняшнего дня был уверен, что последний отпуск был в 2024-м. Посмотрел по фотоальбомам, и неее, альбом с Суздалем датируется 2022-м годом.
То есть, все четыре года мои отпуска по факту могли быть только когда я не имел работы.
😱3
Но, как вы знаете, когда нет работы, работа всё равно есть, это проходить собеседования, составлять отклики, и многое другое.
У самурая нет отпуска, только путь. Не было, потому что сегодня я хочу погулять по парку.
У самурая нет отпуска, только путь. Не было, потому что сегодня я хочу погулять по парку.
🔥3