Авторегрессия рекомендаций
Современные лингвистические ИИ (большие лингвистические модели) работают по принципу "авторегрессии": предыдущие символы предсказывают следующие. Не удивительно, что рано или поздно подобное "самопредсказание" должно выходить на некое плато.
Плохие модели начинают буквально спамить одинаковым текстом, каким-нибудь зациклившимся словом.
Хорошие пытаются выжать из пользователя что-нибудь новенькое, переходя на касательную тему, или пытаются вызвать желание прекратить диалог, делая некие как бы подводящие итог беседы замечания.
Важно, что источником новизны – а значит, вообще, источником осмысленности – является пользовательская активность. Для конкретного диалога активность конкретного пользователя, а для развития моделей в целом активность миллионов общающихся с ними людей (и десятков тысяч нанятых профессиональных рецензентов).
Модели как бы выжимают смыслы из массива текстов – похоже на буквально извлечение полезных ископаемых из недр. Сначала выжали смыслы из архива интернета за 2021 год. Выжали, по-видимому, до суха, и теперь остаётся выжимать смыслы уже из общения пользователей с самими ИИ. Большой интернет контаминируется продуктами моделей, которые неуёмно используют на всех основных публицистических площадках, использовать его "как есть" посему не выйдет – а логи диалогов с ИИ, ну понятно, априори несут отпечаток ИИ минимум на половину.
На эту систему можно взглянуть шире – вот уже сами люди вовлекаются в авторегрессионную модель, обучаясь на ИИ-продуктах и ИИ-взаимодействиях и стараясь (вольно или невольно) породить контент, который вписывается в шаблоны, который случайно подцепил ИИ (сам или через произвольный выбор ИИ-тренеров).
Особенно ярким примером такой человеко-машинной авторегрессии являются рекомендательные системы. Это всё то программное обеспечение (с элементами ИИ), которое подкидывает видео в ютюбах и тиктоках, посты в дзенах и фейсбуках, игры в стиме, музыку и фильмы в стриминговых сервисах.
В известный момент во всех этих сервисах отменили всякую возможность упорядочивать контент – отменили жанры и теги. В итоге Dota и Slay The Spire, например, оказались в Стиме в едином разделе Strategy games. А облако тегов из забавной картинки, помогающей ориентироваться в содержании, превратилось в произвольный список, который стоило бы добавить в блокировщик рекламы.
Зачем это сделали? Чтобы "рексистемы" давали пользователям индивидуальные рекомендации на основе их фактической активности, чтобы навязанные схемы не искажали произвольный и свободный человеческий выбор.
Но привело это к противоположному результату (хоть и закономерному). Вместо расцвета сотен жанров видим классическое авторегрессионное схлопывание: миллионы rogue-like deck-building "indie" "strategy" games. В какой-то момент случайно выпал такой вот вектор в рексистемах, а потом люди, лишённые возможности обучаться всё более тонкому выбору (что возможно единственно через развитие онтологии всё более тонких различий – т.е., для игр, формализации жанров в частности и игровых компонентов в общем), сработали как усилитель этого схлопывания.
Кстати, настойчивое нежелание заниматься определением слова "интеллект" (из словосочетание "искусственный интеллект") ведь результатом имеет в точности то же: авторегрессионный коллапс "интеллектуальности" в информационной среде в целом.
Ранее сходные темы обсуждали здесь:
– Двойное определение разума (27.03.2023)
– Дискриминатор разумности (21.05.2023)
– Коллапс модели (01.10.2023)
Современные лингвистические ИИ (большие лингвистические модели) работают по принципу "авторегрессии": предыдущие символы предсказывают следующие. Не удивительно, что рано или поздно подобное "самопредсказание" должно выходить на некое плато.
Плохие модели начинают буквально спамить одинаковым текстом, каким-нибудь зациклившимся словом.
Хорошие пытаются выжать из пользователя что-нибудь новенькое, переходя на касательную тему, или пытаются вызвать желание прекратить диалог, делая некие как бы подводящие итог беседы замечания.
Важно, что источником новизны – а значит, вообще, источником осмысленности – является пользовательская активность. Для конкретного диалога активность конкретного пользователя, а для развития моделей в целом активность миллионов общающихся с ними людей (и десятков тысяч нанятых профессиональных рецензентов).
Модели как бы выжимают смыслы из массива текстов – похоже на буквально извлечение полезных ископаемых из недр. Сначала выжали смыслы из архива интернета за 2021 год. Выжали, по-видимому, до суха, и теперь остаётся выжимать смыслы уже из общения пользователей с самими ИИ. Большой интернет контаминируется продуктами моделей, которые неуёмно используют на всех основных публицистических площадках, использовать его "как есть" посему не выйдет – а логи диалогов с ИИ, ну понятно, априори несут отпечаток ИИ минимум на половину.
На эту систему можно взглянуть шире – вот уже сами люди вовлекаются в авторегрессионную модель, обучаясь на ИИ-продуктах и ИИ-взаимодействиях и стараясь (вольно или невольно) породить контент, который вписывается в шаблоны, который случайно подцепил ИИ (сам или через произвольный выбор ИИ-тренеров).
Особенно ярким примером такой человеко-машинной авторегрессии являются рекомендательные системы. Это всё то программное обеспечение (с элементами ИИ), которое подкидывает видео в ютюбах и тиктоках, посты в дзенах и фейсбуках, игры в стиме, музыку и фильмы в стриминговых сервисах.
В известный момент во всех этих сервисах отменили всякую возможность упорядочивать контент – отменили жанры и теги. В итоге Dota и Slay The Spire, например, оказались в Стиме в едином разделе Strategy games. А облако тегов из забавной картинки, помогающей ориентироваться в содержании, превратилось в произвольный список, который стоило бы добавить в блокировщик рекламы.
Зачем это сделали? Чтобы "рексистемы" давали пользователям индивидуальные рекомендации на основе их фактической активности, чтобы навязанные схемы не искажали произвольный и свободный человеческий выбор.
Но привело это к противоположному результату (хоть и закономерному). Вместо расцвета сотен жанров видим классическое авторегрессионное схлопывание: миллионы rogue-like deck-building "indie" "strategy" games. В какой-то момент случайно выпал такой вот вектор в рексистемах, а потом люди, лишённые возможности обучаться всё более тонкому выбору (что возможно единственно через развитие онтологии всё более тонких различий – т.е., для игр, формализации жанров в частности и игровых компонентов в общем), сработали как усилитель этого схлопывания.
Кстати, настойчивое нежелание заниматься определением слова "интеллект" (из словосочетание "искусственный интеллект") ведь результатом имеет в точности то же: авторегрессионный коллапс "интеллектуальности" в информационной среде в целом.
Ранее сходные темы обсуждали здесь:
– Двойное определение разума (27.03.2023)
– Дискриминатор разумности (21.05.2023)
– Коллапс модели (01.10.2023)
👍13🔥3
Терминологический диспут
В довесок к предыдущему посту: читатели упрекают в использовании термина "лингвистический ИИ/модель" (используется мало и в публицистике) вместо "языковой ИИ/модель" (используется часто, в т.ч. в академической среде).
Но позвольте, какая же LLM "языковая модель"? И вообще, что такое "языковая модель", в отличие от "модели языка"?
Массив текстов (что изначально не вполне "язык") нарезают на токены, токены скармливают по порядку модели, модель учится предсказывать следующий токен. У недоученных моделей вылезает показательный артефакт – отвечают на смеси языков (например, посередине китайского текста вылазит английский), приходится исправлять дополнительными манёврами.
Какого же конкретно "языка" "языковая модель" является моделью? Праиндоевропейскосинотибетского?
Нет, братцы, использование здесь слова "язык" является искажением того же порядка, что и использование слова "интеллект" в словосочетании "искусственный интеллект".
В довесок к предыдущему посту: читатели упрекают в использовании термина "лингвистический ИИ/модель" (используется мало и в публицистике) вместо "языковой ИИ/модель" (используется часто, в т.ч. в академической среде).
Но позвольте, какая же LLM "языковая модель"? И вообще, что такое "языковая модель", в отличие от "модели языка"?
Массив текстов (что изначально не вполне "язык") нарезают на токены, токены скармливают по порядку модели, модель учится предсказывать следующий токен. У недоученных моделей вылезает показательный артефакт – отвечают на смеси языков (например, посередине китайского текста вылазит английский), приходится исправлять дополнительными манёврами.
Какого же конкретно "языка" "языковая модель" является моделью? Праиндоевропейскосинотибетского?
Нет, братцы, использование здесь слова "язык" является искажением того же порядка, что и использование слова "интеллект" в словосочетании "искусственный интеллект".
🔥6👍4
Общество тишины
Существует массовое движение экологов, озабоченных проблемами загрязнения окружающей среды. Пришло недавно в голову, что должно быть такое же движение против шумового загрязнения.
Область почему-то крайне слабо проработанная не смотря на то, что существует актуальный запрос со стороны населения планеты.
Как и у экологов, движение должно состоять из самых разных отделений: интеллигенты должны писать научные статьи и книги, журналисты заниматься общей популяризацией целей и подходов, ну а активисты пресекать враждебные действия и уничтожать инструменты их совершения.
Включил телефон на громкую связь в общественном месте – тут же дружинник показал визитку, попросил так не делать. Дети балуются с пиротехникой – поиск родителей, проведение профилактических бесед, проработка вопроса через социальные службы при отсутствии понимания. Город согласовал концерт на открытом воздухе в жилой зоне – проведение официальных замеров децибел, организация массовых жалоб, грамотное составление коллективных исков, параллельно физическое воздействие на источник шума.
Думаю, название легко завирусится, число сторонников будет расти экспоненциально. Появятся специализированные крылья. "Мировая тишина" – интернациональный орган, "Тишь да гладь" – юридическая поддержка, "Тихие люди" – ренегады-боевики (общество тишины их осуждает и отрицает всякую связь), "Слушатели тишины" – философски-эзотерическое направление.
Конечно, отсутствие подобных организаций показывает тотальную фиктивность текущего мирового политического процесса и отсутствие всяких причин в него вовлекаться хоть каплей эмоций, не говоря уже про какое-либо поведение.
UPD. "Адвокаты тишины" – правовые вопросы, "Диалектики тишины" – военизированные службы (почему диалектики? работают громко!)
Существует массовое движение экологов, озабоченных проблемами загрязнения окружающей среды. Пришло недавно в голову, что должно быть такое же движение против шумового загрязнения.
Область почему-то крайне слабо проработанная не смотря на то, что существует актуальный запрос со стороны населения планеты.
Как и у экологов, движение должно состоять из самых разных отделений: интеллигенты должны писать научные статьи и книги, журналисты заниматься общей популяризацией целей и подходов, ну а активисты пресекать враждебные действия и уничтожать инструменты их совершения.
Включил телефон на громкую связь в общественном месте – тут же дружинник показал визитку, попросил так не делать. Дети балуются с пиротехникой – поиск родителей, проведение профилактических бесед, проработка вопроса через социальные службы при отсутствии понимания. Город согласовал концерт на открытом воздухе в жилой зоне – проведение официальных замеров децибел, организация массовых жалоб, грамотное составление коллективных исков, параллельно физическое воздействие на источник шума.
Думаю, название легко завирусится, число сторонников будет расти экспоненциально. Появятся специализированные крылья. "Мировая тишина" – интернациональный орган, "Тишь да гладь" – юридическая поддержка, "Тихие люди" – ренегады-боевики (общество тишины их осуждает и отрицает всякую связь), "Слушатели тишины" – философски-эзотерическое направление.
Конечно, отсутствие подобных организаций показывает тотальную фиктивность текущего мирового политического процесса и отсутствие всяких причин в него вовлекаться хоть каплей эмоций, не говоря уже про какое-либо поведение.
UPD. "Адвокаты тишины" – правовые вопросы, "Диалектики тишины" – военизированные службы (почему диалектики? работают громко!)
👍21🔥3❤1
Рыночные соображения
Считается, что цель коммерческой компании извлекать максимальную прибыль и захватывать наибольшую долю рынка.
При этом в реальности подобное агрессивное поведение мы всё же видим скорее от молодых и смелых стартапов – причём не всех, а определённого сорта – а устоявшиеся компании как-то скучнеют и подобными банальными вопросами перестают интересоваться.
Так что, по-видимому, как минимум можно сказать что нечто им следовать заявленной цели мешает, причём значительно. Но внутренние душевные терзания миллиардеров сейчас не очень важны, взглянем отстранённо: так или иначе, пусть не по своей воле, от подобной цели зрелые компании (тем более монополисты) отказываются.
Задумался недавно, зачем Samsung в новой прошивке телефона испортил значительную часть элементов интерфейса, а оставшиеся перелицевал так, что их стало не узнать (круглое заменили на квадратное, квадратное на круглое и т.д.). Полоску управления плеером – самый важный элемент экрана блокировки – запихнули под несколько неочевидных кликов. Попробуй найди её ещё, когда надо поставить быстро на паузу или пролистать трек.
Пропустим такты не имеющей смысла конспирологии типа "да там дураки работают" (в компании мирового уровня) или "продуктовые менеджеры должны получать за что-то премии" (справедливо, но кто-то им эти премии должен назначать), и предположим, смеха ради, что ухудшают ради того, чтобы ухудшить.
А зачем надо ухудшать продукт? Ну если улучшают ради увеличения доли рынка, то ухудшают ради уменьшения. А что, логично!
Если разного размера компании, сформировавшие олигополию, дорастают до полноценного картеля (формальных договорённостей об ограничении взаимной конкуренции), то наверное в основаниях подобных отношений и соглашения о причитающихся долях рынка прописаны должны быть. А как иначе картель вообще работать будет, на честном слове что ли – убеждать друг друга будут что ничего не нарушали и "оно само", "мы просто лучше продукт выпустили"? Так дела не делаются.
Ну вот видимо Самсунгу и отписали долю в 20-25%, и с некоторой задержкой происходит самокоррекция лишнего процентика. Упадёт обратно до 18%, может и плеер вернётся на место.
Кстати, на рынке игр для ПК – Steam vs Epic Games Store – это вообще до смешного доходит. Epic Store с момента выхода на проектную мощность занимает долю ровно 15%, и ни граммом больше (как официально говорят – а это здесь даже важней того, что на самом деле). Игры дело серьёзное, не железяки продавать, думаю там такого пинка отвесят в случае работы не по правилам, ради которого не стыдно пойти на всё: и логин на семи страницах, и отсутствие отзывов, и прочее.
Ну, может ещё как-нибудь выторгуют себе повышение market share на процентик-другой, и качество продукта повысится вслед за запланированной долей – поживём!
Ранее на тему рыночной экономики говорили здесь:
– Дайте два (06.05.2022)
Считается, что цель коммерческой компании извлекать максимальную прибыль и захватывать наибольшую долю рынка.
При этом в реальности подобное агрессивное поведение мы всё же видим скорее от молодых и смелых стартапов – причём не всех, а определённого сорта – а устоявшиеся компании как-то скучнеют и подобными банальными вопросами перестают интересоваться.
Так что, по-видимому, как минимум можно сказать что нечто им следовать заявленной цели мешает, причём значительно. Но внутренние душевные терзания миллиардеров сейчас не очень важны, взглянем отстранённо: так или иначе, пусть не по своей воле, от подобной цели зрелые компании (тем более монополисты) отказываются.
Задумался недавно, зачем Samsung в новой прошивке телефона испортил значительную часть элементов интерфейса, а оставшиеся перелицевал так, что их стало не узнать (круглое заменили на квадратное, квадратное на круглое и т.д.). Полоску управления плеером – самый важный элемент экрана блокировки – запихнули под несколько неочевидных кликов. Попробуй найди её ещё, когда надо поставить быстро на паузу или пролистать трек.
Пропустим такты не имеющей смысла конспирологии типа "да там дураки работают" (в компании мирового уровня) или "продуктовые менеджеры должны получать за что-то премии" (справедливо, но кто-то им эти премии должен назначать), и предположим, смеха ради, что ухудшают ради того, чтобы ухудшить.
А зачем надо ухудшать продукт? Ну если улучшают ради увеличения доли рынка, то ухудшают ради уменьшения. А что, логично!
Если разного размера компании, сформировавшие олигополию, дорастают до полноценного картеля (формальных договорённостей об ограничении взаимной конкуренции), то наверное в основаниях подобных отношений и соглашения о причитающихся долях рынка прописаны должны быть. А как иначе картель вообще работать будет, на честном слове что ли – убеждать друг друга будут что ничего не нарушали и "оно само", "мы просто лучше продукт выпустили"? Так дела не делаются.
Ну вот видимо Самсунгу и отписали долю в 20-25%, и с некоторой задержкой происходит самокоррекция лишнего процентика. Упадёт обратно до 18%, может и плеер вернётся на место.
Кстати, на рынке игр для ПК – Steam vs Epic Games Store – это вообще до смешного доходит. Epic Store с момента выхода на проектную мощность занимает долю ровно 15%, и ни граммом больше (как официально говорят – а это здесь даже важней того, что на самом деле). Игры дело серьёзное, не железяки продавать, думаю там такого пинка отвесят в случае работы не по правилам, ради которого не стыдно пойти на всё: и логин на семи страницах, и отсутствие отзывов, и прочее.
Ну, может ещё как-нибудь выторгуют себе повышение market share на процентик-другой, и качество продукта повысится вслед за запланированной долей – поживём!
Ранее на тему рыночной экономики говорили здесь:
– Дайте два (06.05.2022)
👍10🔥3