Всеобщий интерес к пересечению лингвистики, когнитивных наук и технологий (в частности, ИИ), кажется, достиг своего пика. Мне, как лингвисту, особенно интересно узнавать о взаимодействии этих областей. О том, как они влияют друг на друга, чем могут быть друг другу полезны.

В этом канале я планирую выкладывать то, что заинтересовало меня, привлекло внимание, показалось важным или практически применимым. Все - от научных вопросов до прикладного применения ИИ.

Узнала тут, что доступ к ChatGPT-4 можно получить бесплатно!
Для этого нужно скачать приложение Bing (есть даже в российском AppStore, но для использования может понадобиться VPN).
Заходим в свой аккаунт Microsoft (или создаем новый), тыкаем в Copilot и попадаем в чат, где можно попросить помощи у GPT-4 в разных задачах, включая создание картинок в качестве, сравнимом с платными нейронками.

Недавно прочитала интересную статью о распознавании и предпочтении большими языковыми моделями своего собственного творчества. Кажется, что LLM, такие как GPT-4 и Llama 2, оценивают свои собственные тексты выше, чем тексты, созданные другими LLM или людьми, даже если качество этих текстов по сути одинаково 😏

Как проводилось исследование:
📚Работа моделей оценивалась на кратком изложении новостей. Им показывали пары текстов (один созданный самой моделью, другой - кем-то еще - человеком или альтернативной моделью) и просили определить свой текст.
👩‍🏫Далее LLM оценивали качество изложений (своих и других авторов) по шкале от 1 до 5, после чего исследователи анализировали частоту предпочтения языковыми моделями своих собственных текстов.
🔧Помимо этого, модели проходили fine-tuning для усиления или снижения способности к самораспознаванию (self-recognition), чтобы можно было оценить реальное влияние этого параметра на самопредпочтение (self-preference).

В итоге исследование показало, что LLM могут с определенной точностью отличать свои собственные тексты от текстов других авторов. При этом исследователи обнаружили линейную корреляцию между самораспознаванием и самопредпочтением. Чем лучше LLM распознает свои тексты, тем чаще они предпочитают именно их. Да и в целом, они чаще оценивают сгенерированные нейронками тексты выше, чем написанные человеком.

Как утверждают авторы, самопредпочтение – это реальная проблема, которая может влиять на объективность оценки LLM. При этом вероятной причиной самопредпочтения является самораспознавание. С обоими явлениями предстоит бороться во имя обеспечения безопасности и надежности ИИ🥷

#llm #selfrecognition #selfpreference

Борюсь с экзистенциально-профессиональным кризисом, порожденным LLM, с помощью LLM😅

Это, кстати, исследовательская площадка для сравнения работы различных моделей (дело рук LMSYS и UC Berkeley SkyLab).
Недавно там появилась загадочная модель gpt2-chatbot, о сущности которой теперь строят догадки в твитере. Пользователи предполагают, что это тот самый GPT с Q*, способный решать математические задачи особой сложности. Говорят, что модель дает довольно хорошие результаты в сравнении с тем же GPT4.

Остается ждать новостей!

Кстати, на этой платформе можно не только сравнить работу разных моделей, но еще и поиграться с основными параметрами!
Я как-то участвовала в переводе статьи про то, как эти параметры работают - ее можно найти здесь.

А вообще, рекомендую выбирать будущую нишу уже сейчас😄

#неИИединым

Я очень прониклась эстетикой Дюны (которая фильм) - интриги, величественная пустыня, атмосферный саундтрек. А еще во второй части особенно заметным для меня стал язык фрименов. Поскольку я не владею восточными языками, мне стало интересно, насколько этот язык схож с чем-то уже существующим, или же он создан авторами с нуля.

И, как оказалось, над этим языком поработал известный конлангер Дэвид Питерсон, который ранее участвовал в создании языков для таких проектов как “Игра престолов”, “Аватар”, “Ведьмак” и пр. Питерсон использовал слова, взятые Фрэнком Гербертом (автором оргинального романа) из арабской культуры, но расширил язык, создав полноценную грамматику и обширный словарь. Чакобса (таково название фрименского языка) получился флективным языком с развитой системой склонений.

При этом сам Герберт имел целью провести параллели между современным миром и вселенной Дюны, использовав реально существующие в арабском слова и концепты в речи фриманов. Поэтому некоторые замены и опущения, сделанные Питерсоном (например, замена слова “джихад” (jihad) на “священная война” (holy war)) вызвало дискуссии о сохранении авторского замысла и культурных отсылок.

В свою очередь Питерсон обосновывает изменения, внесенные в чакобса, лингвистическими процессами: за 20 000 лет язык неизбежно претерпел бы значительные трансформации и не смог бы в точности сохранить некоторые аспекты современного языка. Он напомнил, что вся письменная история человеческих языков насчитывает всего-то 6000 лет, а какие метаморфозы мы видим! Подробнее про его его подход можно почитать здесь.

Нейронка, говорящая на чакобса. Когда?

яяяяя

Существуют разные аудио иллюзии, показывающие, что мы можем услышать одну и ту же последовательность звуков, но в некоторых случаях воспринимать ее как речь, а в других - как музыку.

Вот небольшой отрывок из подкаста Naked Neuroscience. Если вы прослушаете фразу на записи многократно, через повторений 5-10 она начнет звучать как песня. Удивительно то, что в первый раз предложение звучит как обычная речь, а затем, после нескольких повторений, практически каждый послушавший начинает слышать, как голос на записи поет.

И если затем прослушать полное предложение снова, сначала оно будет звучать, как обычная речь, но когда дело дойдет до фрагмента, который мы прослушали на повторе, все снова превратится в песню. Поздравляю, теперь вы не сможете этого расслышать)