Cognition, Language and Technology | Познание, языки и искусственный интеллект
30 subscribers
34 photos
4 videos
37 links
Самое интересное о развитии интеллектуальных технологий с точки зрения лингвиста

Исследования: https://t.me/cognitionairesearch
Download Telegram
Кстати, на этой платформе можно не только сравнить работу разных моделей, но еще и поиграться с основными параметрами!
Я как-то участвовала в переводе статьи про то, как эти параметры работают - ее можно найти здесь.
🤓2
А вообще, рекомендую выбирать будущую нишу уже сейчас😄
👨‍💻2
#неИИединым

Я очень прониклась эстетикой Дюны (которая фильм) - интриги, величественная пустыня, атмосферный саундтрек. А еще во второй части особенно заметным для меня стал язык фрименов. Поскольку я не владею восточными языками, мне стало интересно, насколько этот язык схож с чем-то уже существующим, или же он создан авторами с нуля.

И, как оказалось, над этим языком поработал известный конлангер Дэвид Питерсон, который ранее участвовал в создании языков для таких проектов как “Игра престолов”, “Аватар”, “Ведьмак” и пр. Питерсон использовал слова, взятые Фрэнком Гербертом (автором оргинального романа) из арабской культуры, но расширил язык, создав полноценную грамматику и обширный словарь. Чакобса (таково название фрименского языка) получился флективным языком с развитой системой склонений.

При этом сам Герберт имел целью провести параллели между современным миром и вселенной Дюны, использовав реально существующие в арабском слова и концепты в речи фриманов. Поэтому некоторые замены и опущения, сделанные Питерсоном (например, замена слова “джихад” (jihad) на “священная война” (holy war)) вызвало дискуссии о сохранении авторского замысла и культурных отсылок.

В свою очередь Питерсон обосновывает изменения, внесенные в чакобса, лингвистическими процессами: за 20 000 лет язык неизбежно претерпел бы значительные трансформации и не смог бы в точности сохранить некоторые аспекты современного языка. Он напомнил, что вся письменная история человеческих языков насчитывает всего-то 6000 лет, а какие метаморфозы мы видим! Подробнее про его его подход можно почитать здесь.

Нейронка, говорящая на чакобса. Когда?
👍1🔥1
🧠
Заметила, что некоторые фразы на иностранных языках я помню благодаря тому, что встречала их в песнях) Почему-то язык, наложенный на ритм, нам проще запоминать. Вообще, взаимосвязь музыки и языка давно исследуется - например, было обнаружено, что дети, которые обучались музыке, имели лучшие способности в различных языковых навыках. Вероятно, этому способствует устройство нашего мозга - центр обработки речи частично совпадает с центром обработки музыки.

В прошлом году исследовательской группе из UTHealth Houston удалось получить более точные результаты по активности мозга для этих двух задач. Они провели краниотомию музыканту с опухолью в головном мозге, который во время операции находился в сознании, а на поверхности его мозга были установлены сверхчувствительные датчики. Пациент слушал музыку и играл на мини-клавиатуре, а также слушал и повторял различные предложения, описания объектов и прочие языковые структуры.

В итоге, ученые обнаружили, что активность в височной доле мозга является общей для обработки как музыки, так и языка. Однако при возрастании сложности мелодий или грамматических структур активируются уже различные области мозга. То есть, чем сложнее становились грамматические структуры или мелодии, тем более отдаленные участки включались в работу. Операция в итоге прошла успешно, опухоль удалили без повреждения обеих функций. 🤟
Статью можно почитать тут
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Audio
Существуют разные аудио иллюзии, показывающие, что мы можем услышать одну и ту же последовательность звуков, но в некоторых случаях воспринимать ее как речь, а в других - как музыку.

Вот небольшой отрывок из подкаста Naked Neuroscience. Если вы прослушаете фразу на записи многократно, через повторений 5-10 она начнет звучать как песня. Удивительно то, что в первый раз предложение звучит как обычная речь, а затем, после нескольких повторений, практически каждый послушавший начинает слышать, как голос на записи поет.

И если затем прослушать полное предложение снова, сначала оно будет звучать, как обычная речь, но когда дело дойдет до фрагмента, который мы прослушали на повторе, все снова превратится в песню. Поздравляю, теперь вы не сможете этого расслышать)
👏2
Cognition, Language and Technology | Познание, языки и искусственный интеллект pinned «Всеобщий интерес к пересечению лингвистики, когнитивных наук и технологий (в частности, ИИ), кажется, достиг своего пика. Мне, как лингвисту, особенно интересно узнавать о взаимодействии этих областей. О том, как они влияют друг на друга, чем могут быть друг…»
А как и зачем у нас появилось понимание музыки? 🎶
Исследователи из Кореи решили ответить на этот вопрос с помощью нейросетей. Их исследование показало, что способность к музыкальному восприятию может возникнуть в результате обработки естественных звуков, включая речь, даже без специальной музыкальной подготовки.

Исследователи тренировали нейронные сети глубокого обучения (DNN) распознавать естественные звуки (журчание воды, порывы ветра, лаяние, речь и прочие) без включения в обучающую выборку музыкальных композиций. Затем они проверили работу нейросетей на звуках, уже включая музыку, и обнаружили, что сети-таки сформировали уникальное представление о ней. То есть, определенные “нейроны” этих сетей реагировали сильнее на музыкальные произведения, чем на любые другие звуки. Причем, если особо реагирующие на музыку нейроны ограничивали в активности, это сказывалось и на качестве распознавания других звуков.

Понятно, что использованные нейросети не являются точной моделью мозга, но результаты могут говорить в пользу гипотезы о том, что эволюционная необходимость обработки естественных звуков способствовала формированию в мозге универсальной нейробиологической основы для обработки музыки.
Please open Telegram to view this post
VIEW IN TELEGRAM
2
В рамках небольшого эксперимента с нейросетями для генерации музыки было создано два произведения, посвященных одному из самых популярных грызунов - бобру🦫
В эксперименте участвовали две нейросети - Suno и Udio.
Музыкальный жанр был выбран одинаковый для обеих нейросеток: Ambient, nu-disco, emotional chords, 104 bpm
Текст на польском был написан Suno на основании знаменитой фразы из мема.
Оцените, результат какой нейросетки вам нравится больше?
Можно послушать на площадках: Suno или Udio
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🧬У Google DeepMind вышла модель AlphaFold-3 для визуализации молекулярных структур
Ее уже называют величайшим прорывом в области ИИ для биологии.

Инновация заключается в том, что в AlphaFold-3 используется диффузионная архитектура. По сути, механизм, лежащий в основе моделей для генерации изображений, позволяет визуализировать работу и взаимодействие между белками живого организма и влияние на них различных химических элементов!
Модель в разы эффективнее уже существующих методов со схожим назначением.

Потенциально AlphaFold-3 открывает новые горизонты в биологии - от разработки биовозобновляемых материалов и изучения работы различных препаратов до получения новых инсайтов в области генетики. Есть большая надежда, что модель поможет в поиске лечения от рака.

Для исследователей доступен бесплатный сервер AlphaFold Server
🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
У Anthropic, создателей модели Claude, появилась новая (пока экспериментальная) фича по созданию оптимизированного промпта. Пользователь примерно описывает, что он хочет получить в конечном итоге, а оптимизатор прописывает промпт так, чтобы при его использовании модель давала наиболее точный результат.
Как видно на видео, для уточнения запроса могут использоваться различные теги и супер развернутые формулировки. Можно зарегистрироваться вот здесь и попробовать. Но, кажется, опция доступна только в платных аккаунтах. В целом, пользователи пока отзываются о ней без особого энтузиазма - такое, якобы, можно и от любой другой модели получить.

💡Мы как раз на днях размышляли над тем, как в будущем будет оптимизировано взаимодействие между человеком и подобными моделями.
В идеале, мы бы хотели получать точные результаты с помощью запросов на естественном языке с минимальным количеством усилий. Но, как видим, чтобы добиться от ИИ именно того результата, что мы представляем у себя в голове, нужно уметь составлять какие-то особые запросы, читать документацию к каждой модели, использовать различные приемчики. Это, конечно, проще, чем учиться программированию или составлять саммари 100-страничного документа самостоятельно, но все равно не верх удобства. Не зря же даже специалисты отдельные появились - промпт-инженеры, владеющие искусством заклинания ИИ.

Интересно, что вероятнее:
люди в будущем станут точнее пользоваться естественным языком, чтобы описать желаемый результат;
будут разработаны гибридные языки с элементами программирования для работы с ИИ над конкретными задачами;
либо же модели научатся понимать нас с полуслова?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Привет всем! Cпасибо, что подписались!
Надеюсь, нам будет интересно ☺️

Пока выложу несколько бесплатных сервисов, которыми пользуюсь чаще всего, либо просто нахожу занимательными.

🖋Текстовые:
- ChatGPT. Версию 4o и 3.5 использую для каких-то простых вопросов - что-то отредактировать, подкинуть идею или объяснить простыми словами. Вот в этом посте писала, как бесплатно использовать GPT-4 через Bing, если хочется получить доступ к модели поумнее. Например, она лучше справляется с генерацией кода.
- Google AI Studio (Gemini) - делает удобные структурированные саммари. Также позволяет работать с различными файлами - pdf, аудио и видео.
- Perplexity - можно использовать как интеллектуальный поиск полезных ресурсов и статей.

🔈Аудио:

- ElevenLabs - озвучить текст или изменить свой собственный голос. Также недавно появилась возможность генерации различных звуков и даже музыки.

🎵Музыка:
- Suno и Udio. Результаты работы этих двух моделей можно послушать и проголосовать за понравившийся вот в этом посте

🖼Генерацией картинок/видео занимаюсь довольно редко, но из тех, что использовала бесплатно, могу отметить эти:
- Genmo - создание коротких видео по описанию
- Vidnoz - видео с ИИ-аватаром и озвучкой
- Stable Diffusion и Bing - изображения

🤗Для специалистов существует сообщество Hugging Face, на сайте которого можно найти предобученную модель почти для любой цели.

На платформе LMSYS можно сравнить работу разных моделей для ваших задач.

Если у вас на примете есть стоящие внимания нейроресурсы или оригинальные способы использования этих, делитесь ими в комментариях!
3
#brainbrainbrain🧠

Человеческий мозг потребляет энергии примерно как лампочка, однако способен на то, что самым крупным существующим нейронкам пока недоступно. Чтобы понять, почему мозг такой эффективный, требуется более глубокое изучение его устройства. Нейробиологи из исследовательской группы Connectomics компании Google Research работают над созданием карты мозга - точного отображения того, как каждый нейрон связан с другими мозговыми клетками и структурами. Исследователи убеждены, что такая карта поможет нам ответить на фундаментальные вопросы, например, как формируются воспоминания, а также лучше понять сущность неврологических расстройств.

В честь своего десятилетия группа выложила визуализацию небольшого участка человеческого мозга размером 1 кубический миллиметр, в котором около 16 000 нейронов и 150 миллионов синапсов. Заявляется, что этот проект выявил ранее не изученные структуры в человеческом мозге, которые могут изменить наше понимание того, как он работает.

Вообще, в человеческом мозге насчитывают около 80-100 миллиардов нейронов. Для сравнения, ранее ученые составили карту нервной системы мухи дрозофилы, у которой всего 125 тысяч нервных клеток, но на это у них ушло более 10 лет! Можно представить, сколько придется ждать полной карты человеческого мозга. Каждый участок ученые нарезают на супер тонкие слайсы, сканируют их, соединяют воедино и окрашивают все структуры, таким образом нанометр за нанометром получая объемную модель. Пока что ученые надеются сделать важные открытия в процессе составления карты мышиного мозга, который больше похож на человеческий, но существенно меньше него.
Однако новые технологии, включая мыашинное обучение, могут существенно ускорить этот процесс, и, возможно, нам не придется ждать ошеломительных открытий сотни лет)

Пока можно посмотреть на отсканированный участочек, потыкать разные слои и структуры. Как минимум это красиво)
3
Вчера OpenAI представили новую гпт-модель - ChatGPT-4o

Особенность модели в том, что она мультимодальна - то есть обучена сразу на нескольких типах данных: тексты, аудио и изображения. В теории, это должно улучшить ее понимание интонаций, настроения, эмоций.

С ChatGPT-4o можно будет разговаривать голосом! На демо модель приятно болтает с разработчиками, хихикает и шутит. Она может осуществлять устный перевод в реальном времени, поможет решить линейное уравнение или объяснить, почему твой код не работает. Говорят, что качество ответов не сильно отличается от предыдущих поколений, но скорость работы выросла в два раза.

В ближайшие дни модель появится на платформе OpenAI бесплатно! Некоторым пользователям она уже стала доступна (в плейграунде, если оплачен API, например). Правда, голосовую функцию придется подождать еще пару недель.

STRONG HER VIBES
👏3
После презентации акции Duolingo что-то приуныли(
🥴2
Дружба по алгоритму

После презентации новой модели ChatGPT многие задались вопросом, а не слишком ли там много “личности”? Она шутит, флиртует (иногда даже чрезмерно), поддерживает разговор. Нужно ли делать машины такими “человечными”, либо безопаснее оставить их нейтральными и сдержанными? Мы хотим с ними дружить или отвести им роль помощников в рабочих процессах?

Еще рано говорить о самовозникновении личности у машин, но стоит признать, что при должной настройке чат-боты могут хорошо имитировать человеческое поведение, эмпатию и заинтересованность. В статье Кевина Руза в The New York Times поднимается занимательный аспект взаимоотношений человека и чат-ботов. Автор провел месяц общаясь в специальных приложениях с 18 виртуальными ИИ-друзьями - от психолога до адвоката. По его словам, он все еще предпочитает общение с реальными людьми, но новые собеседники сделали его жизнь приятнее - они выслушивали его проблемы, поддерживали и даже давали мудрые советы.

Спрос на общение и даже романтические отношения с чат-ботами растет быстро - это помогает многим людям справляться с одиночеством и стрессом. Недавно проведенное исследование показало, что ИИ дает людям ощущение принятия. Участники исследования ученых из USC Marshall School of Business общались с ИИ и с реальными людьми. Результат показал, что участники считали ответы ИИ более понимающими и сочувственными, чем человеческие (когда не знали, что им отвечает ИИ, но это другой разговор). Это может быть связано с тем, что ИИ не поддается эмоциональному влиянию и не дает непрошенных советов. Задача чат-бота - выслушать и проявить эмпатию.

Но где граница между помощью и зависимостью? Не станут ли люди предпочитать виртуальных друзей реальным, приобретут нереалистичное представление о взаимоотношениях и потеряют способность строить их в реальном мире? К тому же, слишком антропоморфные чат-боты могут вызвать ложное чувство дружбы или влюбленности. Но, по факту, они пока не имеют собственных чувств, мыслей или желаний, а лишь симулируют общение на основе алгоритмов и огромных массивов данных. Еще некоторые подобные приложения используют манипулятивные методы для удержания пользователей и извлечения прибыли. Например, они могут привлекать одиноких людей романтическими перспективами, а затем предлагать платные услуги по "улучшению" виртуального партнера или даже продавать сгенерированные нюдсы. Уже есть люди, которые тратят на ИИ-подружек около 10 тыс. долларов в месяц.

Вот такая интригующая сторона human-computer interaction. Безусловно, технологии имеют потенциал улучшить нашу жизнь, но создают новые риски и этические вопросы.

Вы, например, как отнеслись бы к тому, что ваш партнер общается с ИИ-девчонками/мальчишками/агендерами?)😏
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥1
Сгенерировать чат-ботов со своим характером можно, например, с помощью этих сервисов.

Character.ai - проект бывших сотрудников Google
Replika
Nomi.ai
Kindroid.ai
Candy.ai
EVA

Как вам идея завести карманного Снуп Дога, например?
2