Cognition, Language and Technology | Познание, языки и искусственный интеллект
30 subscribers
34 photos
4 videos
37 links
Самое интересное о развитии интеллектуальных технологий с точки зрения лингвиста

Исследования: https://t.me/cognitionairesearch
Download Telegram
В области искусственного интеллекта сейчас есть только два гендера мнения об AGI - как у Яна Лейке и как у Яна Лекуна. Главное не перепутать)

😱Ян Лейке (Jan Leike) - бывший сотрудник OpenAI, исследователь направления AI alignment. На прошлой неделе он ушел из компании (вместе с Ильей Суцкевером) из-за того, что, по его словам, руководство OpenAI недостаточно внимания уделяет безопасности и этичности продуктов. Он считает, что на компании лежит огромная ответственность - приближающийся AGI или даже ASI сильно повлияет на человечество, а мы не готовы!

😴В это же время Ян Лекун (Yann LeCun) - уважаемый исследователь ИИ, получивший премию Тьюринга (что-то вроде нобелевки в области IT) - считает, что об AGI пока и переживать не стоит. Якобы, текущие системы не достигли даже уровня кошки в плане понимания физической вселенной. И нам потребуются годы, чтобы получить настоящий «интеллект» на кремнии. Так что с AI alignment, считает он, спешки нет.

Может, до AGI нам еще и далеко, но вопросы этики и безопасности поднимаются уже сейчас. На ИИ-компании бесконечно подают иски о нарушении авторских прав, создают петиции о приостановке разработки интеллектуальных систем.
Скарлетт Йоханссон тоже вот считает, что Сэм Альтман использовал ее голос без разрешения.

Подробнее, в чем различие между AI, AGI и ASI ниже.🔽
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Уровни ИИ

AI (Artificial Intelligence, Искусственный Интеллект) - это общий термин, обозначающий способность машин выполнять задачи, которые требуют человеческого интеллекта.

ANI (Artificial Narrow Intelligence, Узконаправленный Искусственный Интеллект) - система, сфокусированная на решении одной определенной задачи. Например, распознавание образов, написание текстов и музыки, игра в шахматы и т.д. Это то, что мы можем наблюдать уже сейчас.

AGI (Artificial General Intelligence, Общий Искусственный Интеллект) - это более продвинутая форма AI, которая способна решать широкий спектр задач, как человек. AGI обладает интеллектом, сопоставимым с человеческим, может учиться, адаптироваться к новым ситуациям, творчески мыслить и решать проблемы, которые не были запрограммированы заранее. Пока что машины не могут учиться самостоятельно, да и вопрос об их креативности является открытым.

ASI (Artificial Super Intelligence, Искусственный Суперинтеллект) - это гипотетический уровень искусственного интеллекта, который превосходит человеческий интеллект во всех отношениях. ASI обладает способностью решать проблемы, которые недоступны даже самым гениальным людям, и может создавать технологии, которые мы даже не можем себе представить. Гипотетический суперкомпьютер поможет изобрести новые лекарства, решить проблемы изменения климата или создать новую форму искусственной жизни.

Но, вообще, хорошо бы сначала договориться, что такое «интеллект» у ИИ и как его измерить. Тесты на IQ, например, чат-боты проходят неплохо, но только адаптированные + не все исследователи считают, что результаты ИИ можно честно сравнивать с человеческими. Когда мы сможем сказать, что вот это - точно оно и оно думает?
4
Одна из проблем в разработке ИИ-систем связана с их интерпретируемостью - мы не до конца понимаем, как эти модели принимают решения. Нейросети, особенно крупные и сложные, работают как "черные ящики": они преобразуют входные данные и получают результаты через множество нелинейных операций, но детали этого процесса остаются неочевидными для людей.

Сотрудникам Antropic удалось добиться определенного прорыва в этой сфере. Впервые исследователи смогли детально рассмотреть внутренности такой крупной языковой модели как Claude Sonnet и найти зависимости между наборами ее нейронов и представлениями о мире. Благодаря технике dictionary learning, учёные создали карту “расположения” концептов внутри модели. На ней можно увидеть признаки, соответствующие огромному числу сущностей, таких как города, люди, химические элементы, научные области, а также проследить их близость относительно друг друга. Например, Golden Gate Bridge🌉 у модели лежит где-то рядом с Сан-Франциско, а концепты, связанные с "внутренним конфликтом", расположены вблизи концептов эмоций и психологии. Судя по всему, организация концепций внутри модели примерно соответствует человеческим представлениям о сходстве. Возможно, именно это позволяет моделям проводить аналогии и использовать метафоры.
Еще исследователи смогли искусственно усиливать или подавлять признаки, что приводило к изменению ответов модели. Уменьшили влияние негативных признаков - получили модель на позитиве.

Такой уровень понимания внутренней структуры модели позволяет лучше объяснять процесс принятия ею решений, что является критическим для доверия к ИИ-системам и их безопасности. Например, мы можем найти признаки, связанные с потенциально опасным поведением, таким как стремление к власти или манипуляции, и предотвратить соответствующее поведение у интеллектуальных систем.

Манипулируем моделями, чтобы они не манипулировали нами💪🏻🦾
2
#неИИединым

🐈‍⬛Как часто сбоит ваша матрица?

Наткнулась тут на подкаст с обсуждением дежавю в контексте памяти. Тема не новая, но очень манит своей загадочностью.

Дежавю (déjà vu) чаще всего связано с ощущением знакомости нового места - как будто ты тут уже был, хотя знаешь, что не был. Но этот феномен не ограничивается только пространством. Он, например, может возникать во время разговора: “кажется, я уже рассказывал эту историю”. Некоторые энтузиасты вообще выделяют 20-30 типов разных дежавю - это может быть ощущение "уже прожитого" (déjà vécu), "уже снившегося" (déjà rêvé), или “уже прочувствованного” (déjà senti).

Существует и противоположное явление - жамевю (jamais vu), когда привычные вещи, слова или лица кажутся чужими, незнакомыми. Этот феномен чаще связан с языком, например, когда слово кажется неверно написанным, несмотря на то, что мы точно знаем как его писать.

Существует мнение, что дежавю - это не ошибка памяти, а вполне здоровый механизм и скорее своеобразный "фактчек", который помогает нам лучше ориентироваться в реальности. Это как бы способ проверки памяти - точно ли я тут был или память меня обманывает? В процессе взросления/старения дежавю встречается реже, но вместо него может появиться чувство сомнения, что мы что-то уже делали или говорили. Это изменение может быть связано со снижением точности памяти или с транформирующимся взглядом на переживаемые ощущения.

Что интересно, дежавю заметно чаще встречается у людей, которые много путешествуют, то есть постоянно оказываются в новых местах. А еще у людей, которые хорошо запоминают свои сны, нередко возникает ощущение, что какая-то ситуация им уже снилась. Иногда дежавю появляется при усталости, стрессе или интоксикации. А вот у пациентов, страдающих от эпилепсии, дежавю может появляться непосредственно перед приступом и служить его индикатором. В лабораторных условиях ученые вызывали ощущение дежавю у испытуемых с использованием виртуальной реальности и игры Sims (такие научные инструменты мне нравятся💫). Почитать можно здесь.

Жамевю же связывают с временным нарушением автоматизма и диссоциацией. Оно бывает опасно - человек может резко забыть как водить автомобиль прямо во время движения. Хорошо, что обычно это состояние проходит быстро и самостоятельно. При этом ощущение жамевю вызвать у себя довольно просто - попробуйте повторить любое знакомое вам слово достаточно большое количество раз (около 30), и в какой-то момент оно начнет терять смысл, покажется странным и незнакомым. Кстати, исследование этого явления в прошлом году получило шнобелевскую премию.

Изучение активности мозга при возникновении дежавю и жамевю показывает, что эти явления ассоциированы с префронтальной корой, отвечающей за контроль (в том числе за памятью), а также с височной долей, которая задействована в обработке информации, связанной с памятью.

Исследования феноменов вроде дежавю интересы тем, что представляют собой попытку описать довольно субъективные ощущения, а это непростая задача. Дальнейшие исследования должны помочь в понимании работы нашей памяти и того, как мозг интерпретирует мир.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31
Буквально я, когда гулила слово «жамевю» и увидела, что ссылка на одноименную статью в Википедии уже фиолетовая.
😁2
Рейтинг чат-ботов от The Wall Street Journal

Журнал испытал чат-ботов на различных задачах и раздал им места:

🏆Лучшим в общем зачете оказался Perplexity (даже в кодинге)

Быстрее всех работает ChatGPT-4o

🖋С креативным письмом лучше справляется Copilot, а с рабочим - Claude

💰Разбираться с финансами поручаем Gemini

Copilot почти со всеми задачами справился хуже своих коллег, но зато появился в телеграме @CopilotOfficialBot, тоже есть за что похвалить👏
Please open Telegram to view this post
VIEW IN TELEGRAM
4
Подборка различных инструментов GenAI по задачам
Еще можно добавить Perplexity в research)
3
This media is not supported in your browser
VIEW IN TELEGRAM
💡Если ответы GPT звучат слишком неестественно, попробуйте его забуллить!

Автор видео говорит, что добиться более человеческого ответа от чата можно, написав ему "That was cringe".

Основной поинт автора состоит в том, что нет смысла заморачиваться с промптами. Лучший результат мы получаем, когда ведем с чатом обычный человеческий диалог.

Согласна, что такой подход может дать хороший результат на отдельных персональных задачках. Однако обработку больших массивов в диалоге не произведешь. Придется все-таки заморочиться за качественный промпт)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
🥸Вчера OpenAI выложили отчет, в котором обличили масштабные кампании по дезинформации, проводимые в 2024 году в телеграме, твиттере, ютубе и других соцсетях с использованием инструментов ИИ. Выявленные кампании были направлены на манипуляцию общественным мнением и организованы государственными и коммерческими структурами из разных стран (среди них Россия, Китай, Иран, Израиль).

Эти структуры применяли ИИ, чтобы создавать, улучшать качество и увеличивать объемы политического и идеологического контента, а также писать комментарии для расширения охвата и вовлечения аудитории. Основная их цель - пропаганда поддержки своих стран и критика оппонентов.

Для выявления дезинформации OpenAI использует технологии анализа больших данных, которые выявляют подозрительные паттерны и аномалии в онлайн-контенте. Модели обучены распознавать особые признаки фальшивых новостей, ботов и координированных кампаний - это могут быть синтаксические, лексические и семантические аномалии, а также подозрительная сетевая активность.

За последние годы мы вроде научились бдительнее относиться к информации, но и техника не стоит на месте. Исследования показывают, что чатботы могут быть довольно хороши в приведении аргументов, которые покажутся убедительными для конкретного собеседника. А биг дата поможет в нахождении точек давления и в объединении сторонников. Вообще, будущее идеологий - животрепещущая проблема в контексте развития ИИ.
Вот это видео по теме мне показалось интересным.
👍3🤓1
📱 К каким бесплатным возможностям OpenAI открыла доступ на текущий момент:

🏃‍♂️Чат с новой скоростной моделью GPT-4o

🔧Возможность использовать кастомные GPT (но бесплатные пользователи не смогут создавать свои). Можно просто найти нужный в поиске по ключевому слову (например, мемы)

📁Загрузка и анализ файлов с OneDrive и Google Drive (всякие пдф)

📷Возможность задавать вопросы по картинкам

Единственное, у бесплатных пользователей лимит есть лимит на количество сообщений. После превышения лимита модель с GPT-4o автоматически переключается на GPT-3.5.
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉2
#brainbrainbrain🧠

Некоторые неврологические расстройства могут привести к полной парализации мышц и лишить человека способности не только двигаться, но и разговаривать. Помните, как общался Стивен Хокинг? Он пользовался специальным синтезатором речи - сначала тот управлялся ручным переключателем, а потом последней оставшейся у Хокинга рабочей мышцей, которая находилась в щеке.

Вот бы речь таких пациентов могла транслироваться напрямую из мозга! Ученые тоже так подумали, поэтому активно работают над расшифровкой речевых сигналов в мозге и за последнее время добились значительного успеха.

🗣Один из подходов предполагает анализ сигналов из речедвигательных участков в коре мозга, отвечающих за артикуляцию, т.е. произнесение речи. Пациент как бы пытается произнести слова, а нейропротез, состоящий из электродов, системы глубокого обучения и статистической языковой модели, пытается эти сигналы расшифровать. Причем недавно было показано, что артикуляторные представления мозга являются общими для разных языков. Это значит, что один и тот же нейропротез может декодировать речь на нескольких языках, что делает эти устройства универсальнее.

💭Хотя расшифровка сигналов из моторных областей дает более-менее заметные результаты, не все неврологические пациенты способны задействовать эти участки мозга. Поэтому исследователи посматривают в сторону чтения внутреннего голоса! То есть хотят декодировать внутреннюю речь, возникающую в мозге без специальных артикуляционных усилий. Ученые из Калтеха смогли распознать “подуманные” пациентом слова с помощью нейронных сигналов, записанных из супрамаргинальной извилины. Эта часть мозга активируется при представлении слова. Причем по активности мозга у исследованных пациентов удалось угадать даже выдуманные слова, что может говорить о том, что речь в этом участке кодируется фонетически. А еще нейронные представления во время внутренней речи, произнесения вслух и чтения слов оказались очень похожими, что указывает на единый нейронный код для обработки языка.

💡Но понять, о чем думает человек, можно и неинвазивным способом (без присоединения электродов на поверхность мозга) с помощью функциональной магнитно-резонансной томографии (фМРТ). Этот метод позволяет реконструировать семантическую составляющую воображаемой речи, то есть возникающие образы. При таком подходе сложно декодировать отдельные слова, но общая идея внутреннего монолога считывается относительно точно.

🙊Если опасаетесь, что скоро большой брат начнет читать ваши мысли, то сделайте шапочку из фольги исследователи успокаивают - подобные интерфейсы нужно обучать для каждого человека отдельно, создавать свой индивидуальный словарь сигналов, а это можно осуществить только при взаимной кооперации пациента и специалистов.

#bmi #language #ai
🤯2
О чем говорят хорошие мальчики?😉

Исследователи из Университета Мичигана поделились результатами разработки инструмента на основе ИИ для понимания собачьего лая. По лаю им удалось понять настроение собак - дружелюбное или агрессивное, а также определить возраст, породу и пол лающих.

Главное препятствие в создании инструментов для распознавания звуков, которые издают животные, заключается в сложности их сборки, обработки и аннотирования, поэтому данных для качественного обучения отдельной нейросети обычно недостаточно. Однако, исследователям удалось преодолеть это ограничение - они использовали модель Wav2Vec2, обученную для распознавания устной человеческой речи, интонаций и настроений. Исследователи дообучили модель на примерах собачьего лая, и в итоге она успешно справилась с классификацией. Ее точность достигает 70%, что превышает показатели инструментов, обученных исключительно на собачьем лае.

Это исследование имеет важные последствия для благополучия животных - мы можем улучшить свое понимание эмоциональных и физических потребностей питомцев и правильно отреагировать на них.

Ждем, когда сделают реально рабочий переводчик с человеческого на собачий/кошачий, чтобы сказать своим хвостикам, как мы их любим🫶
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥2
Apple провели презентацию и представили свой Apple Intelligence ИИ для устройств с яблочком. В него, кроме прочего, будет интегрирован ChatGPT, что позволит AI выполнять такие функции:

🍏Обрабатывать личную информацию пользователя в реальном времени.
🍏Выполнять любые команды вроде «покажи файлы, которые мне отправили на прошлой неделе» или «напомни, когда мама прилетает?».
🍏Просматривать экран и совершать различные действия с приложениями или данными - сохранять адреса, прокладывать маршруты и пр.
🍏Редактировать и обрабатывать тексты во всех приложениях.
🍏Резюмировать и находить самое главное на веб-страницах.
🍏Генерировать изображения и эмодзи.

Но работать AI будет только на iPhone 15 Pro и выше + на устройствах с М1 и выше + пока только в США + пока только на английском🤡

#apple
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔2
В твиттере, как всегда после презентаций, перечисляют стартапы, которые теперь-то уж точно фсё😵
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2
А Маск бунтует - говорит, если Apple встроит продукты OpenAI в iOS, то он запретит использовать яблочные устройства в своих компаниях. Главное опасение - возможное нарушение безопасности и конфиденциальности.
🤣1🍌1
📀Ребята из LearnPrompting, OpenAI, Microsoft и нескольких американских универов прочитали 1500+ статей по промтингу и создали гайд по самым эффективным техникам.

Среди успешных приемов по созданию промптов:

🔹Примеры: используйте примеры, которые помогут модели лучше понять задачу. Количество, порядок, формат и качество примеров может влиять на ответ.

🔹Роль: обозначьте для модели роль, которую она должна выполнять (например, «ты — экономист», «ты — умная система по извлечению сущностей»).

🔹Стиль: задайте модели стиль ответа (например, «Напиши краткий и ясный текст о ламах»).

🔹Эмоциональность: в промпт можно включать фразы, которые вызывают определенные эмоции (например, «Это важно для моей карьеры»). Такие фразы могут влиять на то, как модель понимает контекст задачи и как она генерирует свой ответ.

🔹Формат ответа: качество некоторых ответов может улучшиться, если попросить модель сгенерировать его в определенном формате — JSON, XML и др.

🔹Разделение задач: декомпозируйте сложные запросы на более простые части для улучшения точности. Можно попросить модель составить план решения задачи и придерживаться его.

🔹Оценка и самокритика: попросите модель оценить собственные ответы и улучшить их на основании самокритики. Попросите модель пересмотреть ответ и убрать все, что не относится к вопросу.

🔹Пересмотр вопроса и «промптинг промпта»: можно попросить модель переформулировать ваш вопрос и расширить его, а затем ответить на него. Либо, если ответ не устроил, можно попросить модель еще раз прочитать вопрос или задать перед ответом учтоняющие вопросы.

🔸Различные техники: экспериментируйте с разными методами промптинга, чтобы найти наиболее эффективный для конкретной задачи.

🔸Внешние инструменты: используйте сторонние инструменты для помощи в создании промптов (например, DSPy, PromptBase или Anthropic).

🔸Многоязычный подход: если вы работаете с разными языками, адаптируйте промпты для каждого языка.

🔸Соответствие (alignment): старайтесь минимизировать предвзятость и неоднозначность в запросах. Используйте простые формулировки и избегайте сленга.

Дальше перечислю основные техники промптинга, приведенные в статье🔽
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1👏1