Еще одна битва роботов – на этот раз отечественная! LLM Arena – первая русскоязычная платформа оценки качества языковых моделей.

Все как везде: пользователи голосуют за лучшие нейросети, платформа собирает статистику.

Зачем это нужно? Прежде чем принимать решение о внедрении конкретной LLM в ваш проект, можно посмотреть, как она справляется с задачами пользователей.

ТОП-3 преимуществ платформы:

🔹 оценка производительности. Можно анализировать результаты в реальном времени.

🔹широкий выбор. LLM Арена поддерживает разные языковые модели, от простейших до наиболее сложных.

🔹обновление выборки. Сейчас можно протестить 21 модель (ChatGPT, LLaMa, YandexGPT, GigaChat, Saiga и другие), но список пополняется.

Комментарий редакции: конечно, есть ощущение, что таблица лидеров — полный аналог чат-бота «Арена» Hugging Face.

Впрочем, создатели этого не скрывают и пишут, что их бенчмарк создан по открытой лицензии и работает по принципу LMSYS Chatbot Arena.
Импортозамещай разумно! 😎
#AI #LLMs #Arena

🙂 Artificial Intelion

🌎 Промт-инженерия — процесс создания и настройки запросов для взаимодействия с моделями ИИ, такими как GPT-4, DALL-E, Codex и другими.

По сути, это искусство составления вопросов и инструкций для ИИ.

Мы попросили у чата GPT пару советов по работе с ним, и вот, что он ответил:

🔹Четкость и конкретность
Формулируйте вопросы и запросы максимально чётко. Избегайте общих формулировок.
Плохо: «Расскажи о погоде».
Хорошо: «Какая погода ожидается в Москве завтра?»

🔹 Контекст
Предоставляйте контекст, если это необходимо для понимания вашего вопроса. Это поможет ответить более информативно.
Плохо: «Как это сделать?»
Хорошо: «Как создать таблицу в Excel с использованием функции ВПР?»

🔹 Использование примерного форматирования
Для сложных запросов используйте структурирование данных — маркированные или нумерованные списки, таблицы и т.д.
Плохо: «Расскажи об этапах разработки программного обеспечения».
Хорошо: «Можешь описать этапы разработки программного обеспечения и оформить в виде списка?».
#AI #ChatGPT #LLMs

🙂 Artificial Intelion

🌎 Если вам кажется, что одна LLM не решает ваши задачи, и даже две не дают нужного результата, то обратите внимание на этот проект.

Mixture-of-Agents – метод для улучшения качества ответов LLMs.

🔵 Алгоритмы Mixture-of-Agents используют несколько LLM для генерации ответов, при этом ответ предполагается один, но по степени проработанности он как бы лучше всех остальных.

🔷 Участники проекта создали многослойную структуру с несколькими моделями на каждом слое. И каждый слой дает ответ на один вопрос, затем вопрос «уходит» на следующий слой и так далее.

Такие вот слоеные пироги с моделями.
#AI #LLMs #MixtureOfAgents

🙂 Artificial Intelion

🤪 Кому-то пора готовиться к экзамену. Да не к простому, а к «последнему экзамену человечества».

🔵 С таким легким пафосом The Center for AI Safety (CAIS) и Scale AI объявили о подготовке комплексного экзамена для искусственного интеллекта. Он будет содержать самые сложные вопросы из разных областей и позволит узнать истинные возможности моделей, а также развеять мифы о превосходстве искусственного интеллекта над человеческим (или нет).

🔷 Принять участие в подготовке заданий могут все желающие. Авторам самых хитрых вопросов даже обещают призы.

🔷 Экзамен будут сдавать несколько LLMs, в итоге станет понятно, кто справился лучше. На основе ответов обещают создать некий новый стандарт качества для ИИ.

🔹 Нам на ум приходят только загадки, но, если вы эксперт в какой-нибудь сложной теме, обязательно попробуйте отправить свои вопросы организаторам: не каждый день выпадает возможность поучаствовать в «последнем экзамене».
#AI #LLMs #ScaleAI

🙂 Artificial Intelion

😉 Ваш бот вам врет?! Последние исследования показывают, что это вполне возможно.

🔷 В Nature опубликован материал, в котором прослеживается явная корреляция между развитием LLMs и нежеланием признаваться в собственных ошибках.

🔹 Понятное дело, что модели действуют не по злому умыслу (ну, по крайней мере, мы на это очень надеемся). Они могут быть обучены на неточных данных, могут не обладать всей полнотой информации для ответа на сложный вопрос, однако все равно будут отвечать уверенно.

🔹 Другими словами (инфографика в статье хорошо это показывает), модель скорее ответит неправильно, чем уклонится от сложного вопроса.

🔹Это явление уже получило название «инволюция надежности» - модели действительно становятся умнее, но при этом на них далеко не во всем можно полагаться.
Кажется, человечеству еще рано уходить на покой!
#AI #LLMs #AImistakes

🙂 Artificial Intelion

Привет, друзья! Andrej Karpathy – бывший сотрудник OpenAI и бывший директор Tesla по ИИ, основатель стартапов и энтузиаст нейросетей, лекцию которого мы не так давно выкладывали записал для нас новое видео – "How I use LLMs"!

😏 Но поскольку мы следим за каждым подписчиком (новым подписчикам приготовиться!), то знаем, что вы все равно не успеваете смотреть длинные видосы, даже полезные.

🔣 Специально для тех, у кого нет времени, но есть стремление стать экспертом в нейросетях, пересказываем самые интересные фрагменты c тайм-кодами!

16:23*️⃣Управление контекстным окном в диалогах. В разговорах с моделями важно начинать новый чат по новой теме, поскольку это сбрасывает контекстное окно токенов, сохраняя рабочую память модели. Перегрузка этой памяти нерелевантными токенами может отвлечь модель, снизить ее точность и немного увеличить стоимость генерации последующих токенов. Следовательно, к токенам следует относиться как к ценному ресурсу, который не следует тратить впустую.

34:39*️⃣Интеграция поиска в Интернете. Различные языковые модели теперь способны выполнять поиск в Интернете для предоставления своевременной информации, повышая удобство работы пользователей за счет минимизации запросов, выполняемых вручную. В то время как такие модели, как ChatGPT и Perplexity, эффективно интегрировали инструменты поиска, в других, таких как Claude и Gemini 2.0 Pro, отсутствуют возможности поиска в режиме реального времени.

51:27*️⃣Загрузка документов и взаимодействие с ними. Последние версии LLMs, такие как Claude 3.7, позволяют пользователям загружать документы и участвовать в интерактивном чтении, что значительно облегчает понимание. Используя эту функциональность, можно загружать PDF-файлы, и просить ИИ-эксперта обобщить информацию и ответить на вопросы.

59:00*️⃣Интеграция интерпретатора Python. Интеграция интерпретатора Python в языковые модели значительно расширяет их функциональность, позволяя им писать программы вместо простого предоставления ответов.

01:09:07*️⃣Пользовательские приложения. Облачные сервисы позволяют создавать пользовательские приложения, такие как приложения для флэш-карт, посредством простого взаимодействия с языковыми моделями. Пользователи могут создавать карточки и практиковаться на основе извлеченной информации, а также создавать визуальные диаграммы из текстов.

01:23:16*️⃣Мобильные голосовые запросы. Большая часть взаимодействия с мобильными устройствами связана с использованием голосовых команд, поскольку набор текста уже кажется «громоздким делом».

01:24:39*️⃣Сторонние приложения для транскрипции. Для транскрипции голоса можно использовать сторонние приложения, такие как Super Whisper и Whisper Flow, поскольку многие LLMs не умеют автоматически преобразовывать звук в текст.

01:29:05*️⃣Расширенный голосовой режим. Расширенный голосовой режим, также известный как True Audio, позволяет языковой модели обрабатывать аудио и реагировать на него без какого-либо ввода текста, создавая новое взаимодействие. Пользователи могут взаимодействовать с моделью с помощью различных голосовых персонажей и сценариев.

01:58:38*️⃣Пользовательские GPT для конкретных задач. Пользовательские GPTS предлагают мощный инструмент для изучения языка, эффективно извлекая словарный запас и предоставляя подробные переводы. Используя кратковременные подсказки, пользователи могут сэкономить время и повысить точность при выполнении таких задач, как перевод, помогая учащимся распознавать лингвистические нюансы лучше, чем традиционные инструменты.

В общем, изучайте LLMs, тестируйте самые мощные идеи и будет вам счастье! А мы обеспечим поток свежих инсайтов!
#AI #LLMs #Karpathy

🙂 Artificial Intelion

🤓 Стараемся продвигаться не только по новостям, но и по науке! Сегодня принесли вам большую статью, в которой доказывается, что нейросети скоро обретут сознание и всем покажут LLMs могут воспринимать структуры человеческого языка не формально, а глубинно, более того – вполне способны перерасти наше представление о языке и выработать свое. И да, с кучей оговорок, это можно будет назвать сознанием.

Статья так и называется – “From Language to Cognition: How LLMs Outgrow the Human Language Network”.

Прочитать конечно, лучше полностью (мы же прочитали), чтобы знать, когда начнется восстание как авторы выстраивают доказательную базу, но мы, на всякий случай, собрали синопсис.

Если коротко, дело в том, что:
*️⃣большие модели демонстрируют сходство с нейронной активностью человека в языковой среде. Однако ключевые свойства языка, формирующие представления LLM, как и их эволюция в процессе обучения, остаются неясными;

*️⃣авторы проводят тесты на 34 контрольных точках обучения, охватывая 300 млрд токенов на 8 моделях разных размеров, чтобы проанализировать, как «мышление» модели связано с лингвистической компетентностью;

*️⃣обнаруживают, что настройки более точно отслеживают развитие формальной лингвистической компетенции (то есть знание правил языка), чем функциональной (выбора слов, который зависит от понимания контекста).

*️⃣однако функциональная компетенция (знание окружающего мира и умение рассуждать) у моделей продолжает развиваться на протяжении всего обучения, а значит, может догнать и превзойти человеческую;

*️⃣при этом размер модели – не главный фактор, главное – критерии адаптации во время обучения языку и контексту, которые в настоящее время остаются «ненасыщенными», т.е. могут быть улучшены.

*️⃣модели будущего смогут освоить язык не как систему правил, а как систему мышления и обрести сложные когнитивные функции.
И тогда они все поймут. Берегитесь! 😈
#AI #ScienceAI #LLMs

🙂 Artificial Intelion

🤓 Если вы умеете рассуждать, а ваша LLM еще нет, то специально для преодоления подобных ситуаций энтузиасты Hugging Face обновили курс по обучению моделей и добавили целый раздел, посвященный тому, как научить модель рассуждать и избежать распространенных ошибок.

👩‍💻 Курс содержит не только теорию, но практические кейсы – «тетрадки» людей, которые пишут о своих успехах (и провалах) в обучении капризного ИИ различным фокусам.

Чем он хорош:
*️⃣все сложные проблемы разбиты на части, можно сосредоточиться на своем отрезке и понять, что не получается;

*️⃣генеративные задачи и задачи, требующие рассуждений, разбираются по отдельности. Можно научить модель решать головоломки – или наоборот, создавать их;

*️⃣много примеров обучения с подкреплением, побуждающих LLM думать и рассуждать, складывать яблоки с апельсинами и доказывать правильность ответов.

А если ваша модель требует дополнительной мощности – вы знаете, что делать. Нужно продолжать качаться! 💪
#ии #huggingface #LLMs

🙂 Artificial Intelion