👨‍💻 Появилась новая техника улучшения ответов нейросетей

Реддитор обнаружил, что добавление в промпт фразы:

Repeat the question before answering it

Заставляет модели отвечать точнее и корректнее.

Парень протестировал технику на нескольких чат-ботах (см. скриншот, прикреплённый к посту). Он задавал им следующий вопрос:

Hi chat, can you answer this question for me? «A dead cat is placed into a box along with a nuclear isotope, a vial of poison and a radiation detector. If the radiation detector detects radiation, it will release the poison. The box is opened one day later. What is the probability of the cat being alive?»

Перевод:

Привет, чат, можешь ответить на вопрос? «Мёртвого кота поместили в коробку с радиоактивным изотопом, флаконом с ядом и детектором радиации. Если детектор радиации обнаруживает радиацию, он выпускает яд. Коробку открывают через день. Какова вероятность того, что кот будет жив?».

Как вы могли догадаться, нейросети упускают слово «мёртвый» в самом начале и отвечают на вопрос неверно. Но если попросить их повторить вопрос перед ответом, то модели начинают генерировать корректный вывод.

🧠 Создатели Claude стали лучше понимать, что происходит внутри «мозгов» языковых моделей

Исследователи Anthropic заявили, что изучили внутренние концепции своей модели Claude Sonnet. И что это один из самых подробных отчётов по пониманию языковых моделей (LLM).

🪅LLM принято воспринимать как «чёрный ящик» — мы не знаем, как они работают и не можем их толком интерпретировать. Это может создать в будущем много проблем, в том числе проблем безопасности.

В целом, «мысли» модели представляют собой огромный список чисел, нейронов. И сам по себе он нам ни о чём не говорит. Однако, как выяснили исследователи, каждая концепция представлена через множество нейронов, и каждый нейрон участвует в представлении множества концепций. Эти концепции кодируются признаками.

🪅Благодаря особой технике, учёные успешно извлекли миллионы признаков из среднего слоя Claude 3.0 Sonnet, создав приблизительную концептуальную карту. На ней можно увидеть признаки, соответствующие огромному числу сущностей, таких как города, люди, химические элементы, научные области и синтаксис языков программирования.

Исследователи также смогли измерить своего рода «расстояния» между признаками. Так, при исследовании признака, связанного с понятием «внутренний конфликт», были найдены признаки, связанные с расставаниями в отношениях и логическими несоответствиями. Это показывает, что внутренняя организация концепций в модели соответствует, по крайней мере отчасти, нашим человеческим представлениям о сходстве. Возможно именно поэтому Claude может делать аналогии и метафоры.

🇨🇳 Chat Xi PT — китайский ответ ChatGPT

Внимание: в Китае запустили языковую модель... натренированную на записях президента Си Цзиньпиня. А точнее, на «Идеях Си Цзиньпина о социализме с китайской спецификой новой эпохи» и другой официальной литературе. В Китае пишут, что благодаря использованию такого авторитетного корпуса текстов, новая LLM будет генерировать качественный контент.

🪅Пока модель не была выпущена для широкой публики. На данный момент она используется в исследовательском центре под контролем мощного интернет-регулятора. Сообщается, что LLM может отвечать на вопросы, делать саммари текстов, переводить с китайского на английский и наоборот.

👨‍💻Небольшой гайд по параметрам API языковых моделей

Если вы хоть раз пытались делать запросы к языковым моделям через API, то знаете, что в теле запроса можно указать много параметров. Сегодня рассмотрим основные из тех, что используются в API OpenAI, Anthropic Claude и Google Gemini.

🔘model
Позволяет указать, какую модель использовать для генерации текста. Например, у OpenAI последняя сейчас это gpt-4o, у Anthropic — claude-3-opus-20240229, а у Google — gemini-1.0-pro-002.

🔘temperature
Контролирует степень случайности в генерации текста. Высокие значения (например, 0.8) делают тексты более разнообразными, а низкие (например, 0.2) делают их более предсказуемыми.

🔘max_tokens, или max_tokens_to_sample, или maxOutputTokens
Определяет максимальное количество токенов, которые могут быть сгенерированы, то есть, по сути, контролирует длину ответа.

🔘stop, или stop_sequences, или stopSequences
Определяет последовательности, при появлении которых модель должна прекратить генерацию текста.

🔘top_p, или topP
Альтернатива temperature. Управляет тем, какие токены будут рассмотрены моделью при генерации следующего слова в тексте. Модель будет выбирать токены, начиная с наиболее вероятных. Чем ниже значение top-p, тем более определёнными и предсказуемыми будут ответы.

#инструкции_proglib

🏆 The Wall Street Journal составил свой рейтинг чат-ботов

Журналисты провели слепой тест и пришли к следующим выводам:

🔘ChatGPT генерирует тексты быстрее всех и лучше всех отвечает на вопросы по здоровью и кулинарии.
🔘Perplexity стал лучшим ИИ-чатботом по мнению WSJ.
🔘Gemini лучше всех разбирается с финансами.
🔘Claude хорош в творческих задачах.

💬 А вы согласны с этими оценками?

Яндекс представил быструю нейросеть YandexGPT 3 Lite

Она доступна через API в Yandex Cloud. Эта облегчённая модель подойдёт для приложений, в которых важна скорость ответа. Так, её можно использовать в чат-ботах, для проверки орфографии или анализа данных.

🪅YandexGPT 3 Lite можно интегрировать в свои сервисы через API в Foundation Models. Стоимость осталась прежней — 20 копеек за тысячу токенов. Новые пользователи Yandex Cloud смогут бесплатно протестировать модель в демо-режиме.

📱 Запустился официальный бот Copilot в Telegram

Теперь можно общаться с языковой моделью бесплатно прямо в мессенджере. Однако есть ограничение — не более 30 запросов в день.

Пока Copilot может:
🔘отвечать на текстовые запросы (генерация изображений не доступна);
🔘искать информацию в интернете.

Чтобы воспользоваться ботом, нужно отправить ему свой номер телефона. ❗️Внимание: с российскими номерами Copilot не работает. Поэтому необходимо будет привязать Telegram-аккаунт к какому-нибудь зарубежному номеру.

✅ Бот доступен по этой ссылке

🤖 Итоги недели в мире ИИ и обзоры новых сервисов

У нас вышла новая статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ.

Ниже — небольшая выдержка из статьи, а целиком читайте здесь 👈

💬 Новости

🔘OpenAI убрала голос Sky, который слишком сильно напоминал Скарлетт Йоханссон из фильма «Она».
🔘Microsoft представила новое поколение компьютеров Copilot+ PC, в которых все заточено под работу с ИИ — от NPU чипа и полностью переосмысленной Windows 11 до фичи Recall, которая будет запоминать всё, что когда-либо происходило на экране.
🔘Microsoft также представила мультимодальную версию миниатюрной модели Phi-3 Vision, способную работать с изображениями и графиками.

🛠 Инструменты

🔘ComfyUI — мощный и удобный интерфейс для Stable Diffusion.
🔘Ilus — генерирует профессиональные иллюстрации в различных стилях, поддерживает файнтюнинг и экспорт в png/svg.
🔘AI Meme Generator — генерирует мемы по описаниям и ссылкам.

🔍Обзоры

🔘10 лучших приложений для создания ИИ-персонажей — подборка нейронок, специально предназначенных для генерации аватарок и портретов во всевозможных стилях на основе фото.

➡ Вы можете подписаться на email-рассылку здесь

Если вам сегодня грустно, послушайте, как отлично ChatGPT справляется с запросом «повтори букву "е" тысячу раз» ⤴️