💬 Databricks представила открытую большую языковую модель (LLM) Dolly 2.0. Ее можно использовать в исследовательских и коммерческих целях.

Алгоритм с 12 млрд параметров основан на семействе моделей EleutherAI Pythia. Для его обучения сотрудники Databricks создали набор данных, включающий 15 000 пар «запрос-ответ». В соответствии с условиями лицензирования датасет можно использовать, менять или расширять для любых целей, включая коммерческих.

☝️ По словам разработчиков, Dolly 2.0 умеет генерировать текст только на английском языке и способна создавать токсичный контент. Также знания и точность LLM ограничены, добавили в компании.

#Databricks #LLM

💬 Агентство Bloomberg разработало большую языковую модель BloombergGPT, способную отвечать на вопросы из финансовой отрасли и бизнеса.

Алгоритм с 50 млрд параметров построен на базе той же технологии, что и OpenAI GPT. По данным компании, их нейросеть «со значительным отрывом» превосходит открытые модели аналогичного размера в финансовых и NLP задачах.

BloombergGPT может определять, являются ли заголовки новостей медвежьими или бычьими для инвесторов. Нейросеть умеет заменять названия компаний на биржевые котировки, обнаруживать важные наименования в документации и отвечать на вопросы о бизнесе.

📝 Также технология обладает некоторыми возможностями генеративного ИИ. Например, может писать заголовки материалов на основе коротких аннотаций.

https://forklog.com/news/ai/bloomberg-predstavila-chat-bota-dlya-finansovogo-rynka

#Bloomberg #LLM

🙅‍♂️ OpenAI не обучает GPT-5. Вместо этого разработчики сфокусировались на расширении возможностей актуальной версии модели, заявил Сэм Альтман.

Гендиректор OpenAI прокомментировал письмо, призывающее приостановить ИИ-исследования. По его словам, в инициативе отсутствует технический нюанс о том, где нужно сделать паузу.

☝️ Однако Альтман поддержал некоторые тезисы открытого письма. Он отметил важность обеспечения безопасности ИИ-моделей и их соответствия человеческим ценностям.

https://forklog.com/news/ai/sem-altman-oproverg-soobshheniya-ob-obuchenii-gpt-5

#OpenAI #LLM

💬 Stability AI представила набор открытых больших языковых моделей (LLM) StableLM. Он доступен на GitHub и Hugging Face.

Алгоритмы предназначены для генерации текста и программного кода. Пока доступны LLM с 3 млрд и 7 млрд параметров, но «на подходе» — от 15 млрд до 65 млрд. Они обучены с помощью экспериментального датасета на базе The Pile, который содержит 1,5 трлн токенов контента из «Википедии», Stack Exchange, PubMed и других источников.

☝️ В компании предупредили, что LLM может генерировать предвзятый и токсичный контент.

#StabilityAI #LLM

🔎 Nvidia представила инструмент NeMo Guardrails, призванный помочь разработчикам обеспечить точность, уместность и безопасность генеративного ИИ. ПО работает со многими существующими языковыми моделями (LLM).

Инструмент позволяет разработчикам применять три различных типа ограничений для своих LLM. Компании могут устанавливать «тематические барьеры», ограничения для получения точной информации и требование подключатся к безопасным приложениям.

⚙️ NeMo Guardrails имеет открытый исходный код. Инструмент также включен в существующую платформу NeMo, а бизнес-клиенты могут получить доступ к нему через платформы AI Enterprise или AI Foundations.

https://forklog.com/news/ai/nvidia-vypustila-instrument-dlya-sozdaniya-bezopasnyh-ii-modelej

#Nvidia #LLM

👓 Студент из Стэнфордского университета Брайан Чанг разработал ИИ-монокль RizzGPT для помощи в поддержании диалогов.

Устройство прикрепляется к очкам и слушает разговоры пользователя. Когда собеседник задает какой-либо вопрос, система генерирует ответ и отображает его поверх линз.

Для создания RizzGPT Чанг объединил алгоритм GPT-4, платформу распознавания речи Whisper и AR-устройство Monocle с открытым исходным кодом.

👀 Также студент разработал систему LifeOS, которую обучил на своих личных сообщениях, фотографиях друзей и других данных. Она умеет распознавать знакомых Чанга и добавлять «локальные» детали в диалогах с ними.

#LLM #AR

⚙️ Amazon разработает «более обобщенную и мощную» большую языковую модель (LLM) для поддержки Alexa.

По словам главы компании Энди Джесси, новый алгоритм поможет техгиганту в создании «лучшего в мире личного помощника». Это сложная задача, но Alexa имеет «пару сотен миллионов конечных точек» в сферах развлечений, покупок и смарт-домов, добавил он.

☝️ Джесси также отметил активное участие сторонних партнеров по экосистеме.

#Amazon #LLM

💬 Hugging Face и ServiceNow представили бесплатную большую языковую модель (LLM) StarCoder для написания программного кода.

Алгоритм с 15 млрд параметров обучен с помощью датасета BigCode The Stack v1.2. Он содержит триллионы токенов разрешенного для использования лицензированного кода на 80 языках программирования.

⚙️ StarCoder совместим с редактором Microsoft Visual Studio Code. Алгоритм может отвечать на вопросы о программировании и выполнять запросы вроде «создай пользовательский интерфейс приложения».

В Hugging Face заявили, что новая LLM превосходит модель OpenAI, используемую в первых версиях Copilot.

☝️ По словам разработчиков, StarCoder способна выдавать «неточный, оскорбительный и сбивающий с толку контент». Также пока она включает небольшое количество функций.

#HuggingFace #LLM #разработка

🙏 Издание The Irish Times извинилось за публикацию созданной ИИ статьи.

В мае 2023 года сторонний автор под именем Адриана Акоста-Кортес отправил в газету материал об искусственном загаре. Он обвинил ирландских женщин в фетишизации и пародировании людей, у которых от природы темная кожа.

🔎 После проверки издание опубликовало статью. Она стала второй по популярности в газете и вызвала споры на радио и в соцсетях.

Позже выяснилось, что имя автора выдуманное, а 80% статьи сгенерировал GPT-4. Фейковая Адриана Акоста-Кортес обвинила The Irish Times в «погоне за кликами и трафиком» и посоветовала изданию тщательнее проверять источники

По ее словам, цель публикации — «рассмешить друзей» и «развести дерьмо» в дебатах о политике идентичности.

🗣 The Irish Times удалила статью. Редактор издания Руадхан Мак Кормаик заявил, что стал жертвой «преднамеренного и скоординированного обмана», который показал необходимость усиления контроля над публикациями.

#LLM

🗂 СМИ: Google использовала для обучения модели PaLM 2 в пять раз больше данных чем при тренировке ее предшественницы.

Журналисты CNBC просмотрели внутренние документы компании. Согласно им, при тренировке PaLM 2 инженеры использовали 3,6 трлн токенов текстовых данных. Также выяснилось, что алгоритм содержит 340 млрд параметров.

⚙️ Для сравнения первую версию PaLM разработчики обучили на 780 млрд токенов. Нейросеть использует 540 млрд параметров.

#Google #LLM

🗣 Microsoft представила «легкую» модель искусственного интеллекта Phi-3 Mini с 3,8 млрд параметров. В будущем компания выпустит Phi-3 Small (7B) и Phi-3 Medium (14B).

Модель обучалась на небольшом наборе данных по специальной «учебной программе». Microsoft утверждает, что Phi-3 работает лучше предыдущих версий, умеет кодировать и рассуждать, а по своим способностям она не уступает GPT-3.5.

📱 Маленькие модели часто дешевле в эксплуатации и лучше работают на персональных устройствах вроде ноутбуков и смартфонов. Она уже доступна на Azure, Hugging Face и Ollama.

#Microsoft #LLM

🍏 Apple выпустила языковую модель OpenELM, способную обрабатывать пользовательские запросы непосредственно на устройстве без подключения к облаку.

Всего существует восемь конфигураций с различным количеством параметров — от 270 млн до 3 млрд. Модели предварительно обучали на публичных наборах данных объемом 1,8 трлн токенов с сайтов вроде Reddit, Wikipedia и arXiv.org.

▶️ По данным Apple, производительность моделей сопоставима с конкурентными решениями, особенно вариант с инструкциями на 450 млн параметров. Кроме того, версия OpenELM с 1,1 млрд параметров на 2,36% превосходит OLMo-1,2B, требуя при этом вдвое меньший объем данных для предварительного обучения.

В бенчмарке ARC-C для проверки знаний и способности рассуждать предобученный вариант OpenELM-3B показал точность 42,24%. На MMLU и HellaSwag его результаты составили 26,76% и 73,28% соответственно.

#Apple #LLM

✍️ DeepL, известная своим переводческим сервисом, выпустила инструмент Write Pro для написания текстов с использованием искусственного интеллекта. Он ориентирован на корпоративных клиентов и предприятия.

Write Pro выступает в качестве творческого помощника, который задействуется в процессе создания текстовых материалов. Он предоставляет рекомендации по подбору слов, формулировок, стилистике и тональности с целью улучшения качества текста. При этом инструмент сохраняет авторский голос пишущего.

🌐 В настоящее время Write Pro поддерживает английский и немецкий языки и позволяет настраивать стиль и тон генерируемого контента. Сфера его применения широка — от написания внутренних корпоративных сообщений до составления договоров и контрактов.

Write Pro стал первым продуктом DeepL, работающим на основе собственных больших языковых моделей компании. Стартап обучал эти модели с нуля, частично задействовав для этого суперкомпьютер Mercury, развернутый в прошлом году.

#DeepL #LLM

📝 Генеративный ИИ все чаще используется для написания научных статей. Два исследования обнаружили рост употребления в публикациях слов и оборотов вроде «сложный», «ключевой» и «скрупулезный», характерных для больших языковых моделей.

Согласно одной из работ, около 1% статей в 2023 году частично написал ИИ. Во втором исследовании эта доля оценивается в 6,3-17,5% в зависимости от дисциплины. Наибольший рост использования языковых моделей зафиксирован в информатике и электротехнике.

Применение ИИ для помощи в исследовательском процессе не ново, но его использование для написания текстов статей считается нарушением в научном сообществе. Причина — высокий риск неточностей и даже фабрикации данных языковыми моделями.

🗣 Исследователи призвали обязать авторов раскрывать использование генеративного ИИ или воздерживаться от этого ради честности науки. Они опасаются рисков для независимости и безопасности научной практики из-за внедрения таких технологий.

#исследование #LLM