Big Data AI
16.4K subscribers
738 photos
85 videos
19 files
757 links
@haarrp - админ

Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям

@data_analysis_ml - анализ данных

@ai_machinelearning_big_data

@itchannels_telegram - важное для программиста

РКН: clck.ru/3Fmqxe
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🔬MedRAX: новаторский ИИ-агент, разработанный для медицинских задач!

Что такое MedRAX?

MedRAX - это первый универсальный ИИ-агент, который объединяет современные инструменты для анализа рентгеновских снимков грудной клетки и мультимодальные большие языковые модели в единую структуру, позволяющую динамически обосновывать сложные медицинские запросы без дополнительного обучения.

🎯 Чем хорош именно MedRAX?

Хотя специализированные модели ИИ отлично справляются с конкретными задачами рентгенографии грудной клетки, они часто не справляются с комплексным анализом и могут выдавать неточные рекомендации . Многим медицинским работникам нужна единая, надежная система, способная обрабатывать сложные запросы, сохраняя при этом точность. MedRAX призван стать таким инструментом

🛠️ Интегрированные инструменты:


- Визуальный контроль качества: CheXagent и LLaVA-Med
- Сегментация: MedSAM & ChestX-Det
- Формирование отчетов: CheXpert Plus
- Классификация: TorchXRayVision
- Grounding Maira-2
- Синтетические данные: RoentGen

💡 Ключевые особенности:

- Бесшовная интеграция специализированных медицинских инструментов с мультимодальными рассуждениями на основе больших языковых моделей.
- Динамическая оркестровка: Интеллектуальный выбор и координация инструментов для сложных запросов.
- Клиническая направленность: Разработан для реальных медицинских процессов.

📊 ChestAgentBench:

Разработчики также выпустили ChestAgentBench, комплексный эталон медицинского агента, созданный на основе 675 клинических случаев, проверенных экспертами, и включающий 2500 сложных медицинских запросов по 7 категориям.

🎉 Результаты говорят сами за себя:
- 63,1% точности на ChestAgentBench
- Sota результативность на CheXbench
- Превосходит как универсальные, так и специализированные медицинские модели

Paper: https://arxiv.org/abs/2502.02673
Код: https://github.com/bowang-lab/MedRAX

#ai #agents #ml #opensource #med #medicine

@bigdatai
Forwarded from Machinelearning
✔️ Макрон объявил, что Франция планирует инвестировать в развитие ИИ 109 миллиардов евро в ближайшие годы.

Он уточнил, что среди инвесторов французских проектов в области ИИ будут компании из Объединенных Арабских Эмиратов, Соединенных Штатов, Канады и самой Франции.

Кроме того, Макрон подчеркнул намерение Парижа сотрудничать с Нью-Дели и Пекином для продвижения технологий искусственного интеллекта. «Мы стремимся к совместной работе с Индией», – сказал он, добавив, что Франция также намерена взаимодействовать с Китаем и Соединенными Штатами, однако не хочет зависеть ни от одной страны.

Относительно обсуждений о возможном запрете использования китайского чат-бота DeepSeek в некоторых странах, Макрон выразил мнение, что запрет технологических решений лишь на основании их происхождения является неоправданным шагом.
Новость

✔️OpenAI дебютировал на Super Bowl, выпустив рекламу ChatGPT стоимостью 14 миллионов долларов.
Видео

✔️ ByteDance показали новый генератор видео Goku.

- Goku: генеративная модель видео на основе потоков.
- Goku+: Модель, которая позиционируется, как модель для генерации видеорекламы и обещает быть в 100 раз дешевле, чем традиционные методы создания видео-рекламы.
Аrxiv

✔️ Свежий гайд, который поможет вам тренировать свой собственный ризониг LLM.

С этим ноутбуком примерно за 2 часа можно обучить модель Qwen 0.5B на математическом наборе данных GSM8K, используя обучение с подкреплением!
Colab Demo

✔️ LeRobot — это образовательный проект, направленный на создание бюджетного робота, стоимость каждой руки которого составляет всего 110 долларов. С помощью обычного ноутбука пользователи могут обучать робота различным навыкам.

Проект предлагает платформу с готовыми моделями, наборами данных и инструментами для работы с робототехникой на базе PyTorch.

На данный момент доступны предварительно обученные модели, демонстрационные среды для симуляций, а также готовые скрипты для обучения и управления реальными роботами.

Также предоставляются рекомендации по ведению логов и оценке моделей, а также ссылки на исследовательские материалы и примеры кода для профилирования.
Github

✔️ Стартап Ильи Суцкевера, сооснователя OpenAI, оценили в $20 миллиардов.

Safe Superintellgence(SSI), основанная в июне 2024, еще ничего не выпускает и не зарабатывает, так как первым продуктом обещают сразу ни больше ни меньше — safe AGI.

А пока просто посмотрите на сайт компании, которая УЖЕ привлекла миллиард долларов и собирается привлечь еще.
ssi.inc

Уверенность в себе и команде выглядит именно так 😎

@ai_machinelearning_big_data


#openai #deeplearning #opensource #ai #ml #llm #machinelearning #guide #news #chatgpt #qwen #ainews #news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ OpenAI планирует выпуск GPT-4.5 и GPT-5.

CEO OpenAI Сэм Альтман опубликовал в X (Twitter) планы по выпуску GPT-4.5 и GPT-5.
GPT-4.5, которую раньше называли Orion, станет последней моделью без использования цепочек рассуждений. GPT-5 будет представлена как система, объединяющая сразу несколько технологий, включая бэкграунд o3. Как отдельная модель, о3 перестанет существовать.

Бесплатные пользователи ChatGPT получат неограниченный доступ к GPT-5 на стандартном уровне возможностей модели, а подписчики Plus и Pro — на более высоких уровнях. Точные сроки выпуска GPT-4.5 и GPT-5 не названы, но ожидаются в течение нескольких недель или месяцев. OpenAI также стремится упростить свой продуктовый ряд, отказавшись от выбора моделей и стремясь к «магическому унифицированному интеллекту».
x.com

✔️ Adobe выпустила публичную бета-версию ИИ-генератора видео.

Генератор видео от Adobe - Generate Video позволяет создавать видео из текста или изображений. Инструмент доступен через веб-приложение Firefly и интегрирован с Creative Cloud, Photoshop и Premiere Pro. Пользователи могут настраивать стиль, углы камеры, движение и расстояние съемки. Видео выводится в формате 1080p при 24 кадрах в секунду. Для генерации клипов продолжительностью до 5 секунд требуется в среднем 90 секунд.

Помимо Generate Video, Adobe представила 2 новых инструмента: Scene to Image и Translate Audio and Video и открыла планы подписки на Firefly: Standard (9,99 долл. США в месяц) и Firefly Pro (29,99 долл. США в месяц). Подписка дает кредиты на создание видео/аудио.
blog.adobe.com

✔️ Perplexity AI представила новую ультрабыструю поисковую модель Sonar.

Perplexity запустила обновленную версию поисковой модели Sonar, которая основана на Llama 3.3 70B и работает на мощностях от Cerebras Systems. Внутренние тесты, проведенные Perplexity показали, что Sonar превосходит GPT-4o mini и Claude 3.5 Haiku по удовлетворенности пользователей и сравнивается с GPT-4o и Claude 3.5 Sonnet в поисковых задачах.

Cerebras Systems использует уникальные Wafer Scale Engines, позволяющие Sonar обрабатывать 1200 токенов в секунду, что дает почти мгновенные ответы. Доступ к Sonar ограничен для платных пользователей Pro, но Perplexity планирует сделать его более широко доступным в будущем.
perplexity.ai

✔️ Microsoft закрывает разработку HoloLens.

Microsoft официально подтвердила, что полностью прекращает разработку оборудования HoloLens и объявила о прекращении разработки HoloLens 2. Робин Сейлер, вице-президент подразделения смешанной реальности Microsoft, заявил, что компания перейдет от разработки оборудования к облачным технологиям и технологиям ИИ, но по-прежнему будет предоставлять аппаратную и программную поддержку для HoloLens 2 до 2027 года.
theverge.com

✔️ MIT создал рой роботов-насекомых, способных летать в 100 раз дольше предыдущих моделей.

Новые конструкции роботов-насекомых легче и имеют достаточно места для размещения батарей. Эти роботы, размером меньше скрепки, могут выполнять опыление и увеличить урожайность без вреда для окружающей среды.

Предыдущие модели имели 8 крыльев и имели меньшую производительность. Новая конструкция состоит из 4 блоков, каждый с одним крылом, что позволяет стабилизировать вертикальное движение. Улучшенная точность и ловкость роботов, ставшая возможной за счет внедрения новой системы, имитирующей механику мышц, уменьшили нагрузку на крылья. Ученые планируют интегрировать в этих роботов датчики, батареи и вычислительные возможности в ближайшие 5 лет.
livescience.com

✔️ Audiobox Aesthetics - новая модель с открытым исходным кодом, обученная на 562 часах данных, аннотированных профессиональными музыкантами, которая позволят автоматически оценивать эстетику речи, музыки и звука.
Github

✔️ Ovis2 мультимодальная LLM, выпущенная командой Alibaba AIDC.
1B/ 2B /4B/8B/16B/34B
HF

@ai_machinelearning_big_data

#news #ai #ml #openai #chatgpt #MIT #Microsoft #Adobe
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ Модели ChatGPT получили расширение возможностей.

OpenAI сегодня сообщила в своем аккаунте X (Twitter) о том, что модели o1 и о3-mini теперь поддерживают загрузку файлов и изображений, а дневной лимит загрузок для o3-mini-high увеличен в 7 раз для пользователей Plus до 50 в день.
x.com

✔️ YouTube интегрирует Veo 2 в Shorts.

YouTube объявил об интеграции новой модели генерации видео Veo 2 в функцию Dream Screen, что позволит пользователям создавать уникальные AI-видео для Shorts на основе текстового запроса. Veo 2 может создать видео в различных стилях и тематиках, учитывая реальную физику и движения человека. Она позволяет указывать стиль, ракурс или кинематографический эффект.

Чтобы использовать новую функцию, нужно открыть камеру Shorts, нажать "Add", затем "Create", ввести запрос и выбрать длину видео. YouTube автоматически пометит ватермаркой SynthID созданный таким образом контент. Возможность уже доступна в США, Канаде, Австралии и Новой Зеландии, расширение - в планах.
blog.youtube

✔️ Anthropic готовится к выпуску новых гибридных моделей с возможностями рассуждения.

Anthropic готовится к выпуску новой модели, объединяющей возможности традиционной LLM с расширенными функциями рассуждения. Ожидается, что модель будет доступна в ближайшие недели и ориентирована на корпоративных клиентов.

Ключевая особенность новой модели - переменное распределение ресурсов, позволяющее пользователям регулировать вычислительную мощность, используемую моделью для каждой задачи, с помощью простого слайдера. На минимальном уровне модель функционирует как стандартная LLM без цепочки рассуждений.
theinformation.com

✔️ Релиз Grok 3 ожидается через пару недель.

xAI находится на финальной стадии разработки Grok 3, новой версии своего чат-бота, выпуск которого ожидается в течение одной-двух недель. По словам Илона Маска, Grok 3 обладает очень мощными возможностями рассуждения и превосходит все известные модели. Grok 3 позиционируется как конкурент ChatGPT, Gemini, Claude, Mistral AI и Llama.

Модель была обучена с использованием синтетических данных и способна анализировать собственные ошибки, стремясь к большей логической последовательности путем пересмотра и перекрестной проверки данных. Musk отметил, что Grok 3 временами кажется "пугающе умным".
seekingalpha.com

✔️ Ai2 выпустила OLMoE, опенсорсное iOS-приложение для запуска LLM непосредственно на устройствах.

OLMoE, iOS-приложения с полностью открытым исходным кодом, которое позволяет пользователям запускать современные языковые модели непосредственно на своих устройствах без необходимости подключения к Интернету. Приложение доступно для загрузки в Apple App Store или может быть собрано из исходного кода из репозитория Ai2 на Github.

Приложение работает на новых устройствах Apple, от iPhone 15 Pro и новее и iPad серии M, из-за потребности в 8 ГБ памяти для модели OLMoE. Модель была оптимизирована с использованием квантования Q4_K_M. OLMoE представляет собой продолжение стремления Ai2 к открытости в разработке ИИ. На iPhone 16 Pro инференс достигает 41 токена в секунду.
allenai.org

✔️ OpenAI представила рекомендации по использованию моделей рассуждения, специально разработанных для сложных, многоступенчатых задач.
Главное:
Используйте разделители: Markdown, XML-теги и заголовки помогают чётко структурировать вводимые данные.
Различие моделей:
Модели рассуждения (например, o1, o3-mini) оптимизированы для детального планирования, анализа документов и визуальной интерпретации.
GPT-модели (например, GPT-4o) ориентированы на скорость и экономию ресурсов для хорошо определённых задач.
Практическое применение:
Модели рассуждения отлично справляются с уточнением неясных запросов, извлечением ключевых деталей из объёмных данных и многоступенчатым планированием (например, при код-ревью).
Рекомендации по запросам:
Используйте короткие, ясные и структурированные запросы с явными ограничениями. Излишне подробные инструкции "chain-of-thought" не требуются, так как модели рассуждают внутренне.
Post

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ Исследование: ChatGPT проходит тест Тьюринга по психотерапии.

Исследование группы университетов США ставит под сомнение границы между человеческим и ИИ в психотерапии. Оказывается, обычному человеку все сложнее отличить ответы, сгенерированные ChatGPT, от профессиональных советов психологов.

В эксперименте с участием 830 человек, ответы ChatGPT не только оказались неотличимы от экспертных, но и были оценены выше по ключевым аспектам психотерапии. Языковой анализ показал, что ChatGPT использует более позитивный тон и предоставляет более развернутые ответы, что способствовало более высоким оценкам в фокусной группе.
journals.plos.org

✔️ Apple и Amazon сталкиваются с трудностями при обновлении голосовых помощников Alexa и Siri.

ИТ-гиганты столкнулись с неожиданными препятствиями в разработке и запуске обновленных версий своих голосовых помощников, Siri и Alexa, на базе генеративного ИИ. Тестирование выявило регулярные проблемы с надежностью и точностью ответов.

По данным Bloomberg, Apple может отложить выпуск улучшенной Siri до мая 2025 года или позже из-за многочисленных программных ошибок и "технических проблем". Аналогичная ситуация наблюдается и в Amazon, где выпуск LLM-версии Alexa также отложен из-за неверных ответов, выявленных в ходе тестирования. Несмотря на планы анонсировать обновление Alexa 26 февраля, публичный доступ будет открыт не ранее 31 марта, то есть через 18 месяцев после первоначального анонса в 2024 году.
bloomberg.com

✔️ Южнокорейские власти приостановили работу приложения DeepSeek.

Южнокорейское правительство запретило загрузку мобильного приложения DeepSeek из-за опасений по поводу безопасности данных. Ограничение, вступившее в силу в субботу, не затронуло пользователей, у которых приложение уже установлено, и доступ к сервису DeepSeek через веб-версию остается открытым.

Корейская комиссия по защите персональной информации (PIPC) заявила, что DeepSeek "частично пренебрегла" своими обязательствами в соответствии с законами Южной Кореи о защите данных. По словам директора отдела расследований PIPC Нам Сока, DeepSeek "недостаточно прозрачна в вопросах передачи данных третьим лицам и потенциально собирает избыточную личную информацию".

Представитель DeepSeek прибыл в Южную Корею для решения возникших проблем. Сроки снятия ограничений на скачивание приложения пока не определены.
nytimes.com

✔️ Ученые обучают ИИ интерпретировать эмоции животных.

Ресерчеры разрабатывают системы ИИ, способные распознавать эмоции животных, чтобы открыть новые возможности для улучшения их благополучия.

Например, система Intellipig, разработанная в Великобритании, анализирует фотографии свиней и предупреждает фермеров о признаках боли, болезни или эмоционального стресса. В Университете Хайфы разрабатывают ИИ, способный распознавать признаки дискомфорта у собак, что может помочь людям лучше понимать своих питомцев.

Система, разработанная в Университете Сан-Паулу, обучилась распознавать признаки боли у лошадей, анализируя фотографии их морд до и после операций, а также до и после приема обезболивающих средств. ИИ смог самостоятельно выявить признаки, указывающие на боль, с точностью 88%, демонстрируя потенциал таких систем для автоматизации мониторинга состояния животных.
science.org

✔️ ИИ теперь помещается в кармане: портативные LLM на USB-накопителях.

Энтузиасты в области ИИ создают портативные версии LLM, которые помещаются на обычный USB-накопитель. Эти модели, хотя и менее мощные, чем их "большие братья", открывают новые возможности для использования ИИ в мобильных и эмбедед-устройствах.

Один из таких проектов, Binh, позволяет запускать LLM на Raspberry Pi Zero W, помещенном в корпус USB-накопителя. Пользователю достаточно создать пустой текстовый файл с именем, и LLM автоматически заполнит его сгенерированным текстом. Хотя скорость работы оставляет желать лучшего, автор проекта считает его первым plug-and-play LLM на USB-носителе.
hackaday.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟 ReasonFlux: математические рассуждения для LLM.

ReasonFlux - методика, которая используется как для обучения, так и для инференса, чтобы повысить способность LLM к сложному логическому мышлению. Применение метода позволяет превосходить OpenAI o1-preview и DeepSeek V3 в задачах математического рассуждения.

При использовании в обучении ReasonFlux использует иерархическую структуру с подкреплением на последовательности высокоуровневых шаблонов мышления. Это позволяет базовой LLM научиться планировать оптимальную траекторию шаблонов для решения сложных задач. В процессе обучения ReasonFlux анализирует и обобщает информацию о решении задач, выявляя общие закономерности, и на основе этого создает шаблоны мышления.

Во время инференса ReasonFlux автоматически извлекает релевантные шаблоны мышления и масштабирует их для достижения превосходной производительности в сложных задачах рассуждения. Он динамически выбирает наиболее подходящий шаблон высокого уровня для каждой подзадачи, упрощая поиск путей рассуждений. ReasonFlux использует новую систему масштабирования во время вывода, которая адаптирует шаблоны мышления.

В экспериментальных тестах ReasonFlux-32B достиг 91,2% точности на MATH benchmark, опередив o1-preview на 6,7%. На AIME benchmark модель решила в среднем 56,7% задач, превзойдя o1-preview и DeepSeek-V3 на 27% и 45% соответственно.

Практическая реализация метода доступна в репозитории проекта, в нем cодержится необходимый код и описание для файнтюна LLM на примере SFT-датасета решений GaoKao Bench.

⚠️ Для трейна моделей на SFT-сете проект использует фреймворк LLaMA-Factory.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/ReasonFlux
cd ReasonFlux

# Create a Conda venv
conda create -n ReasonFlux python==3.9
conda activate ReasonFlux

# Install dependencies
pip install -r requirements.txt

# When you complete your first-stage training, you can try to use simple inference
from reasonflux import ReasonFlux

reasonflux = ReasonFlux(navigator_path='path-to-navigator',
template_matcher_path='jinaai/jina-embeddings-v3',
inference_path='path-to-infernece-model',
template_path='template_library.json')
problem = """Given a sequence {aₙ} satisfying a₁=3, and aₙ₊₁=2aₙ+5 (n≥1), find the general term formula aₙ"""


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🟡SFT Датасет (на китайском)
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #ReasonFlux
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ TSMC предлагает ИТ-гигантам объединиться вокруг производственных мощностей Intel.

TSMC обратилась к Nvidia, AMD и Broadcom с предложением войти в совместное предприятие, целью которого станет управление производственными мощностями Intel. Как сообщают источники, TSMC планирует сохранить за собой менее 50% акций в данном предприятии. Аналогичное предложение, по некоторым данным, было направлено и компании Qualcomm. Эти переговоры разворачиваются на фоне обращения администрации президента США к TSMC с просьбой оказать содействие испытывающей трудности Intel. Известно, что переговоры по Intel находятся на ранней стадии, и TSMC заинтересована в привлечении нескольких компаний к участию в этом проекте.
zaobao.com.sg

✔️ ИИ от Sakana AI успешно прошел научное рецензирование.

Проект Scientist-v2, разработка Sakana AI, смогла создать научную работу, которая успешно прошла процесс рецензирования на одном из воркшопов Международной конференции ICLR. Это стало первым случаем, когда полностью сгенерированное исследование прошло стандартную процедуру оценки. Представленная работа была посвящена методам регуляризации нейронных сетей и, как ни странно, сообщала об отрицательных результатах.

Несмотря на то, что средняя оценка работы составила 6.33, что превысило порог принятия воркшопа, согласно предварительной договоренности, работа была отозвана, поскольку в научном сообществе пока отсутствуют устоявшиеся нормы для сгенерированных работ.
sakana.ai

✔️ Google DeepMind выводит ИИ в физический мир с Gemini Robotics.

Google DeepMind представила новейшую разработку – Gemini Robotics, модель на базе Gemini 2.0, способную наделить роботов способностью к "телесному" мышлению. Эта VLA (Vision-Language-Action) модель способна самостоятельно управлять роботами, открывая новые возможности в их применении.

Наряду с ней представлена Gemini Robotics-ER, модель с углубленным пространственным пониманием, позволяющая робототехникам использовать возможности Gemini в своих проектах. Обе модели демонстрируют интерактивность и ловкость, позволяя роботам адаптироваться к различным ситуациям, взаимодействовать с людьми и выполнять сложные задачи. Google DeepMind тестирует Gemini Robotics-ER с несколькими доверенными партнерами.
deepmind.google

✔️ Doubao (ByteDance) опубликовала технические детали модели генерации изображений Seedream 2.0.

Команда Doubao официально представила технический отчет о своей модели генерации изображений Seedream 2.0, впервые раскрыв детали процесса разработки, начиная со сбора данных и заканчивая постобработкой с использованием RLHF.

В отчете отмечаются улучшения в понимании китайского и английского языков, отрисовке текста, достижении высокого уровня эстетики и разрешения генераций. Seedream 2.0 была запущена еще в начале декабря 2024 года в приложениях Doubao и Jimeng, ей воспользовались сотни миллионов пользователей и она стала любимым инструментом для многих профессиональных дизайнеров в Китае. По сравнению с Ideogram 2.0, Midjourney V6.1 и Flux 1.1 Pro, Seedream 2.0 лучше справляется с текстом и лучше понимает китайскую культуру. Модель поддерживает запросы на китайском и английском языках.
team.doubao.com

✔️ Испания вводит крупные штрафы за отсутствие маркировки контента, созданного ИИ.

Испанское правительство одобрило законопроект, предусматривающий введение внушительных штрафов для компаний, которые используют сгенерированный контент без соответствующей маркировки. Мера направлена на борьбу с распространением "дипфейков".

Несоблюдение требований по маркировке будет классифицироваться как "серьезное правонарушение", что может повлечь за собой штрафы до 35 млн. евро или 7% от годового оборота компании-гарушителя. Новый регулирующий орган AESIA будет отвечать за обеспечение соблюдения новых правил.
reuters.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ "EXAONE Deep Released ━ Setting a New Standard for Reasoning AI" от LG AI Research

Мы уже писали про довольно интересное семейство моделей от LG, на этот раз они представили по-настоящему мощные ризонинг модели.

1) EXAONE Deep 2.4B превосходит другие модели сопоставимого размера,
2) EXAONE Deep 7.8B превосходит не только открытые модели сопоставимого размера, но и OpenAI o1-mini,
3) EXAONE Deep 32B демонстрирует конкурентоспособные характеристики по сравнению с ведущими открытым моделями.

Модель 32B, которая по размеру равна около 5% от размера DeepSeek r1, превосходит ее почти во всех тестах.

Прорыв в цепочке рассуждений – релиз акцентирует внимание на улучшении "chain-of-thought" механизма, что делает модель более способной генерировать обоснованные выводы и поддерживать длинные цепочки логических рассуждений.


🟡Релиз: https://www.lgresearch.ai/blog/view?seq=543
🟡Статья: https://arxiv.org/abs/2503.12524
🟡HF: https://huggingface.co/LGAI-EXAONE/EXAONE-Deep-32B

@ai_machinelearning_big_data

#AI #ML #LLM #EXAONE #LG #reasoning
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
⚡️ Обновление семейства Nemotron: теперь с ризонингом.

NVIDIA выпустила новые модели и датасет семейства Nemotron :

🟢Модель Llama-3.3-Nemotron-Super-49B-v1

🟢Модель Llama-3.1-Nemotron-Nano-8B-v1

🟠Датасет Llama-Nemotron-Post-Training-Dataset-v1

▶️Llama-3.3-Nemotron-Super-49B-v1 — флагманская мультиязычная модель, созданная на базе Llama-3.3-70B-Instruct и оптимизированная для ризонинга, чат-взаимодействий и RAG-систем, с контекстным окном 128 тыс. токенов. Ключевая особенность — применение в процессе создания Neural Architecture Search (NAS), метода, который позволил сократить вычислительные затраты без значительной потери качества.

Архитектура модели, впервые для семейства Nemotron, использует нестандартные блоки: в части слоев внимание заменено линейными преобразованиями, а параметры FFN-слоев варьируются между блоками. Это позволило адаптировать модель для работы на одном GPU H100-80GB.

Обучение проходило в несколько этапов: от дистилляции знаний на 40 млрд. токенов до тонкой настройки с RL-алгоритмами (RPO и REINFORCE).

Результаты тестов впечатляют: в режиме «рассуждений» модель демонстрирует 96,6% pass@1 на MATH500 и 58,4% на AIME25, превосходя базовые показатели.

Модель умеет переключаться между ризонинг-режимом и типовым LLM-инференсом: для режима рассуждений рекомендуется свой системный промпт и параметры t=0,6 и Top-P=0,95.

Модель ориентирована на создание ИИ-агентов, чат-ботов, систем с расширенным контекстом и доступна через API, в веб-демо на NVIDIA Build и веса для скачивания на HuggingFace.

▶️Llama-3.1-Nemotron-Nano-8B-v1 - младшая модель с 8 млрд. параметров, которая предлагает компромисс между точностью и эффективностью. Она создана на основе Llama 3.1 8B Instruct и предлагает улучшение точности базовой Llama 3.1, возможности в рассуждениях, как и флагманская. Модель подходит для запуска на одном GPU RTX и может использоваться локально. Nano-8B-v1 поддерживает длину контекста 128 тыс. токенов.

▶️Llama-Nemotron-Post-Training-Dataset-v1 - набор данных объемом 15.2 млн строк, который представляет собой компиляцию данных SFT и RL для улучшения математических, кодовых, общих рассуждений и возможностей следования инструкциям оригинальной модели Llama.


📌Лицензирование: NVIDIA Open Model License


🟡Статья
🟡Коллекция Nemotron на HF
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #NVIDIA #Nemotron
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
📌Ученые обнаружили сходство между мозгом человека и нейросетями в принципах обработки языка.

Совместное исследование Google Research, Принстонского университета, NYU и Еврейского университета в Иерусалиме нашло параллели в обработке естественного языка человеческим мозгом и большими языковыми моделями.

Используя внутричерепные электроды, ученые зафиксировали нейронную активность во время спонтанных диалогов и сравнили ее с внутренними представлениями модели Whisper, разработанной для преобразования речи в текст. Оказалось, что речевые эмбеддинги Whisper коррелируют с активностью в слуховых зонах мозга, а языковые — с областями, ответственными за семантику.

Эксперименты подтвердили догадки: при восприятии речи сначала активируется верхняя височная извилина (STG), обрабатывающая акустические сигналы, а через несколько сотен миллисекунд включается зона Брока (IFG), связанная с декодированием смысла. При воспроизведении речи последовательность обратная: IFG активируется за 500 мс до артикуляции, затем моторная кора планирует движение, а после произнесения слова STG «проверяет» результат. Эти паттерны совпали с динамикой эмбедингов Whisper, хотя модель не обучалась на нейробиологических данных.

Другое интересное совпадение - мозг и LLM используют предсказание следующего слова как ключевую стратегию. Как показали опыты, слушатель бессознательно предугадывает следующие слова, а ошибка предсказания вызывает «нейронное удивление» — механизм, аналогичный обучению с подкреплением в ML. Но архитектурные механизмы у мозга и LLM разные: трансформеры обрабатывают сотни слов параллельно, тогда как мозг анализирует информацию последовательно.

Несмотря на общую «мягкую иерархию» обработки (например, смешение семантических и акустических признаков в IFG и STG), биологические структуры мозга принципиально отличаются от нейронных сетей.

Исследователи подчеркивают: языковые модели (типа ChatGPT) не понимают, как люди общаются в реальной жизни (например, не чувствуют эмоций или культурных особенностей), и не учатся так, как это делает мозг человека с детства. Однако их эмбединги оказались очень полезными для изучения того, как мозг обрабатывает речь.

Ученые надеются, что эти открытия помогут создать нейросети, которые смогут обучаться как люди — медленно, шаг за шагом. А пока Whisper, неожиданно стал «зеркалом» принципов нашего мышления. Кто знает, может, через пару лет ИИ начнёт шутить с нами за чашкой кофе — как друг или коллега по работе.

🟡Статья
🟡Исследование


@ai_machinelearning_big_data

#AI #ML #Research #NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
📌 Набор датасетов по программированию от HF.

HuggingFace, воодушевившись победой модели OlympicCoder над Sonnet 3.7 в бенчмарках LiveCodeBench и в заданиях Международной олимпиады по информатике 2024 года, опубликовал набор датасетов для предварительного обучения и тонкой настройки LLM в задачах генерации кода:

🟢Stack-Edu - 125 млрд. токенов образовательного кода на 15 языках программирования, отфильтрованных из The Stack v2

🟢GitHub Issues - 11 млрд. токенов из GitHub Issues

🟢Kaggle Notebooks - 2 млрд. токенов ноутбуков Kaggle по анализу данных

🟢CodeForces problems - 10 тыс. уникальных задач из сервиса CodeForces, 3 тыс из которых не были включены в массив обучения, использовавшийся DeepMind

🟢CodeForces problems DeepSeek-R1 - 8,69 Gb отфильтрованных трассировок рассуждений по задачам CodeForces

🟢International Olympiad in Informatics: Problem statements dataset (2020 - 2024) - уникальный набор из заданий Олимпиады по программированию, разбитый на подзадачи так, чтобы каждый запрос соответствовал решению этих подзадач

🟢International Olympiad in Informatics: Problem - DeepSeek-R1 CoT dataset (2020 - 2023) - 11 тыс трассировок рассуждений, выполненных DeepSeek-R1 в ходе решения заданий Олимпиады по программированию


@ai_machinelearning_big_data

#AI #ML #LLM #Dataset #HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ OpenAI анонсировала открытую модель: релиз через несколько месяцев.

OpenAI впервые после GPT-2 готовит релиз языковой модели с открытыми весами, доступной для модификации. Как заявил Сэм Альтман, система обладает продвинутыми возможностями логического вывода, а её эффективность планируют повысить за счет обратной связи от разработчиков. Для этого OpenAI запустила форму для сбора предложений и планирует провести очные сессии в Сан-Франциско, Европе и АТР.

Модель будет близка по возможностям с o3-mini, ее релиз запланирован на ближайшие месяцы.
Sam Altman в X

✔️ В Китае появились цены на медицинские услуги с использованием интерфейсов "мозг-компьютер".

Бюро медицинского страхования провинции Хубэй объявило о введении первых в КНР тарифов на нейротехнологии. Инвазивные процедуры — установка и удаление интерфейса "мозг-компьютер" (ИМК) — оценены в 6552 (902 $) и 3139 (432 $) юаней соответственно, а адаптация неинвазивных систем обойдётся в 966 юаней (133 $).

ИМК делится на два типа. Неинвазивный, с датчиками на голове, безопасен, но дает менее точные сигналы. Инвазивный, с имплантатами, эффективнее, однако требует хирургического вмешательства. Обе технологии уже помогают пациентам ходить, «говорить» или «видеть», преобразуя мозговые импульсы в команды.
ybj.hubei.gov

✔️ Runway выпустила Gen-4.

Runway представила Gen-4 — новую модель для генерации видео с высокой детализацией. Система генерирует ролики с консистентными персонажами, объектами и окружением, улучшая физику движений и реалистичность по сравнению с Gen-3 Alpha. Gen-4 использует визуальные ссылки и инструкции и не требует дополнительного обучения.
runwayml

✔️ SANA-Sprint: SOTA в реалтайм-диффузии.

MiT и NVIDIA представилb SANA-Sprint — диффузионную модель, которая генерирует высококачественные изображения 1024x1024 пикселей всего за 0,1 секунды на H100. Технология построена на гибридной дистилляции, что позволяет избежать проблем конкурентов — нестабильности GAN, вычислительной нагрузки VSD и падения качества при малом числе шагов.

SANA-Sprint выбивает FID 7,59 и GenEval 0,74 в одношаговом режиме, обгоняя FLUX-schnell как по скорости (в 10 раз быстрее), так и по точности. Интеграция с ControlNet даёт возможность интерактивного редактирования изображений с задержкой менее 0,25 секунды.
nvlabs.github

✔️ Microsoft расширяет функционал Copilot+ для устройств на AMD, Intel и Snapdragon.

Microsoft анонсировала обновления для Copilot+ PC, которые теперь доступны не только на Snapdragon, но и на устройствах с процессорами AMD и Intel. Среди ключевых нововведений — функция Live Captions, обеспечивающая перевод аудио и видео в режиме реального времени на английский и упрощенный китайский. Voice Access также получил улучшения, упрощая управление ПК голосом.

Для творческих задач в Paint добавлен Cocreator — инструмент, объединяющий текстовые подсказки с ручной отрисовкой, а в приложении Photos появились Restyle Image и Image Creator. Они позволяют трансформировать фото в художественные стили или генерировать изображения по описанию. Обновление уже распространяются через Windows Update.
blogs.windows.com

✔️ Apple разрабатывает ИИ-агента для здоровья.

Apple, по данным Bloomberg, активизирует разработку ИИ-агента, способного давать персонализированные рекомендации по здоровью. Проект Mulberry, эволюция более ранней инициативы Quartz, направлен на создание «цифрового тренера», который поможет пользователям улучшить физическую активность, сон и питание. Запуск сервиса планируется в составе iOS 19.4 — уже весной или летом 2025 года.

Система будет анализировать данные с Apple Watch и iPhone, предлагая советы на основе медицинских алгоритмов. Для обучения нейросети привлечены не только штатные врачи компании, но и внешние эксперты: диетологи, кардиологи, психотерапевты. Особый упор сделают на трекинг питания — это выведет Apple на прямую конкуренцию с MyFitnessPal и Noom.
pymnts

✔️ Krea представила новый генератор 3D-моделей с использованием передовой технологии Hunyuan 3D.

Модели легко импортируются в Blender.
Krea

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ ИИ-терапевт Therabot сократил симптомы депрессии и тревоги в первом клиническом испытании.

Исследователи Дартмутского университета провели первое клиническое испытание чат-бота Therabot на основе генеративного ИИ, который показал значительные улучшения у пациентов с депрессией, тревогой и расстройствами пищевого поведения. Участники, взаимодействуя с ботом через приложение, в среднем на 51% снизили симптомы депрессии, на 31% — тревоги, а в группе с риском расстройств питания прогресс превысил контрольные показатели на 19%, что соответствует результатам, полученным от лучших терапевтов.

Therabot, обученный на методах когнитивно-поведенческой терапии, адаптировал диалоги под пользователей, предлагая стратегии в реальном времени. За 8 недель участники провели с ботом около 6 часов — эквивалент 8 сеансов терапии.
dartmouth.edu

✔️ В честь своего 50-летия Microsoft опубликовала исходный код Altair BASIC.

Microsoft празднует 50-летие своей деятельности, отмечая путь от небольшого стартапа в Альбукерке, основанного Биллом Гейтсом и Полом Алленом в 1975 году, до мирового технологического лидера со штаб-квартирой в Редмонде, штат Вашингтон.

В честь этого знаменательного события соучредитель компании Билл Гейтс опубликовал исходный код Altair BASIC, первого продукта компании, который сыграл решающую роль в запуске революции персональных компьютеров. Гейтс назвал код "самым крутым из всего, что я когда-либо писал".
news.microsoft.com

✔️ Google запускает функцию 'Discover Sources' в NotebookLM.

Google представила новую функцию "Discover Sources" для сервиса NotebookLM, позволяющую пользователям искать в Интернете релевантную информацию по запросу. Она позволяет задать целевую тему, после чего NotebookLM формирует коллекцию из 10 релевантных источников со всего интернета.

Discover Sources доступно для всех пользователей. Оно расширяет функциональность NotebookLM, интегрируя веб-поиск непосредственно в проекты пользователя.
blog.google

✔️ ​Midjourney выпустила альфа-версию своего нового AI-модели генерации изображений — V7.

Эта версия представляет собой полную переработку предыдущей архитектуры, включая обновленные наборы данных и улучшенные методы обработки языка. ​

Улучшенное понимание текстовых запросов: Модель стала точнее интерпретировать пользовательские промпты, что приводит к более релевантным результатам. ​

Повышенное качество изображений: Благодаря новой архитектуре и обновленным наборам данных, изображения стали более детализированными и эстетически привлекательными. ​

- Режим Draft Mode: Этот новый режим позволяет создавать изображения в 10 раз быстрее и вдвое дешевле стандартного режима, что особенно полезно для быстрого прототипирования. ​
- Персонализация: V7 впервые вводит возможность настройки модели под индивидуальные визуальные предпочтения пользователя, что достигается путем оценки около 200 изображений для создания персонального профиля. ​
Midjourney

✔️ OpenAI: опубликовали статистку: 700+ млн изображений было сгенерировано за неделю в Sora

За первую неделю после запуска новой функции генерации изображений:
Функцию 130 протестировали уже человек
Создано более 700 млн изображений.
📈 Рекордный рост пользователей:
+1 млн новых юзеров в час на пике (для сравнения: такой рост при запуске ChatGPT занял 5 дней).
Индия — лидер по темпам роста интереса к ChatGPT.

✔️2027 Intelligence Explosion: Month-by-Month Model

Новый подкаста, в котором Скотт Александер и Дэниел Кокотайло обсуждают сценарий развития искусственного интеллекта вплоть до предполагаемого "интеллектуального взрыва" в 2027 году. Скотт Александер известен своими блогами Slate Star Codex и Astral Codex Ten, а Дэниел Кокотайло ранее работал в OpenAI, но ушел оттуда в 2024 году, отказавшись от соглашения о неразглашении. В подкасте они подробно рассматривают события, которые могут произойти в сфере ИИ в ближайшие годы.​
Youtube

✔️Devin 2.0 вышел.

Сейчас выходит бесчисленное количество новых агентов.
Будем надеяться, что версия 2 получше. Цена от 20 долларов.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Google Research повышает планку: Новый бенчмарк для оценки LLM на задачах Международных Научных Олимпиад.

Интересный материал об оценке реальных способностей LLM к научному мышлению.

Стандартные бенчмарки вроде MMLU важны, но часто не отражают глубину рассуждений, необходимую для решения сложных научных задач. Google предлагает новый подход.

Существующие метрики оценки LLM недостаточны для измерения способностей к решению нетривиальных научных проблем, требующих многошаговых рассуждений и глубокого понимания предметной области.

Новый бенчмарк "SciOlympiad": Google собрал датасет из задач Международных Научных Олимпиад (ISO) по физике, химии, биологии, математике и информатике. Это задачи экспертного уровня, разработанные для выявления лучших человеческих умов.

Фокус на Reasoning (Рассуждениях): Оценка делается не только по финальному ответу, но и по качеству и корректности "цепочки мыслей" (Chain-of-Thought). Для сложных задач привлекались люди-эксперты для верификации логики рассуждений модели.

📌✔️Результаты state-of-the-art LLM (включая Gemini Ultra):
Модели показывают определенный прогресс, но их производительность значительно ниже уровня победителей-людей на ISO.
Наблюдается сильная вариативность по предметам: модели лучше справляются там, где больше символьных манипуляций (математика, информатика), и хуже – где требуется глубокое концептуальное понимание (физика, химия).
Даже продвинутые LLM часто допускают фундаментальные концептуальные ошибки и сбои в многошаговой логике, которые не свойственны экспертам.

SciOlympiad – это ценный, хоть и очень сложный, бенчмарк для стресс-тестирования реальных научных способностей LLM.
Результаты подчеркивают текущие ограничения LLM в области сложного научного мышления и решения проблем.
Исследование указывает на направления для будущей работы: необходимо совершенствовать не только знания моделей, но и их способности к глубоким, надежным и креативным рассуждениям.

🔗 Статья

#LLM #AI #MachineLearning #Evaluation #Benchmark #ScientificAI #Reasoning #GoogleResearch #NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
✔️ Google добавила мультимодальный поиск в AI Mode.

Свежее обновление AI Mode в Google Поиске добавило мультимодальные функции — система анализирует изображения, понимая контекст и связи между объектами. Загрузите фото или сделайте снимок через Lens, задайте вопрос — нейросеть на основе Gemini выдаст развёрнутый ответ с рекомендациями и ссылками.

Раньше эта функция была доступна подписчикам Google One AI Premium, но теперь она доступна через Google Labs.
blog.google

✔️ Samsung представила обновление Gemini Live для Galaxy S25 с визуальным ИИ в реальном времени.

С 7 апреля владельцы Galaxy S25 получат бесплатное обновление Gemini Live. Теперь можно обсуждать увиденное через камеру или экран, удерживая боковую кнопку. Например, ИИ подскажет, как организовать шкаф или выбрать одежду, анализируя изображение в реальном времени. Функция доступна бесплатно, но требует подключения к интернету и активации в поддерживаемых странах.
news.samsung.com

✔️ Cloudflare упрощает создание AI-агентов с MCP и бесплатным доступом к Durable Objects.

Cloudflare представила серию обновлений, ускоряющих разработку AI-агентов. Теперь в Agents SDK добавлена поддержка MCP, позволяющая агентам подключаться к внешним сервисам с автоматической аутентификацией и управлением соединениями. Для безопасного доступа интегрированы провайдеры Stytch, Auth0 и WorkOS — это упрощает настройку прав доступа через OAuth 2.1 и гибкие сценарии разрешений.

Новинка в SDK — гибернация для MСРAgent: серверы автоматически «засыпают» при простое, экономя ресурсы, и мгновенно активируются при новых запросах. Для хранения состояния агентов теперь доступны Durable Objects даже на бесплатном тарифе — с поддержкой SQLite и 5 ГБ памяти.

Обновления дополнены примерами готовых MCP-серверов — от управления задачами до анализа кода. Разработчики могут развернуть их через кнопку Deploy и настроить под свои нужды.
blog.cloudflare.com

✔️ Google Sec-Gemini v1: ИИ для кибербезопасности.

Google анонсировал экспериментальную модель Sec-Gemini v1, которая создана для помощи специалистам по кибербезопасности через интеграцию ИИ и актуальных данных об угрозах.

Система объединяет OSV, Mandiant Threat Intelligence и Google Threat Intelligence, обеспечивая анализ в реальном времени. По внутренним тестам Google, модель на 11% эффективнее аналогов в CTI-MCQ (оценка знаний об угрозах) и на 10,5% — в CTI-RCM (поиск первопричин инцидентов). Она ускоряет обнаружение атак, оценку уязвимостей и даже идентификацию хакерских групп.

Sec-Gemini v1 уже доступна бесплатно для НКО, исследователей и компаний — это часть стратегии Google по совместной борьбе с угрозами. Модель не только предупреждает о рисках, но и объясняет контекст уязвимостей, помогая командам быстрее реагировать.
cybermagazine.com

✔️ LLM в биомедицине: GPT-4 лидирует, но тонкая настройка все еще важна.

Исследование, опубликованное в Nature, показало, что LLM дают неоднозначные результаты в биомедицинских задачах. Закрытые модели (GPT-4) превзошли конкурентов в задачх, требующих логики — например, отвечая на медицинские тесты с точностью до 75%. Однако в извлечении данных (распознавание болезней, связей между белками) лидируют традиционные подходы с файнтюном BERT-моделей, опережая LLM на 30–40%.

Открытые решения без дообучения справляются хуже: в 22% случаев генерируют недостоверную информацию. Эксперты отмечают, что даже добавление одного примера в промпт снижает число ошибок. Все данные и выводы исследования доступны в репозитории для независимой проверки.
nature.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🦾 Berkeley Humanoid Lite — открытый человекоподобный робот

Калифорнийский университет Беркли представил проект Humanoid Lite — результат многолетних исследований и экспериментов по созданию простых в производстве человекоподобных роботов.

Платформа полностью придерживается принципов Open Hardware: в ней используются свободно распространяемое ПО, серийные комплектующие, доступные в розничной продаже, а также детали, напечатанные на 3D-принтере.

🌟 100 % open-source под MIT-лицензией: прошивки, схемы, BOM, STL-модели, RL-контроллеры
✔️ Open Hardware: доступные в рознице электро- и мехкомпоненты, детали печатаются на обычном FDM-принтере
➡️ Итоговая стоимость сборки — примерно 5 000 USD
⭐️ Модульная конструкция: легко превращается в квадропода или «кенавроподобного» робота
➡️ Экосистема: Isaac Lab / Isaac Sim / MuJoCo, телеметрия через SteamVR-контроллеры

Что доступно:

- Исходный код робота на C++ и Python
- Модели машинного обучения для контроллера движений
- Чертежи пластиковых деталей
- Полный список комплектующих с ссылками на покупку
- Пошаговый сборочный план
- Симуляционные окружения для тренировки и запуска робота


🌟 Что робот умеет уже сейчас
- локомоция: RL-контроллер приводит в заданную точку
- телеприсутствие: человек управляет манипулятором через VR-контроллеры
- навигация: экспериментальные алгоритмы обхода препятствий
- поддержка мелкой моторики

🔥 Как удалось удешевить:
- пластиковые шестерни, напечатанные на 3D-принтере
- циклоидные редукторы, повышающие надёжность пластика
- использование типовых драйверов и контроллеров без кастомных плат

*Clone → Print → Build → Hack!* 🤓

🔜 Проект
🔜 Код
🔜 Схемы

@ai_machinelearning_big_data


#robots #ai #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟 MiMo-7B: Набор компактных ризонинг-моделей от Xiaomi.

Xiaomi выпустила в опенсорсный релиз MiMo-7B — набор языковых моделей, созданных для решения сложных задач, от математики до генерации кода.

Несмотря на скромные 7 млрд. параметров, модель демонстрирует результаты, превосходящие 32B-конкурентов, разрушая стереотипы о зависимости качества от размера.

Создание MiMo началось с предтрейна на 25 трлн. токенов, где акцент был на повышении плотности логических паттернов.

Для этого разработчики пересмотрели обработку данных: улучшили извлечение математических формул и блоков кода из веб-страниц, добавили синтетические данные, сгенерированные топовыми ризонинг-моделями, и все это обработали уникальной стратегией смешивания.

На первых этапах доля STEM-контента достигала 70%, а на финальном — добавили синтетику и расширили контекст до 32K токенов.

Обучение с подкреплением на стадии посттренинга проводили на массиве из 130 тыс. задач, где каждая проверялась автоматически. Чтобы избежать reward hacking, использовали только rule-based награды.

Для сложных задач по программированию ввели систему частичных баллов (как на олимпиадах по информатике) - даже если решение не идеально, модель получает feedback за пройденные тесты. А чтобы RL не застревал на простых примерах, добавили ресэмплинг: 10% данных брали из пула уже решенных задач, балансируя эффективность и стабильность обучения.

Результаты бенчмарков: на LiveCodeBench v6 MiMo-7B-RL набрала 49.3%, обойдя QwQ-32B на 10 пунктов, а на AIME 2025 — 55.4%, оставив позади OpenAI o1-mini. При этом базовая версия модели уже показывала 75.2% на BBH, что выше аналогов своего класса.

▶️ Состав набора:

🟠MiMo-7B-Base - базовая модель с потенциалом рассуждений;

🟠MiMo-7B-RL-Zero - RL-модель, обученная на основе базовой;

🟠MiMo-7B-SFT - модель SFT, обученная на основе MiMo-7B-Base;

🟢MiMo-7B-RL - RL-модель, обученная на основе SFT-модели, та, которая в бенчмарках обошла OpenAI o1-mini.


⚠️ Разработчики рекомендуют использовать для локального инференса их форк vLLM , он поддерживает MTP (Multiple-Token Prediction), но и на HF Transformers инференс тоже работает.


📌Лицензирование: MIT License.


🟡Набор моделей
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RL #Xiaomi #MiMo
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Ideogram 3.0: больше реализма и новые инструменты для разработчиков.

Ideogram представил масштабное обновление своей нейросети для генерации изображений. Версия 3.0 создаёт более фотореалистичные картинки, точнее понимает запросы и предлагает вдвое больше стилей. Теперь можно загрузить до 3-х референсов, чтобы задать стиль генерации, или выбрать готовый из библиотеки.

Новые инструменты: Magic Fill и Extend. Первый позволяет менять или добавлять элементы в готовом изображении, а второй — расширять его за рамки исходного кадра. Для разработчиков открыли API с текстовой генерацией, редактированием, заменой фона и другими функциями. Интегрировать Ideogram 3.0 можно через партнерские платформы: Picsart, Freepik, Replicate и другие.
Ideogram в X (ex-Twitter)

✔️ Midjourney анонсировала функцию Omni-Reference.

Midjourney тестирует новую функцию, Omni-Reference, которая позволяет тонко настраивать визуальные элементы в создаваемых изображениях. В отличие от старого Character Reference (v6), система теперь поддерживает не только персонажей, но и отдельные объекты — например, можно указать: «Добавь именно этот меч в сцену».

Omni-Reference доступен в веб-интерфейсе сервиса (перетаскивание изображения в зону «omni-reference») или в Discord через параметр --oref с URL. Силу влияния reference регулирует параметр --ow (0–1000): низкие значения подходят для стилизации, а высокие — для сохранения деталей вроде лица или одежды.
Midjourney в Discord

✔️ Apple и Anthropic планируют добавить вайб-кодинг в Xcode.

Apple совместно с Anthropic готовит обновление Xcode с интеграцией Claude Sonnet. По данным Bloomberg, внутренняя версия уже тестируется сотрудниками: разработчики могут запрашивать код через чат, инспектировать интерфейсы и исправлять ошибки с помощью ИИ. Это ускорит процессы разработки, но пока неясно, когда инструмент станет доступен публично.

Ранее Apple анонсировала Swift Assist, однако проект застопорился из-за частых галлюцинаций ИИ. Сотрудничество с Anthropic должно решить эти проблемы.
macrumors.com

✔️ FutureHouse представила ИИ-агентов для научных исследований.

Некоммерческая организация FutureHouse, поддержанная Эриком Шмидтом, запустила платформу с четырьмя ИИ-агентами: Crow, Falcon, Owl и Phoenix. Они помогают анализировать научную литературу, планировать эксперименты и искать данные в специализированных базах. По словам разработчиков, их система использует открытые научные работы и многоэтапный анализ с «прозрачной логикой».

FutureHouse предупреждает, что Phoenix, отвечающий за химические эксперименты, может выдавать некорректные результаты и призывает пользователей делиться обратной связью для доработки.
futurehouse.org

✔️ Инженеры создали первый фотонный чип для обучения ИИ.

Специалисты из Пенсильванского университета представили революционный фотонный чип, способный обучать нейросети с помощью света. Технология не только ускоряет процесс в разы, но и резко снижает энергозатраты, открывая путь к полностью оптическим вычислениям. В отличие от традиционных электронных чипов, здесь данные обрабатываются световыми импульсами, а не электричеством — это позволяет выполнять сложные нелинейные операции, критичные для глубокого обучения.

Основа инновации — управление светом через специальный полупроводниковый материал. Два луча («signal» и «pump») взаимодействуют, меняя свойства материала в реальном времени. Это дает возможность перепрограммировать чип без изменения его структуры, достаточно настроить параметры «pump»-луча. В тестах система показала 97% точности на задачах с нелинейными границами решений, обойдя цифровые аналоги по эффективности.

Уже сейчас 4 оптических соединения на чипе заменяют 20 электронных, а в будущем технология может масштабироваться для обучения LLM.
scitechdaily.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 Встречайте Water — простой и гибкий фреймворк для многокомпонентных AI-систем.

🌊 Что такое Water:
• Лёгкий, модульный и open-source
• Изначально рассчитан на работу с несколькими агентами
• Совместим с любыми популярными платформами: OpenAI Agents SDK, LangChain, Google ADK и другими
• Поддерживает структурированные сценарии: последовательные, параллельные, циклы, условия

Идеален для тех, кто хочет собирать сложные AI-цепочки без лишнего кода и ограничений.

🔗 GitHub: https://github.com/manthanguptaa/water
📘 Docs: https://manthanguptaa.in/posts/water/

#AI #Agents #MultiAgent #Framework #opensource