⭐️ Mistral AI только что дропнули Small 3!
Вот все, что вам нужно знать:
- 24B параметров
- 81% точности на MMLU и задержка 150 токенов/с
- Позиционируется как замена GPT-40-mini
- Конкурирует с Llama 3.3 70B и Qwen 32B
- в 3 раза быстрее, чем Llama 3.3 70B
- Лицензия Apache 2.0
- Доступны как предварительно обученные, так и настроенные контрольные точки
- без RL и без синтетических данных
- Доступно на la Plateforme, HF и других провайдерах
Великолепная маленькая модель, которая дополняет другие более крупные модели, такие как DeepSeek-R1.
▪HF: https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501
▪Blog: https://mistral.ai/news/mistral-small-3/
@ai_machinelearning_big_data
#mistral #llm #ml #ai
Вот все, что вам нужно знать:
- 24B параметров
- 81% точности на MMLU и задержка 150 токенов/с
- Позиционируется как замена GPT-40-mini
- Конкурирует с Llama 3.3 70B и Qwen 32B
- в 3 раза быстрее, чем Llama 3.3 70B
- Лицензия Apache 2.0
- Доступны как предварительно обученные, так и настроенные контрольные точки
- без RL и без синтетических данных
- Доступно на la Plateforme, HF и других провайдерах
Великолепная маленькая модель, которая дополняет другие более крупные модели, такие как DeepSeek-R1.
▪HF: https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501
▪Blog: https://mistral.ai/news/mistral-small-3/
@ai_machinelearning_big_data
#mistral #llm #ml #ai
👍48❤15🔥11
🐫Tülu 3 (ну и название) 405B - еще один релиз!
Модель с открытым исходным кодом (и нет, это не китайская модель), которая превосходит по производительности DeepSeek-V3! на нескольких бенчмарках
▪Блог: https://allenai.org/blog/tulu-3-405B
▪Потестить можно тут: https://playground.allenai.org/?model=tulu3-405b
▪Technical report: https://allenai.org/blog/tulu-3-technical
▪Hugging Face: https://huggingface.co/collections/allenai/tulu-3-models-673b8e0dc3512e30e7dc54f5
@ai_machinelearning_big_data
#llm #ml #ai #opensource
Модель с открытым исходным кодом (и нет, это не китайская модель), которая превосходит по производительности DeepSeek-V3! на нескольких бенчмарках
▪Блог: https://allenai.org/blog/tulu-3-405B
▪Потестить можно тут: https://playground.allenai.org/?model=tulu3-405b
▪Technical report: https://allenai.org/blog/tulu-3-technical
▪Hugging Face: https://huggingface.co/collections/allenai/tulu-3-models-673b8e0dc3512e30e7dc54f5
@ai_machinelearning_big_data
#llm #ml #ai #opensource
1👍45🔥12❤10
🐋 DeepClaude
Высокопроизводительный LLM-интерфейс, который позволяет использовать возможности рассуждений DeepSeek R1 и творческие способности Claude с помощью единого и простого API и удобного иинтерфейса.
Особенности
🚀 Нулевая задержка - Очень быстрые ответы на базе высокопроизводительного API, написанного на Rust.
⚙️ Гибкая настройка соответствии с вашими потребностями
🌟 Открытый исходный код
🤖 Двойная мощь ИИ - объедините рассуждения DeepSeek R1 с и возможностями Claude
⭐️ DeepClaude объединяет обе модели, чтобы обеспечить:
- Новая SOTA 64,0% на бенчмарке aider polyglot
- 14-кратное снижение затрат по сравнению с предыдущей SOTA
- Повышенную точность генерации кода для различных языков программирования
▪ Github
▪Docs
@ai_machinelearning_big_data
#DeepSeek #Claude #llm #ml #ai #DeepClaude #opensource
Высокопроизводительный LLM-интерфейс, который позволяет использовать возможности рассуждений DeepSeek R1 и творческие способности Claude с помощью единого и простого API и удобного иинтерфейса.
Особенности
🚀 Нулевая задержка - Очень быстрые ответы на базе высокопроизводительного API, написанного на Rust.
⚙️ Гибкая настройка соответствии с вашими потребностями
🌟 Открытый исходный код
🤖 Двойная мощь ИИ - объедините рассуждения DeepSeek R1 с и возможностями Claude
- Новая SOTA 64,0% на бенчмарке aider polyglot
- 14-кратное снижение затрат по сравнению с предыдущей SOTA
- Повышенную точность генерации кода для различных языков программирования
git clone https://github.com/getasterisk/deepclaude.git
cd deepclaude
▪ Github
▪Docs
@ai_machinelearning_big_data
#DeepSeek #Claude #llm #ml #ai #DeepClaude #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤50🔥22👍19🐳6👏3🥰1😁1
🔥🔥🔥Разработчики SmolVLM выложили в опенсорс код для обучения SmolVLM с нуля на 256 H100!
Вдохновленные DeepSeek R1, они выложили в открытый доступ полный код для обучения модели и веса!
Теперь вы можете обучать любой из SmolVLM или создавать свои собственные VLM!
Запустить обучение для SmolVLM 256M очень просто:
▪Код: https://github.com/huggingface/smollm/tree/main/vision
▪ SmolVLM: https://github.com/huggingface/smollm/tree/main
@ai_machinelearning_big_data
#SmolVLM #llm #opensource #ml #ai
Вдохновленные DeepSeek R1, они выложили в открытый доступ полный код для обучения модели и веса!
Теперь вы можете обучать любой из SmolVLM или создавать свои собственные VLM!
Запустить обучение для SmolVLM 256M очень просто:
./vision/experiments/pretraining/vloom/tr_341_smolvlm_025b_1st_stage/01_launch . sh
▪Код: https://github.com/huggingface/smollm/tree/main/vision
▪ SmolVLM: https://github.com/huggingface/smollm/tree/main
@ai_machinelearning_big_data
#SmolVLM #llm #opensource #ml #ai
👍60🔥28❤9
Про-пользователи получат неограниченный доступ к o3-mini.
Бесплатные пользователи могут попробовать o3-mini в ChatGPT, выбрав кнопку Reason под сообщением.
Платные пользователи также могут выбрать o3-mini-high в меню выбора моделей, чтобы получить версию с более высоким уровнем интеллекта, которой требуется немного больше времени для ответов.
o3-mini превосходит предыдущие модели на бенчмарке GPQA Diamond, в математике (AIME) и в кодингке (Codeforces).
o3-mini — хорошая модель, но DeepSeek r1 имеет примерно такую же производительность, но при этом дешевле.
▪Chatgpt:
▪System Card
@ai_machinelearning_big_data
#openai #chatgp #ai #release #ml #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥14🤣14❤5😭3
Stable Flow - метод редактирования изображений без предварительного обучения на основе flow-based моделей (FLUX).
Метод основывается на идее определения "жизненно важных слоев" в DiT, которые критически важны для формирования изображения. Эти слои определяются перебором слоев путем измерения отклонений в содержании изображения.
Редактирование изображения выполняется путем параллельной генерации, где признаки из траектории генерации исходного изображения инжектируются в траекторию редактируемого изображения. Такая стратегия раньше применялась в моделях на архитектуре UNet, теперь адаптирована для DiT.
Инъекция происходит только в vital layers, что дает стабильность редактирования, сохраняя нередактируемые области нетронутыми. Это дает возможность выполнять различные типы редактирования: нежесткие деформации, добавление объектов, замену объектов и изменение сцены, используя один и тот же механизм.
Для инпейнта реальных изображений применяется инверсия, выполняемая с помощью солвера Euler Ordinary Differential Equation (ODE), с добавлением метода "подталкивания" вне распределения. Этот метод заключается в небольшом скалярном возмущении чистого латентного пространства, что позволяет улучшить точность реконструкции и ограничить изменения в процессе редактирования.
Пользовательское исследование подтвердило, что Stable Flow превосходит SDEdit, P2P+NTI, Instruct-P2P, MagicBrush, MasaCTRL по 4 категориям: соответствие текстовому запросу, сохранение исходного изображения, реалистичность и общее качество редактирования.
⚠️ Для запуска кода Satble Flow необходим токен HuggingFace
⚠️ Проект поддерживает возможность CPU offload, он включается ключом
--cpu_offload
при инференсе.# Clone repo
git clone https://github.com/snap-research/stable-flow.git
cd stable-flow
# Create conda env
conda env create -f environment.yml
conda activate stable-flow
# Batch image inference
python run_stable_flow.py \
--hf_token YOUR_PERSONAL_HUGGINGFACE_TOKEN \
--prompts "A photo of a dog in standing the street" \
"A photo of a dog sitting in the street" \
"A photo of a dog in standing and wearing a straw hat the street" \
"A photo of a mink"
# Image editing inference
python run_stable_flow.py \
--hf_token YOUR_PERSONAL_HUGGINGFACE_TOKEN \
--input_img_path inputs/bottle.jpg \
--prompts "A photo of a bottle" \
"A photo of a bottle next to an apple"
@ai_machinelearning_big_data
#AI #ML #StableFlow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
11🔥33👍26❤14🦄1
⚡ LitGPT
20+ производительных LLM, написанных с нуля, с подробным описанием, инструкциями, файнтюнигу и деплою.
Особенности:
🟢 Модели написаны с нуля
🟢 Нет абстракций
🟢 Подходит для обучения новичков
🟢 Flash attention
🟢 FSDP
🟢 LoRA, QLoRA, Adapter
🟢 Уменьшение памяти GPU (fp4/8/16/32)
🟢 1-1000+ GPU/TPUs
🟢 20+ LLMs
Установка:
Пример:
▪Github
▪Docs
▪Video
@ai_machinelearning_big_data
#LitGPT #tutorial #llm #ai #ml
20+ производительных LLM, написанных с нуля, с подробным описанием, инструкциями, файнтюнигу и деплою.
Особенности:
Установка:
pip install 'litgpt[all]'
Пример:
from litgpt import LLM
llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the familly goes to the mountains.")
print(text)
# Corrected Sentence: Every fall, the family goes to the mountains.
▪Github
▪Docs
▪Video
@ai_machinelearning_big_data
#LitGPT #tutorial #llm #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤47👍33🔥13
Вводите промпт и ChatGPT найдет, проанализирует и синтезирует сотни онлайн-ресурсов, чтобы создать развернутый отчет за 10 минут работы, вместо нескольких часов, которые потребовались бы человеку.
Основные моменты:
— Уже доступен для пользователей Pro.
— Агент предоставит полный список источников, а также прокомментирует каждый из них;
— Хорошо подходит для решения задач, связанных с поиском в интернете.
— Набрал 26.6 % на «Последнем экзамене человечества».
ИИ превосходит существующие методы как по точности, так и по вычислительной эффективности, предлагая обновления прогнозов в реальном времени четыре раза в день через Google Cloud, BigQuery и Earth Engine.
Исследователи могут получить доступ как к текущим, так и к историческим прогнозам для анализа и планирования.
Внутри 2 мощных инструмента:
WeatherNext Graph:
- Формирует единый сверхточный прогноз.
- Обновления происходят каждые 6 часов.
- Предсказания делаются на 10 дней вперёд.
- Выдает прогнозы с максимальной точностью.
WeatherNext Gen:
- Генерирует ансамблевые прогнозы из 50 вероятных сценариев.
- Обновление прогноза происходит каждые 12 часов.
- Модель позволяет лучше оценивать риски экстремальных погодных явлений.
Преимущества над традиционными методами:
- Более высокая скорость обработки данных.
- Значительное повышение точности по сравнению с физическими моделями.
- Опенсорс
Внутри много интересного о DeepSeek, Китае, OpenAI, NVIDIA, xAI, Google, Anthropic, Meta, Microsoft, TSMC, Stargate, строительстве мегакластеров, RL, ризонинге и множестве других тем на передовых ИИ тематик.
Очень интересная и наполненная техническими деталями беседа.
- Новая модель: Qwen2.5-Plus теперь обновлен до qwen-plus-0125-exp, с новыми методами пост-тренинга. Разрыв с Qwen2.5-Max значительно сократился.
- Гибкие режимы: Убрали все ограничения на переключение между режимами в течение одной сессии! С.
- Неограниченный ввод: Поддержка текстов длиной более 10 000 символов
- Возможность загружайть файлы txt, pdf, docx, xlsx, pptx, md и другие. Теперь длинный ввод не требует усилий.
Резюме самых интересных открытий за первую неделю с момента появления DS.
Компания Reliance Group Мукеша Амбани, один из крупнейших и наиболее влиятельных индийских конгломератов, строит крупный центр обработки данных в Джамнагаре - небольшом городке в штате Гуджарат, где уже расположены крупные нефтеперерабатывающие и нефтехимические предприятия Reliance.
По сообщениям Bloomberg, общая мощность центра обработки данных, который может стать крупнейшим в мире, составит 3 гигаватта, что значительно увеличит текущую мощность индийских центров обработки данных, которая оценивается менее чем в 1 гигаватт.
Таким образом, он будет в пять раз больше, чем 600-мегаваттный центр Microsoft в Бойдтоне, штат Вирджиния.
Метахранилище - это высокомасштабируемый сервис метаданных во время выполнения, который работает с несколькими движками: BigQuery, Apache Spark, Apache Hive и Apache Flink, и поддерживает открытый формат таблиц Apache Iceberg
@ai_machinelearning_big_data
#DeepSeek #opensource #ai #ml #llm #machinelearning #guide #news #chatgpt #openai #google #deepmind #qwen #DataAnalytics #ainews #news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍102❤26🔥10👀2
Anthropic разработала новый метод защиты LLM от джейлбрейк-атак, который не исправляет сами модели, а блокирует попытки взлома, не допуская нежелательных ответов.
Для создания защитного экрана компания сгенерировала датасет вопросов и ответов и перевела их на несколько языков, переписала в стиле запросов, которые используются хакерами.
Чтобы проверить эффективности экрана, Anthropic провела конкурс, где 183 участника более 3000 часов пытались обмануть Claude, но никто не смог получить ответ на более чем на 5 из 10 запрещенных вопросов. Затем провели второй тест, где 10 000 джейлбрейков, созданных LLM, были направлены на защитный экран. Пробить его смогли только 4,4% запросов, а без использования экрана - 86%. Есть минус - система защиты может блокировать безобидные вопросы и увеличивает вычислительные затраты.
technologyreview.com
Ученые из Университета Суонси и Королевского колледжа Лондона в сотрудничестве с коллегами из Чили объявили о планах по разработке самовосстанавливающихся асфальтовых дорог из биомассы с использованием ИИ.
Исследования показали, что можно обратить вспять процесс растрескивания битума, чтобы «сшить» асфальт обратно. Для создания «самовосстанавливающегося» асфальта команда добавила крошечные пористые материалы - споры, заполненные переработанным растительным маслом. При появлении микротрещин масло высвобождается из спор, чтобы заполнить трещины и предотвратить окисление битума, которое приводит к образованию выбоин. Лабораторные эксперименты показали, что биоспоровые микрокапсулы полностью залечивали трещины в образце состаренного битума за 50 минут. Исследования стали возможны благодаря ML, которое применялось для изучения органических молекул в сложных вязких субстанциях.
highwaysmagazine.co.uk
Растет число стран и правительственных органов которые запретили использование моделей DeepSeek, выразив обеспокоенность по поводу этики, конфиденциальности и безопасности компании. Согласно политике DeepSeek, все данные пользователей хранятся в Китае, где местные законы требуют от организаций делиться данными с спецслужбами по запросу.
Италия стала одной из первых стран, запретивших DeepSeek после расследования комитетом по защите конфиденциальности. Тайвань запретил использование DeepSeek в гос.учреждениях из-за риска утечки информации. Конгресс США, Министерство обороны США, НАСА и и штат Техас также запретили использовать технологии DeepSeek, сославшись на потенциальные угрозы безопасности.
techcrunch.com
CNN, разработанная в Принстонском университете, спроектировала беспроводные чипы, которые превосходят существующие аналоги. Нейронная сеть пользовалась методикой реверсивного инжиниринга - она проанализировала желаемые свойства чипа и создала его его в обратном порядке. Инженеры не смогли объяснить, как работают эти чипы, что может привести к проблемам с их ремонтом и сделать их одноразовыми.
popularmechanics.com
Google Cloud анонсировала предварительный показ новых виртуальных машин A4, оснащенных NVIDIA Blackwell B200. Каждая A4 VM имеет 8 GPU Blackwell, соединенных NVLink пятого поколения, что обеспечивает двухкратное увеличение производительности по сравнению с A3 High VM предыдущего поколения.
A4 VMs подходят для обучения и тонкой настройки различных архитектур моделей и используют сетевой адаптер Titanium ML, который предоставляет неблокирующую передачу данных между GPUs со скоростью 3,2 Тбит/с.
Google предлагает различные модели потребления - Dynamic Workload Scheduler с режимами Flex Start и Calendar для различных рабочих нагрузок.
cloud.google.com
▪Blog ▪Github
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍57❤23🔥6🎄2🍓1