@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2👏2❤1
🚀🚀 Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss
Inf-CLIP: Модель с высокой эффективностью использования памяти
🔑🔑 Ключевые особенности:
- Многоуровневое разбиение для оптимизации использования памяти (и практически без снижения эффективности обучения)
- - сокращение затрат использования памяти в 78 раз (размер пакета =256 КБ) и 281 раз (batch size =1 М) по сравнению с OpenCLIP без ущерба для точности
- Поддержка батчей размером до 4 М на 8 * A800s и 12 М на 32 * A800s
▪️Статья: https://huggingface.co/papers/2410.17243
▪️Github: https://github.com/DAMO-NLP-SG/Inf-CLIP
▪️Pypi: https://pypi.org/project/inf-cl/
@machinelearning_ru
Inf-CLIP: Модель с высокой эффективностью использования памяти
🔑🔑 Ключевые особенности:
- Многоуровневое разбиение для оптимизации использования памяти (и практически без снижения эффективности обучения)
- - сокращение затрат использования памяти в 78 раз (размер пакета =256 КБ) и 281 раз (batch size =1 М) по сравнению с OpenCLIP без ущерба для точности
- Поддержка батчей размером до 4 М на 8 * A800s и 12 М на 32 * A800s
▪️Статья: https://huggingface.co/papers/2410.17243
▪️Github: https://github.com/DAMO-NLP-SG/Inf-CLIP
▪️Pypi: https://pypi.org/project/inf-cl/
@machinelearning_ru
👍3❤2🔥2
Forwarded from Machinelearning
Hugging Face выпустила Transformers.js v3, с улучшенной поддержкой WebGPU, новых форматов квантования и 120 поддерживаемых архитектур.
WebGPU обеспечивает вычисления на GPU непосредственно в браузере, что делает Transformers.js v3 до 100 раз быстрее по сравнению с WASM.
Новые форматы квантования позволяют выбирать уровень точности модели: fp32, fp16, q8 и q4. Среди поддерживаемых архитектур - Phi-3, Gemma, LLaVa, Florence-2 и MusicGen.
Transformers.js v3 совместима с Node.js, Deno и Bun, а также доступна на NPM - @huggingface/transformers.
huggingface.co
Британское управление по конкуренции и рынкам (CMA) начало расследование партнерства Alphabet, материнской компании Google, с Anthropic.
Alphabet инвестировала 500 миллионов долларов в Anthropic в 2023 году с обещанием дополнительных 1,5 миллиарда долларов в будущем.
CMA изучает, не приведет ли партнерство к ограничению конкуренции на рынке. Регулятор должен принять решение о дальнейших действиях к 19 декабря 2024 года. Alphabet и Anthropic пока не прокомментировали ситуацию.
cityam.com
Fujitsu разработала программное обеспечение, для оптимизации использования GPU -"Сomputing broker".
Computing broker способен перераспределять процессы даже во время их работы, отдавая приоритет задачам с более высокой эффективностью выполнения. В ходе предварительного тестирования Fujitsu удалось достичь увеличения производительности обработки GPU до 2,25 раз.
Технология также эффективно управляет памятью, обрабатывая рабочие нагрузки ИИ объемом до 150 ГБ, что примерно в пять раз превышает физическую емкость протестированных GPU. Fujitsu планирует расширить возможности технологии для поддержки нескольких GPU, установленных на нескольких серверах.
techspot.com
В статье The Verge утверждалось, что Orion будет ориентирован на корпоративных клиентов и будет доступен через API. В публикации также говорилось о планах Microsoft разместить Orion в Azure уже в ноябре.
Сэм Альтман назвал эту информацию "фейковыми новостями", не уточнив, какие именно детали публикации не соответствуют действительности. OpenAI недавно выпустила модели o1 и o1-mini, но их восприятие было сдержанным из-за высокой стоимости эксплуатации и ограниченных возможностей по сравнению с GPT.
venturebeat.com
10 беспилотных машин распределяли смесь из утрамбованных камней и песка, а затем нанесли битумное связующее для формирования дорожного полотна. Автономные катки выравнивали поверхность и обеспечивали необходимую твердость. Дроны контролировали ход строительства и проводили топографические измерения, гарантируя соблюдение заданных параметров. Несколько сотрудников удаленно контролировали работу техники.
Новая технология позволила выполнить укладку дороги за один проход, исключив необходимость в дополнительных работах. Разработчики алгоритмов проекта отмечают, что роботизированная укладка дороги обеспечивает миллиметровую точность и более высокую скорость по сравнению с традиционными методами.
Проект является продолжением скоростной автомагистрали Пекин-Гонконг, общая протяженность которой составляет 664 километра. Построенный участок соединяет Пекин с Хэбэем.
xatakaon.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2🔥1
▪️Github
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤2🔥2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤4🔥2
Media is too big
VIEW IN TELEGRAM
⚡️ The OG: Отец нейронных сетей Уоррен Маккаллох рассказывает о разуме, мозге, мыслящих и чувствующих машинах
Невролог, который много лет назад помогал создавать это направление и видел будущее компьютеров и искусственного интеллекта.
В первой части этого фильма, снятого в 1962 году, демонстрируются возможности компьютерного "искусственного интеллекта", намного превосходящие возможности любого человеческого мозга. Во второй части показаны эксперименты по электронному воспроизведению некоторых сенсорных восприятий.
@machinelearning_ru
Невролог, который много лет назад помогал создавать это направление и видел будущее компьютеров и искусственного интеллекта.
В первой части этого фильма, снятого в 1962 году, демонстрируются возможности компьютерного "искусственного интеллекта", намного превосходящие возможности любого человеческого мозга. Во второй части показаны эксперименты по электронному воспроизведению некоторых сенсорных восприятий.
@machinelearning_ru
👍6❤3🔥3
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤4👎1
Google работает над технологией ИИ под рабочим названием Project Jarvis, которая позволит ИИ автономно управлять веб-браузером для выполнения задач поиска информации и совершения покупок.
Google планирует представить Project Jarvis в декабре, одновременно с выпуском новой большой языковой модели Gemini. Разработка Google направлена на то, чтобы ИИ мог напрямую взаимодействовать с компьютером или браузером пользователя.
Примечательно, что конкурент Google по технологиям поиска, Microsoft, тоже работает над аналогичной технологией.
📌 finance.yahoo.com
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤2👍2😱2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥2
Spark, продукт лаборатории GitHub Next, позволяет создавать прототипы приложений с помощью чат-подобного интерфейса. В основе Spark лежат репозиторий GitHub, GitHub Actions и база данных Microsoft Azure CosmosDB.
Spark может использовать любые веб-API, а пользователи могут выбирать между моделями Anthropic’s Claude Sonnet и OpenAI’s GPT. Также заявлена функция шэринга Spark-проектов с настраиваемыми правами доступа.
Открыта запись в waitlist. Подать заявку можно по ссылке.
githubnext.com
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤4🔥2
Медицина, промышленность, образование — это только некоторые из областей, где могут быть полезны исследования в области машинного обучения. Яндекс в шестой раз отметил авторов самых перспективных исследований премией Yandex ML Prize. Рассказываем о самых интересных открытиях.
Иван Бутаков (МФТИ, Сколтех) разработал новый метод, который позволил лучше понять процессы обучения нейросетей. Что это даёт? Теперь можно “регулировать” память искусственного интеллекта и настраивать его “запоминание” или “забывание” информации.
Артем Лыков (Сколтех) и его команда первые в мире представили универсальную когнитивную систему, адаптируемую для различных типов роботов. В числе его разработок — робособака, способная понимать голосовые команды, взаимодействовать с окружающими предметами и воспринимать визуальную информацию. Всё это может стать основной для создания «роя умных роботов».
Елена Тутубалина (КФУ, AIRI) ведет работы в области анализа естественного языка, биомедицинских и химических данных. Ее исследования могут ускорить создание лекарств — от идеи до клинических испытаний.
Помимо самой премии, лауреаты также получат доступ к Яндекс 360 и грант на на использование Yandex Cloud. Эти ресурсы помогут им проводить объёмные вычисления и анализировать данные.
@machinelearning_ru
Иван Бутаков (МФТИ, Сколтех) разработал новый метод, который позволил лучше понять процессы обучения нейросетей. Что это даёт? Теперь можно “регулировать” память искусственного интеллекта и настраивать его “запоминание” или “забывание” информации.
Артем Лыков (Сколтех) и его команда первые в мире представили универсальную когнитивную систему, адаптируемую для различных типов роботов. В числе его разработок — робособака, способная понимать голосовые команды, взаимодействовать с окружающими предметами и воспринимать визуальную информацию. Всё это может стать основной для создания «роя умных роботов».
Елена Тутубалина (КФУ, AIRI) ведет работы в области анализа естественного языка, биомедицинских и химических данных. Ее исследования могут ускорить создание лекарств — от идеи до клинических испытаний.
Помимо самой премии, лауреаты также получат доступ к Яндекс 360 и грант на на использование Yandex Cloud. Эти ресурсы помогут им проводить объёмные вычисления и анализировать данные.
@machinelearning_ru
❤2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥2
Forwarded from Machinelearning
D-FINE - детектор объектов в режиме реального времени, который предлагает улучшение регрессии bounding box в моделях DETR . D-FINE обладает высокой точностью локализации, определяя регрессию рамок как процесс итеративного уточнения распределений вероятностей.
D-FINE состоит из двух компонентов:
FDR преобразует процесс регрессии из предсказания фиксированных координат в итеративное уточнение распределений вероятностей. Эта техника дает более детальное промежуточное представление, что повышает точность локализации.
GO-LSD - двунаправленная стратегия оптимизации, которая передает знания о локализации из уточненных распределений в более ранние слои модели через самодистилляцию.
Старшие версии D-FINE-L и D-FINE-X достигают 54,0% и 55,8% AP на наборе данных COCO соответственно, работая со скоростью 124 и 78 FPS на GPU NVIDIA T4.
При предварительном обучении на Objects365 D-FINE-L и D-FINE-X показывают 57,1% и 59,3% AP, что выше всех существующих детекторов реального времени.
Разработчики D-FINE предлагают несколько предобученных моделей на датасетах Objects365 и COCO под разные задачи и мощности. Все модели поддерживают инференс на изображениях и видео с использованием ONNX Runtime, TensorRT и PyTorch:
D-FINE предоставляет инструменты для обучения, бенчмаркинга, визуализации с помощью FiftyOne и инструкции по организации наборов данных.
# Create env via conda
conda create -n dfine python=3.11.9
conda activate dfine
# Install requirements for inference
pip install -r tools/inference/requirements.txt
# Install ONNX
pip install onnx onnxsim
# Choose a model
export model=l # s, m, x
# Inference
python tools/inference/onnx_inf.py --onnx model.onnx --input image.jpg # video.mp4
@ai_machinelearning_big_data
#AI #ML #DETR #DFine #Detection
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥1👏1
This media is not supported in your browser
VIEW IN TELEGRAM
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤2
Forwarded from Искусственный интеллект. Высокие технологии
@vistehno
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤2🔥2