🖥 pytorch-cpp-cuda-starter

Cтартовый пакет работы с Pytorch на C/C++ с поддержкой CUDA.

▪ Github

#cpp #python #cuda #nvidia #opensource

⭐️ Simple GRPO

Вы можете запустить GRPO (Group Relative Policy Optimization - основной алгоритм Deepseek r1), для моделей на 8b параметров на GPU стоимостью 10 долл/ч.

4xH100 достаточно для тренировки Llama 3.1 8b и алгоритм прекрасно работает.

▪ Код: https://github.com/minosvasilias/simple_grpo

@data_analysis_ml

#gpro #deepseek #reasoning

🤖 Как гуманоидные роботы могут общаться не используя слов?

🚀 Новые исследования в области взаимодействия человека и робота!

Как человекоподобные роботы могут общаться не только словами? Фреймворк EMOTION использует большие языковые модели (LLM) для динамической генерации выразительных жестов, улучшая невербальную коммуникацию роботов.

EMOTION способен принимать фидбек от людей для совершенствования коммуникации (EMOTION++)

📜 Читайте полный текст статьи: https://arxiv.org/abs/2410.23234
🎬 Видео: https://machinelearning.apple.com/research/emotion-expressive-motion

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.

Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.

FireDucks побеждает с отрывом.

⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks

⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo

⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb

⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/

⭐️ Подписаться: @data_analysis_ml

#fireducks #Pandas #dataanalysis #datascience #python #opensource

✔️ Mistral AI обновила Le Chat: быстрый инференс, мобильные приложения и новые тарифы.

Главное в обновлении - новая функция "Flash Answers", которая генерирует ответы со скоростью до 1000 слов в секунду. Mistral AI утверждает, что это делает Le Chat самым быстрым AI-ассистентом на данный момент.

Обновление включает в себя интерпретатор кода с возможностью его запуска, возможность научного анализа статей и создание визуализаций. За генерацию изображений в сервисе отвечает модель Flux Ultra от Black Forest Labs.

Mistral также презентовал новую структуру ценообразования с 4 тарифными планами: бесплатный базовый план, план Pro за $14.99 в месяц, план Team за $24.99 в месяц на пользователя и план Enterprise с индивидуальным ценообразованием для крупных организаций. Le Chat теперь доступен на iOS и Android.
mistral.ai

✔️ OpenAI планирует выпуск устройства на базе ChatGPT.

OpenAI подтвердила разработку потребительского устройства на базе ChatGPT. По словам Сэма Альтмана, компания планирует разрабатывать его в сотрудничестве с несколькими компаниями, предполагая, что голосовой ввод станет основным способом взаимодействия.

Поскольку над дизайном работает Джони Айв, бывший дизайнер Apple, ожидается, что устройство будет обладать привлекательным внешним видом. Конфиденциальность также является ключевым моментом, особенно если устройство будет оснащено камерами и микрофонами.
techradar.com

✔️ Google смягчает ограничения на использование ИИ в оборонных контрактах.

Google пересмотрела свои этические принципы в отношении ИИ, отменив прежний запрет на использование его в оружии и системах наблюдения. Компания объясняет это решение растущей глобальной конкуренцией за лидерство в сфере ИИ. В новой редакции принципов акцент делается на человеческом контроле и тестировании, чтобы обеспечить соответствие международному праву и правам человека и минимизировать непреднамеренные или вредные последствия.

Другие крупные ИИ-вендоры - OpenAI, Anthropic и Microsoft уже начали сотрудничество с оборонными подрядчиками или предоставляют свои технологии американским военным.
washingtonpost.com

✔️ Microsoft представила методы низкобитного квантования для развертывания LLM на периферийных устройствах.

Методы, предложенные Microsoft - это: компилятор типов данных Ladder, библиотека T-MAC mpGEMM и аппаратная архитектура LUT Tensor Core.

Ladder преобразует неподдерживаемые форматы данных в аппаратно-совместимые представления, библиотека T-MAC mpGEMM оптимизирует вычисления смешанной точности, используя метод на основе таблицы поиска (LUT), а архитектура LUT Tensor Core представляет собой специализированный ускоритель, предназначенный для низкобитного квантования.

Их совокупность позволяет LLM эффективно работать на широком спектре оборудования, от ноутбуков до маломощных IoT-устройств. В тестах библиотека T-MAC достигла 48 токенов в секунду для модели 3B BitNet-b1.58 на Surface Laptop 7 и 11 токенов в секунду на Raspberry Pi 5.
microsoft.com

✔️ Inspira Technologies разработала датчик оксигенации на базе ИИ.

Израильская компания Inspira Technologies OXY анонсировала интеграцию кислородного индикатора нового поколения в свою технологию HYLA на базе искусственного интеллекта, которая изменит неотложную помощь, обеспечив мониторинг оксигенации тканей в реальном времени без традиционного забора крови. Индикатор на базе ИИ предназначен для непрерывного мониторинга уровня кислорода для раннего выявления гипоксии и других респираторных осложнений.

Сейчас датчики HYLA проходят клиническую проверку в медицинском центре Sheba, и Inspira ожидает, что вскоре будут опубликованы предварительные результаты, а подача в FDA для получения разрешения регулирующих органов ожидается во второй половине 2025 года.
prnewswire.com

✔️ SMOL-GPT
Простая реализация PyTorch для обучения вашего собственного LLM с нуля. Репозитория создан для образовательных целей изучения больших языковых моделей на практике.
Github

✔️ SYNTHETIC-1: новый крупнейший синтетический датасет, состоящий из 1,4 млн задач, охватывающих математику, код, науку.
Dataset

#news #ai #ml

⭐️А вы знали, что можно легко преобразовать репозиторий GitHub для работы с LLM?

В мире современных технологий, где искусственный интеллект и машинное обучение становятся всё более распространёнными, важно уметь эффективно использовать доступные инструменты.

Одним из таких инструментов является возможность работы с репозиториями на GitHub для обучения и взаимодействия с языковыми моделями (LLM).

👾👾Как это сделать?
Если вы хотите адаптировать репозиторий GitHub для работы с LLM, вам нужно лишь внести небольшое изменение в URL.

Вместо стандартного адреса с «hub» замените его на «ingest».

Это простое действие позволит вам интегрировать данные из репозитория в ваши модели, что значительно упростит процесс обработки и анализа информации.
🤖Пример
Предположим, у вас есть URL репозитория:

https://github.com/username/repository

Чтобы преобразовать его для работы с LLM, просто замените «hub» на «ingest»:

https://gitingest.com/username/repository

Теперь вы можете использовать этот новый адрес для загрузки данных и обучения вашей модели.
👍🏻👍🏻👍🏻

@data_analysis_ml

🤖 Абсурдность нашего предстоящего будущего

@data_analysis_ml

🔥 Supervision — это библиотека с открытым исходным кодом, разработанная компанией Roboflow, предназначенная для работы с компьютерным зрением!

🌟 Она предоставляет широкий набор инструментов для предобработки изображений, аннотирования данных, обработки результатов детекции объектов и взаимодействия с популярными моделями компьютерного зрения. Supervision позволяет легко загружать, изменять и комбинировать датасеты, а также визуализировать предсказания моделей, что делает ее полезным инструментом для исследователей и разработчиков.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml