195K subscribers
3.56K photos
543 videos
17 files
4.3K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
Искусственный интеллект Google научится распознавать незнакомцев, которые подглядывают в ваш телефон

Случайно или намеренно — но заглянуть в экран чужого телефона — это довольно частый соблазн, знакомый многим. Равно, как и многие пользователи сталкивались с тем, что другие люди подглядывали за ними. Исследователи компании Google ведут разработки над искусственным интеллектом, призванным противодействовать данному явлению.

Рабочее название приложения — E-Screen Protector, и на момент написания новости оно находится на этапе первого тестирования перед дальнейшей разработкой.

Используя фронтальную камеру мобильного устройства, программа распознаёт лица людей, которые по тем или иным причинам решили изучить содержание экрана владельца устройства. На основе определённой мимики и направления взгляда программа отмечает подозрительных личностей соответствующей рамкой, протягивая к ним стрелку с изображением радуги, намекая на подозрительного незнакомца за вашей спиной.

Обратная сторона медали заключается в том, что E-Screen Protector мгновенно прерывает работу остальных программ, тем более — тех, что тоже используют фронтальную камеру, чтобы обратить внимание пользователя на незнакомца, и, спустя несколько секунд, когда владелец устройства оповещён о событии, сворачивается, возобновляя работу остальных программ.

Есть ещё масса оговорок на тему того, будет ли эта программа работать по умолчанию, или её выпустят в рамках дополнительного свойства для приложений, которые нуждаются в подобной защите (например, таких, где необходим ввод личных данных), и можно ли будет в таких условиях делать личные фотографии с участием нескольких человек одновременно.

Помимо этого, всё ещё не известна дата выпуска программы, и намерены ли представители Google действительно использовать её с будущими моделями устройств, работающими на операционной системе Android.

Источник: 3dnews.ru #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Дочерняя сеть искусственного интеллекта Google превзошла все ожидания

Представленный публике в мае 2017 года искусственный интеллект AutoML создал дочернюю сеть NASNet с превосходным машинным зрением. Аналитики Google Brain отметили, что система, созданная AutoML, превосходит искусственные интеллекты, которые разрабатывают люди.

Изначально планировалось, что AutoML станет управляющей нейросетью с функциями, позволяющими создавать другие нейросети для выполнения специфических задач.

Так, NASNet должна была распознавать такие объекты, как люди, машины, светофоры, багаж и другие предметы. Искусственный интеллект учитывал ошибки «дочки» и использовал эту информацию для улучшения сети, повторяя данный процесс тысячу раз.

Когда инженеры решили протестировать NASNet с помощью приложений ImageNet и COCO, результаты превзошли все их ожидания.

В 82,7% случаев в выборке ImageNet нейросеть дала правильный ответ. Предыдущий рекорд успешности составил 81,5%. Кроме того, эффективность NASNet оказалась на 4% выше по сравнению с другими системами, оснащенными машинным зрением.

Однако теперь разработчики опасаются, что AutoML сможет создавать нейросети со скоростью, за которой не удастся угнаться всему человечеству. Представители многих крупных компаний предлагают создать этические стандарты для искусственного интеллекта.

Источник: dni24.com #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Искусственный интеллект выпустил дэт-метал альбом

Coditany of Timeness в целом похож на любой другой альбом жанра дэт-метал – но ровно до тех пор, пока вы не решите узнать об исполнителе больше. Дело в том, что его создала нейронная сеть. Да-да, ни одной гитары, никаких ударных – на записи не было даже вокалиста.

Это результат проекта Dadabots, над которым долгое время работали Зак Зуковски и СиДжей Карр. В качестве источника вдохновения они использовали альбом Diotima группы Kralice. Треки разбили на небольшие кусочки и дали на обработку искусственному интеллекту, чтобы он смог разобраться, что такое дэт-метал и как его создавать.

На практике же ученые воспроизводили фрагмент песни и позволяли нейронной сети угадывать, что будет дальше. При этом, в зависимости от того, правильный ответ был дан или нет, сеть получала различный отклик. По сути, ученые симулировали механизм обучения человеческого мозга.

Поначалу ИИ издавал лишь произвольные звуки. “В первое время это звучало слишком шумно, гротескно и текстурно”, – отмечает Карр. За три дня одни и те же фрагменты прозвучали около пяти миллионов раз, и это начало приносить свои плоды: музыка становилась всё более похожей на оригинал.

Источник: it-here.ru #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Искусственный интеллект станет приоритетом Xiaomi на ближайшее десятилетие

На рынке имеется немало самых разных коммерческих продуктов и прототипов, использующих элементы искусственного интеллекта. А недавно Huawei принесла искусственный интеллект и на рынок смартфонов, выпустив флагманские Mate 10 и Huawei V10 на чипсете Huawei Kirin 970 с поддержкой нейронных вычислений.

Конечно, Huawei Mate 10 и Huawei V10 - это лишь первые ласточки. И руководитель Xiaomi Лей Джун (Lei Jun) подтвердил, что сфера ИИ станет главным приоритетом компании на ближайшие десять лет. А первые смартфоны Xiaomi с технологиями искусственного интеллекта появятся на рынке уже в следующем году.

Первым продуктом Xiaomi с элементами искусственного интеллекта считается, выпущенная этим летом смарт-колонка Mi AI Speaker. Да и сама Xiaomi находится в выигрышном положении для развития ИИ: компания может похвастаться сильной платформой продуктов интернета вещей (IoT) и огромным числом пользователей MIUI, которое уже перевалило отметку в 300 млн человек.

Что касается будущих смартфонов Xiaomi с поддержкой искусственного интеллекта, то первым таким устройством может стать флагманский Xiaomi Mi 7 на чипсете Snapdragon 845.

Источник: thg.ru #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Искусственный интеллект научили подделывать погоду и ландшафт на видео

Компания Nvidia представила программу, работающую на основе искусственного интеллекта, которая может изменить погодные условия и ландшафт на видеозаписи.

Программу протестировали на роликах, снятых видеорегистраторами. Алгоритм способен изменить день на ночь, а зиму на лето.

Алгоритм включает в себя две работающие сети, одна из которых предоставляет информацию, а вторая ее критически оценивает. Таким способом ученым удалось добиться четкой корректировки изображений, когда запись с зимнего видеорегистратора автомобиля была переделана в летнюю. NVIDIA убрала снег, добавив небу ярких красок и зелени на деревья.

Источник: dni24.com #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Технологии искусственного интеллекта будут управлять 99% всех инвестиций

Через 20 лет технологии искусственного интеллекта будут управлять 99% всех инвестиций. Об этом сообщает издание Bloomberg.

Главный исполнительный директор Man Group Plc Люк Эллис отмечает постепенный переход на ИИ. Лондонская компания, стоимостью 103,5 млрд долларов, уже выделяет около 13 млрд долларов на несколько хедж-фондов, которые работают с машинным обучением. Эллис считает, что через 10 лет ИИ будет использоваться во всех «человеческих сферах» - от проведения торгов до помощи в выборе ценных бумаг.

«Если вычислительная мощность и генерация данных будут расти с такими темпами, то через 25 лет машинное обучение будет управлять 99% инвестиций. Оно станет частью нашей жизни. Оно поможет сделать нашу жизнь намного лучше», - считает Эллис.

Но негативный фактор от ИИ все же остается. По оценкам консалтинговой компании Opimas, к 2025 году порядка 90 тысяч рабочих мест под угрозой. В частности, это сфера управления активами, включая фондовых менеджеров, аналитиков и сотрудников бэк-офиса.

Кроме того, многие разработчики игнорируют реальный потенциал машинного обучения. Потенциал, который не светит человеческому разуму. Но зачастую компании используют ИИ всего лишь для анализа социальных сетей и данных смартфонов, прогнозов прибыли и продаж, создания стратегий.

«Именно машины будут прикладывать усилия для развития своих возможностей. Они смогут генерировать гипотезы, проверять их, а затем сообщать людям», - заявил Васан Дхар, который 20 лет назад основал один из первых хедж-фондов, использующих ИИ - Adaptive Quant Trading стоимостью 350 млн долларов в SCT Capital Management.
Источник: internetua.com #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Появился революционный алгоритм для спасения плохих фотографий

Создан новый алгоритм восстановления поврежденных цифровых изображений, использующий методику искусственных нейронных сетей. Об этом пишет EurekAlert!.

Программа инженеров из университета Берна и университета штата Мэриленд корректирует резкость изображения, убирает шум, а также выполняет ряд других задач. Создатели алгоритма обучили его на большом наборе фотографий высокого качества. В результате алгоритм научился предсказывать, как должно выглядеть исходное изображение, на основе данных о текстуре, цвете, свете и границах.

«Традиционно, существовали инструменты, которые решали каждую проблему с изображением в отдельности. Каждый из них использовал интуитивные предположения о том, как выглядит хорошее изображение. В последнее время, искусственные нейронные сети были применены для решения проблем с изображением, но последовательно. Наш алгоритм идет на шаг дальше. Он может решать широкий спектр проблем одновременно», — рассказал Маттиас Цвикер из Бернского университета.
Программисты предложили использовать байесовкую систему глубокого обучения для восстановления резкости размытого изображения, увеличения разрешения и демозаики. Выяснилось, что алгоритм может определять и устранять отклонения от идеальных параметров на загруженных снимках. Иными словами, исправляя, например, зернистость изображения, он одновременно убирает и другие дефекты. Правда, воссоздавать сложные элементы снимка алгоритм пока не умеет.

«Чтобы распознавать черты высокого уровня, алгоритму нужен контекст. Например, если на снимке показано лицо, то вероятнее всего, пиксели сверху — это волосы. Это похоже на решение головоломки. Как только вы определите, где находится этот кусок, сразу станет понятно, что представляют собой пиксели», — подчеркнул Цвикер.
По словам разработчиков, система пока хорошо справляется с простыми недостатками, например размытыми краями объектов. Исследователи представили свои выводы 5 декабря 2017 года, на 31-й конференции по системам обработки информации Neural в Лонг-Бич, штат Калифорния.

Источник: inforesist.org #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Ученые перестали понимать, как работает ИИ

Ученые и программисты перестали понимать, как именно принимает решения искусственный интеллект. Об этой проблеме заявили сразу несколько специалистов на главной ИИ-конференции — Neural Information Processing Systems, — прошедшей в Лонг-Бич (Калифорния), пишет Quartz.

Эксперты, с которыми пообщались в Quartz, говорят, что нужно действовать, пока система не стала слишком сложной. «Мы не хотим принимать за должное решения ИИ, без понимания их логики, — говорит Джейсон Йосински из Uber. — Чтобы общество приняло модели машинного обучения, мы должны знать, как ИИ принимает решения».
Проблема, которую многие эксперты называют «черной коробочкой», действительно серьезная. Предыдущий опыт показал, что ИИ имеет склонность принимать предвзятые решения и проводить аналогии там, где их не следовало бы проводить. Ошибка ИИ может обойтись очень дорого, например, во время таких операций, как космическая миссия на Марс. Аппараты находятся в 200 млн миль от Земли и стоят сотни миллионов долларов, говорит Кири Вагстафф ИИ-эксперт в Jet Propolusion Lab (NASA).

Ученые к счастью, пытаются находить методы, позволяющие понять логику искусственного интеллекта. Так, исследователь из Google Мэтра Рагху представила доклад, в котором описывается процесс отслеживания действий отдельных «нейронов» нейросети. Анализируя миллионы операций, ей удалось понять, какие из искусственных «нейронов» концентрировались на неверных представлениях, и отключить их. Это доказывает, что перевод работы нейросетей в форму, доступную для понимания человека, — не такая уж невозможная задача. «Это похоже на то, как школьные учителя просят детей пересказать своими словами, что они поняли из объяснений учителя», — говорит Вагстафф.

Источник: hightech.fm #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
ИИ помог найти природные аналоги лекарств против рака и старения

Ученые британского Исследовательского фонда биогеронтологии, компаний Insilico Medicine и Life Extension при помощи методов глубокого обучения нашли натуральные миметики препаратов метформин и рапамицин, препятствующих старению и развитию рака.

Согласно исследованиям, и метформин, лекарство против диабета 2-го типа, и иммунодепрессант рапамицин обладают значительным эффектом при лечении рака и старческих заболеваний, однако, оба они оказывают значительные побочные эффекты и продаются только по рецепту, что осложняет их использование в качестве препаратов, продлевающих жизнь.

Обратившись к помощи нейронной сети, группа ученых проанализировала безопасность и генетическую схожесть свыше 800 натуральных веществ, которые могли бы повторить действие этих препаратов, но были бы лишены побочных эффектов.

В результате было выявлено множество новых кандидатов на миметики метформина и рапамицина, о которых ранее не было известно.

Важность этого исследования в том, что натуральные препараты не регулируются Управлением по санитарному контролю и другими ведомствами США и могут в будущем появиться на полках аптек в свободной продаже как пищевые добавки, замедляющие механизмы старения на молекулярном и клеточном уровне.

Источник: hightech.fm #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
Автомобили Honda получат китайский искусственный интеллект

Компания Honda объявила о партнёрстве с китайским стартапом SenseTime, который разработает для автомобилей японской марки искусственный интеллект, сообщает Tech Crunch.

Соглашение между фирмами рассчитано на пять лет и включает в себя разработку методик распознавания объектов вокруг беспилотных машин, а также создание алгоритмов по поведению автопилота в различных дорожных ситуациях.

Напомним, ранее сообщалось, что Honda в 2025 году намерена представить свой беспилотный автомобиль уровня Level 4 (автопилот роботизирован настолько, что все делает сам, но в автомобиле сохраняются основные органы управления автомобиля человеком). В 2020 году на рынок должна выйти Honda с технологиями автономного вождения уровня Level 3 (система контролирует езду по автомагистралям, но на дорогах с непредсказуемым движением водителю придется взять управление на себя).

Источник: www.kommersant.ru #ML #DataMining #deeplearning #neuralnets #neuralnetworks #neuralnetworks #ArtificialIntelligence #MachineLearning #DigitalTransformation #tech #ML #python
⚡️ GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.

GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам.

Архитектура GraphRAG состоит из ключевых компонентов:

Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения.
Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний.
Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации.
Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных.

GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников.

⚠️ Рекомендации и предупреждения:

- Эффективность индексации зависит от правильной идентификации понятий
- Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных
- Система предназначена для опытных пользователей в предметной области
- Необходим анализ ответов человеком для получения достоверной информации
- Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей

📄 Документация:

🟢локальный запуск
🟢конфигурирование
🟢эмулятор Azurite

🖥Github
🖥Github для запуска на API Azure
🟡Страница проекта
🟡Arxiv

@ai_machinelearning_big_data

#LLM #GraphRAG #ML #RAG #NLP #Deeplearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 CUDA Programming Course – High-Performance Computing with GPUs

Свежий Бесплатный курс от freeCodeCamp по программированию CUDA.
Этот 12-ти часовой видео курс, с которым вы научитесь программировать с помощью Nvidia CUDA и использовать графические процессоры для высокопроизводительных вычислений и Deep learning.

Содержание:
🔜 (0:00:00) Вступление
🔜 (0:16:52) Глава 1 (Экосистема глубокого обучения)
🔜 (0:37:43) Глава 2 (Настройка CUDA)
🔜 (0:47:03) Глава 3 (Обзор C/C++)
🔜(1:35:47) Глава 4 (Введение в графические процессоры)
🔜 (1:51:40) Глава 5 (Написание ваших первых ядер)
🔜 (3:55:26) Глава 6 (CUDA API)
🔜 (5:35:22) Глава 7 (Быстрое умножение матриц)
🔜 (8:22:36) Глава 8 (Triton)
🔜 (9:04:43) Глава 9 (Расширения PyTorch)
🔜 (9:18:10) Глава 10 (Многослойный персептрон MNIST)
🔜 (11:41:13) Глава 11 (Что изучать дальше?)
🔜 (11:54:38) Заключение

Video: https://www.youtube.com/watch?v=86FAWCzIe_4
Code: https://github.com/Infatoshi/cuda-course
Github https://github.com/Infatoshi/mnist-cuda
Nvidia CUDA in 100 Seconds: https://youtu.be/pPStdjuYzSI?si=WIUc--IpgN-Qi2AP

#cuda #deeplearning #cpp #c #bigdata #courses #бесплатныйкурс

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🥥 Training Large Language Models to Reason in a Continuous Latent Space

Только что был выпущен код для нового подхода в обучении LLM ризонингу - "Coconut"(Chain of Continuous Thought).

Coconut позволяет LLM рассуждать более эффективно и результативно, особенно при комплексных задачах планирования.

Основная идея алгоритма - это улучшения рассуждений моделей с использованием латентного пространства, вместо выходных лексем

При таком подходе - цепочка мыслей генерирует не в виде текстовых токенов, а в виде эмбеддингов, а затем циклично подаются обратно в LLM.

В «Coconut» у LLM есть два режима. Языковой режим работает как обычная языковая модель, генерируя текст и латентный режим, который использует скрытые состояния в качестве следующего входного сигнала, обозначенного специальными токенами <bot> и <eot>.

Скрытые состояния Coconut работают как дерево поиска, а не как линейная цепочка рассуждений, что позволяет модели исследовать несколько потенциальных путей одновременно.

На каждом шаге модель отдает приоритет перспективным узлам, отсекая менее релевантные.

Это помогает эффективнее справляться с задачами планирования и логики, по сравнению с традиционным методом работы CoT.

Как это работает:
1️⃣ Сначала модели подается промпт, за которым следует специальный токен <bot>, чтобы инициировать скрытое рассуждение.
2️⃣ Последнее скрытое состояние LLM после обработки <bot> используется в качестве первой "непрерывной мысли"
3️⃣ Непрерывная мысль подается обратно в модель как новый вход, генерируя новое скрытое состояние (новую мысль). Это повторяется в течение K итераций → цепочка непрерывных мыслей.
4️⃣ Далее добавляется маркер <eot> после последней непрерывной мысли, чтобы завершить скрытое рассуждение.
5️⃣ Последняя непрерывная мысль и <eot> затем используются для генерации ответа.
Такой подход, разумеется, требует большого количества ресурсов при обучении модели.

Плюсы такого подхода:
🏅 Превосходит CoT в задачах, где требуется планирования и сложные рассуждения, таких как ProntoQA и ProsQA
📉 Генерирует значительно меньше лексем во время размышлений по сравнению с CoT
🔀 Может выполнять поиск с широким охватом (BFS), кодируя одновременно несколько альтернативных следующих шагов

git clone git@github.com:facebookresearch/coconut.git
cd coconut


Github
Paper

@ai_machinelearning_big_data


#deeplearning #nlp #reasoning #llm #ml
⭐️ OpenAI представили своего AI агента.

Operator — это ИИ-агент, который умеет работать с браузером, заказывать продукты, бронировать билеты и столики в ресторанах искать данные и тп.
Вам нужно просто описать свою задачу, а затем наблюдать в реальном времени, как оператор выполняет её за вас.
Доступ пользователям Pro уже открыт, для остальных обещают в ближайшем времени:
operator

⭐️ Open Operator
В преддверии релиза OpenAI Operator разработчики начали собирать полезные ресурсы, связанные с Operator и другими подобными решениями для автоматизации задач:
Github

⭐️ Новый лидер на Text-to-Image Arena! Imagen 3 от Google DeepMind

Imagen 3 дебютирует на первом месте, обойдя Recraft-v3 с впечатляющим отрывом в +70 очков!
Imagen 3 доступен на сайте .

⭐️ "Последний экзамен человечества"

Это тщательно собранный датасет с 3 000 вопросов, разработанный при участии сотен профильных экспертов, чтобы отразить границы человеческих знаний. Лучше всех справляется с ним DeepSeek R1 от, достигая 9.4%, у o1 отставание с 9.1%.
Dataset

⭐️ Можем ли мы генерировать изображения с помощью цепочки мыслей CoT?

Давайте проверим и улучшим генерацию изображений шаг за шагом.
Авторегрессионная генерация изображений + масштабирование выводов приводят к существенному улучшению генерации изображений на нескольких бенчмарках.
Github Статья HF

⭐️ Pika 2.1

Крутейший генератор видео уже на подходе 😁 Движение в реальном времени стало намного лучше!
Здесь, можно подать заявку на ранний доступ:
Доступ

⭐️ o3-mini станет бесплатной — работать с моделью скоро смогут все желающие!
Новость


⭐️ Anthropic. Представили Citations

Новая функция API, которая позволяет Claude обосновывать свои ответы на предоставленных вами источниках.

Еще Claude может процитировать конкретные предложения и отрывки, которые лежат в основе каждого ответа.
Новость

@ai_machinelearning_big_data


#news #ai #ml #machinelearning #deeplearning #openai #pika #chatgpt #Imagen #cot #Anthropic #Claude
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌟 Обучение нейросети поиску локаций по самым непонятным запросам: опыт API Яндекс Карт

Команда API Яндекс Карт поделилась тем, как модернизировала Геокодер. Это инструмент, который способен найти точную локацию по запросу "Мяснитская 8" или вообще "Келес ауданы Сыртав 2".

Инженеры построили весь Геокодер с помощью deep learning, который:
- Работает даже с опечатками и народными названиями
- Понимает адреса на разных языках
- Запускается в новой стране за пару недель
- Использует под капотом контрастивное обучение, active learning, аугментацию и LLM-генерацию
- Показывает результат на 14% точнее предыдущей версии

По заверениям разработчиков, чтобы поддерживать такой Геокодер, достаточно всего пять ML-инженеров.

⭐️ Как это работает и что под капотом — читайте на Хабре.

▪️Статья

@ai_machinelearning_big_data

#ai #ml #machinelearning #deeplearning
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ Макрон объявил, что Франция планирует инвестировать в развитие ИИ 109 миллиардов евро в ближайшие годы.

Он уточнил, что среди инвесторов французских проектов в области ИИ будут компании из Объединенных Арабских Эмиратов, Соединенных Штатов, Канады и самой Франции.

Кроме того, Макрон подчеркнул намерение Парижа сотрудничать с Нью-Дели и Пекином для продвижения технологий искусственного интеллекта. «Мы стремимся к совместной работе с Индией», – сказал он, добавив, что Франция также намерена взаимодействовать с Китаем и Соединенными Штатами, однако не хочет зависеть ни от одной страны.

Относительно обсуждений о возможном запрете использования китайского чат-бота DeepSeek в некоторых странах, Макрон выразил мнение, что запрет технологических решений лишь на основании их происхождения является неоправданным шагом.
Новость

✔️OpenAI дебютировал на Super Bowl, выпустив рекламу ChatGPT стоимостью 14 миллионов долларов.
Видео

✔️ ByteDance показали новый генератор видео Goku.

- Goku: генеративная модель видео на основе потоков.
- Goku+: Модель, которая позиционируется, как модель для генерации видеорекламы и обещает быть в 100 раз дешевле, чем традиционные методы создания видео-рекламы.
Аrxiv

✔️ Свежий гайд, который поможет вам тренировать свой собственный ризониг LLM.

С этим ноутбуком примерно за 2 часа можно обучить модель Qwen 0.5B на математическом наборе данных GSM8K, используя обучение с подкреплением!
Colab Demo

✔️ LeRobot — это образовательный проект, направленный на создание бюджетного робота, стоимость каждой руки которого составляет всего 110 долларов. С помощью обычного ноутбука пользователи могут обучать робота различным навыкам.

Проект предлагает платформу с готовыми моделями, наборами данных и инструментами для работы с робототехникой на базе PyTorch.

На данный момент доступны предварительно обученные модели, демонстрационные среды для симуляций, а также готовые скрипты для обучения и управления реальными роботами.

Также предоставляются рекомендации по ведению логов и оценке моделей, а также ссылки на исследовательские материалы и примеры кода для профилирования.
Github

✔️ Стартап Ильи Суцкевера, сооснователя OpenAI, оценили в $20 миллиардов.

Safe Superintellgence(SSI), основанная в июне 2024, еще ничего не выпускает и не зарабатывает, так как первым продуктом обещают сразу ни больше ни меньше — safe AGI.

А пока просто посмотрите на сайт компании, которая УЖЕ привлекла миллиард долларов и собирается привлечь еще. Сила имени.
ssi.inc.

@ai_machinelearning_big_data


#openai #deeplearning #opensource #ai #ml #llm #machinelearning #guide #news #chatgpt #qwen #ainews #news
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⭐️ Native-sparse-attention-pytorch – представляет собой реализацию разреженного механизма внимания на PyTorch, оптимизированного для работы с большими последовательностями.

Он позволяет существенно снизить потребление памяти и ускорить вычисления по сравнению с классическим полносвязным вниманием.

Одним из главных преимуществ данного решения является его высокая эффективность при обработке длинных последовательностей.

За счёт вычисления внимания только по выбранным элементам (а не по всем парам токенов) удаётся уменьшить сложность алгоритма.

Кроме того, инструмент интегрируется непосредственно с PyTorch и использует нативные CUDA-ядра, что позволяет достичь оптимальной производительности на GPU.

Репозитория поможет в экспериментах с архитектурами, где внимание применяется к длинным последовательностям – будь то тексты, временные ряды или изображения – и обеспечивает возможность более эффективного использования вычислительных ресурсов.

native-sparse-attention-pytorch даёт существенные преимущества в снижении затрат памяти и ускорении вычислений, что делает его ценным инструментом для глубокого обучения.

$ pip install native-sparse-attention-pytorch

Github

@ai_machinelearning_big_data


#deeplearning #artificialintelligence #attention #sparseattention #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 6 День недели опенсорса: DeepSeek-V3/R1 Inference System!

DeepSeek выкатил подробный обзор своего инференса для моделей DeepSeek-V3/R1 – с акцентом на архитектурные инновации и невероятную экономическую эффективность.

DeepSeq R1 ежедневно приносит более $560 000, причем затраты на GPU составляют всего $87 000. Что озночает рентабельность в 545 %.

При таких расчетах теоретическая годовая выручка могла бы превысить $200 млн.

Компания также отметила, что затраты на обучение моделей составили менее $6 млн. Для сравнения, американские конкуренты, такие как OpenAI, инвестируют миллиарды долларов в обучение ИИ с использованием чипов NVIDIA H100. DeepSeek использует менее мощные NVIDIA H800, но это не мешает её моделям успешно конкурировать на глобальном рынке.

Данные за 24 часа:
– Входные токены: 608 млрд (с 56.3% cache hit rate)
– Выходные токены: 168 млрд при скорости 20–22 токена/с

Разительный контраст с американскими конкурентами, работающими в убыток.

Такой уровень доходности достигается за счёт оптимизированного распределения вычислений и гибкой архитектуры.

🌟 В DeepSeek-V3/R1 используется Cross-node Expert Parallelism (EP) — метод, при котором модель делится между GPU-узлами, а каждая видеокарта обрабатывает лишь небольшую часть модели. Эксперты распределяются между узлами кластера, что снижает нагрузку на память GPU, увеличивает размер батча и позволяет равномерно загружать видеокарты, избегая простоев. Это ускоряет вычисления и минимизирует задержки.

🌟 Для обработки данных DeepSeek-V3/R1 использует двухфазную стратегию инференса.

1) Prefilling фаза — здесь bспользуется EP32, где каждый GPU получает 9 направляемых экспертов и 1 общего эксперта, что позволяет минимизировать расходы на обработку данных.

2) Для Decoding используется EP144, перераспределяющий нагрузку так, что каждый GPU управляет 2 направляемыми экспертами и 1 общим экспертом. Такая стратегия помогает достичь высокой производительности без потери качества ответа.

– ~73.7k токенов/с для prefilling
– ~14.8k токенов/с для декодинга на одном узле H800

Данные за 24 часа:
– Входные токены: 608 млрд (с 56.3% cache hit rate)
– Выходные токены: 168 млрд при скорости 20–22 токена/с


🔗 Подробнее: *клик*

@ai_machinelearning_big_data


#AI #DeepLearning #DeepSeek #ml #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM