🫐 Год заканчивается, а новые продукты нет!
Apple релизнули в OpenSource инструмент для ускорения моделей в продакшне в колабе с NVIDIA.

🎄 Спросили у нашего DS-разработчика Михаила, как эта штука встраивается в pipeline среднестатистической большой компании, применяющей LLM'ки в продакшне? И вот, что он рассказал:

Если кратко, то ReDrafter позволяет еще сильнее ускорить/оптимизировать скорость предсказания моделей. У него есть Teacher-модель (тяжелая умная модель) и Student-модель (проще, но быстрее). Teacher проверяет Student, а он, в свою очередь, генерит несколько токенов.

Мы рассматриваем pipeline как цепочку действий:
- получили запрос пользователя через условную API;
- запроцессили его под какой-то формат (мб добавили больше инфы);
- сгенерировали предсказание модели (тут как раз и применяем ReDrafter);
- провели постпроцессинг ответа модели (отформатировали ответ для передачи пользователю).

А теперь посмотрим, что изменилось.

Жизнь до ReDrafter:

- запрос пользователя → preprocessing;
- токенизация → генерация (1 токен за шаг);
-postprocessing → ответ.

Жизнь с ReDrafter:

- запрос пользователя → preprocessing;
- токенизация → Student-модель генерирует сразу N токенов;
- Teacher-модель проверяет и фильтрует некорректные предсказания;
- postprocessing → ответ.

#AI #Apple #NVIDIA #ReDrafter

🙂 Artificial Intelion

🔔 Итоги уходящего года и прогнозы на 2025-й от генерального директора компании "Интелион Облако" Максима Вязникова специально для СNews и всего мыслящего человечества!

*️⃣О развитии языковых моделей и генеративного ИИ;
*️⃣трансформации перспективных отраслей;
*️⃣глобальной гонке за инфраструктурой и других знаковых событиях и процессах в сфере ИИ - читайте в материале!

Максим Вязников CEO Intelion Cloud:

2024-й показал, что искусственный интеллект перестал быть технологией будущего — он стал неотъемлемой частью нашего настоящего. Однако за стремительным развитием стоит не только успех, но и вызовы. Нам необходимо строить мощную инфраструктуру и развивать профессиональные кадры, чтобы потенциал ИИ стал доступным и полезным для всех отраслей экономики.

#AI #IntelionCloud #ИтогиГода

🙂 Artificial Intelion

🚗 Годное предновогоднее! Специально для тех, кто сразу после боя курантов побежит смотреть, что новенького в мире ИИ, заботливые ребята из Latent.Space составили список чтения на 2025-й!
https://www.latent.space/p/2025-papers

🎁 Отличный подарок для всех, кто боится заскучать на каникулах. В подборке – статьи для ML/DS-разработчиков, инженеров, продакт-менеджеров и просто энтузиастов ИИ.

*️⃣Материалов много, все разбиты по блокам и направлениям: можно найти массу полезного об ИИ-агентах, диффузии, генерации кода, соревнованиях моделей и прочих актуальных вещах.

*️⃣А для тех, кто собирается все выходные кататься с ледяных гор, мы в новом году будем публиковать краткие ревью самых интересных статей. Не переключайтесь!
#AI #ReadingList

🙂 Artificial Intelion

Дорогие друзья!
🥂 Мы, компания Intelion Cloud, от всего сердца поздравляем вас с наступающим Новым годом!

⭐️Пусть все ваши мечты сбываются, модели обучаются, код пишется, проекты успешно реализуются! Пусть рядом всегда будут единомышленники, вдохновленные вашим энтузиазмом и верой успех!

🎄 Будьте успешны и энергичны, подписывайтесь на Artificial Intelion, приводите друзей, узнавайте о новых возможностях ИИ, арендуйте серверы, а главное - будьте очень и очень счастливы!
До встречи в новом году!

С любовью, Intelion Cloud
#HappyNewYear

🙂 Artificial Intelion

🙂 Решительно всех поздравляем с наступившим новым годом и вместе с вами отправляемся бороздить просторы ИИ, изучать новые возможности и открывать неизведанные горизонты.

*️⃣Начнем с полезного: если вам уже надоели вопросы о том, как проходят праздники и чем заняты на каникулах, попробуйте записать общий для всех ответ и озвучить с помощью новой нейросети))

*️⃣ Можно копировать собственный голос, можно выбрать из существующих или воспользоваться платформой этих же ребят PlayDialog, чтобы поспорить с роботами о высоком в режиме диалога.

*️⃣ Отличная вещь для озвучивания текстов, записи подкастов и прочих войс-месседжей. Интерфейс максимально простой, из нюансов - ошеломительный акцент на некоторых языках, включая русский. С английским все хорошо.
В общем, пробуем)
#AI #PlayAI

🙂 Artificial Intelion

🙂 Мы привыкли, что этот человек в куртке приносит нам свежие видеокарты, но на этот раз он решил ворваться в новый год красиво, и презентовал первый персональный AI-компьютер от NVIDIA.

*️⃣Project Digits – ИИ-компьютер, снабженный продвинутым чипом со сложным названием GB10 Grace Blackwell Superchip. Позволяет создавать, обучать, масштабировать и настраивать модели размером до 200 млрд параметров. А если у вас их будет два, мощь удвоится.

*️⃣ И это не метафора, так как устройство обещают запустить в массовую продажу уже к лету. Стоить будут около 3 тысяч долларов, что, конечно, дороже айфона, но с другой стороны – у вас будет суперкомпьютер!
#AI #NVIDIA

🙂 Artificial Intelion

🫢 Тренд на обсуждение "потолка" в который вот-вот упрутся ИИ-исследования, набравший такие мощные обороты совсем недавно, снова сменился на хорошо знакомые нам разговоры о том, как ИИ захватит мир, уничтожит человечество, и вообще, все будет плохо.

🤪 Для того, чтобы избежать этих катастрофический последствий, хорошо известный в гиковской среде знаменитый программист и криптовалютный магнат Виталик Бутерин предложил всем компаниям взять глобальную "мягкую паузу" и добровольно приостановить исследования, включая разработку AGI. В дальнейшем, все движения в сторону суперинтеллидженс должно контролировать некое международное агентство с правом вето.

*️⃣Интересно, что эту богатую идею поддержали главы многих крупных компаний, включая главу OpenAI Сэма Альтмана. Интересно, что теперь победит: осторожность или страсть к инновациям.
#AI #AGI #Pause

🙂 Artificial Intelion

🤑 Сейчас примерно на всех техно-выставках принято говорить об ИИ и рассуждать о том, что он может, но организаторы Consumer Electronics Show (CES), которое проходит прямо сейчас в Лас-Вегасе, пошли немного дальше: собрали все УЖЕ действующие на основе ИИ новинки и решительно их обозревают.

*️⃣В топе тем – медицинская ИИ-электроника, роботы-путеводители и экскурсоводы (оказывается, очень востребованная в западном бизнес-хозяйстве вещь), роботы-садоводы (ну, тут понятно), зеркала с датчиками здоровья, много разных пылесовов-телевизоров и ИИ-мобиль от коллаба Sony и Honda.

*️⃣Тяжеловесы в лице NVIDIA показали ИИ-суперкомпьютер, о чем мы уже писали, а Samsung Electronics – проект экосистемы, где «дом, работу и путешествия» можно будет объединить, благодаря SmartThings и Samsung Knox.

*️⃣Вывод напрашивается очевидный: без ИИ никаких технологий в ближайшее время не предвидится. Всеми девайсами, от малых до великих, будут заправлять нейросети.
#AI #CES2025

🙂 Artificial Intelion

🙂 Конференция CES закончилась (писали о ней тут), а новинки остались.

*️⃣Кроме уже озвученных в последний день подвезли еще кое-что интересное: например, genAI-бота EvieAI для Evie Ring от медицинской компании Movano. Кольцо разработано «исключительно для женщин», считывает кучу показателей и следит за здоровьем, а бот будет выступать личным консультантом.

*️⃣Показали устройство для тех, кто посмотрел фильм «Субстанция» для анализа признаков старения и еще несколько полезных медицинских штук со встроенным ИИ.

*️⃣Nvidia продемонстрировала платформу «цифровых двойников» для роботизированных складов. «Двойники» в данном случае – это сложные виртуальные копии реальных объектов. Теперь перед тем, как заставлять роботов двигать контейнеры и коробки, можно с помощью нейросети расставить / рассчитать все в виртуальной среде по заданным параметрам, а потом уже заполнять реальные помещения, экономя время и деньги.

*️⃣Да, еще энтузиасты подсчитали, кто из «крупных игроков» сколько раз произнес “AI” во время презентаций. Результаты на картинке))
#AI #CES2025

🙂 Artificial Intelion

🙂 Да, мы тоже уже много раз слышали шутку, что Nvidia Cosmos – просто космос, но давайте разберемся, что там к чему.

*️⃣ В чем суть: Nvidia запустила платформу генеративных моделей – World Foundation Models (WFM). Усовершенствованные токенизаторы, конвейер обработки данных, который призван ускорить появление физических систем ИИ – прежде всего транспорта и роботов, функционирующих без участия человека.

*️⃣С помощью Nvidia Cosmos можно спроектировать физическую среду, задать все параметры и посмотреть, как там что будет (или не будет) работать.
Компания предоставила разработчикам открытый доступ к моделям «физических основ мира» мира и не стала зажимать код.

*️⃣ Набор видеомоделей первого поколения, обучен на 9000 триллионах токенов, включающих 20 миллионов часов данных о робототехнике и вождении, можно генерить видео из мультимодальных входных данных - изображений, текста, видео – всего, что есть.

*️⃣ WFM и токенизаторы Cosmos распространяются по лицензии NVIDIA Open Model - можно создавать масштабные физические системы ИИ и прикидывать, что именно и как скоро покатится по улицам городов.
#AI # Nvidia #NvidiaCosmos

🙂 Artificial Intelion

🙂 Не упускаем шанса завести новых друзей и смотрим на китайцев-красавцев - набор моделей от Hailuo AI.

*️⃣ Красота в параметрах: контекст – 4 млн токенов, впечатляющий словарный запас, очень серьезное разнообразие контекстов, прекрасный русский, а уж про английский, испанский и китайский и говорить нечего.

*️⃣Свежие данные, возможность поиска в интернете, мгновенные ответы – все как мы любим.

*️⃣ В наборе мультиязычная и визуальная модели – увидите в меню.

*️⃣ По слухам в бенчмарках иногда побеждает GPT-4o, но главное не это. Главное – разнообразие!

*️⃣ Код в открытом доступе, знакомимся, тестируем.
#AI #HailuoAI

🙂 Artificial Intelion

🙂 Помните, вы с утра хотели что-то сделать, а потом забыли?
Теперь таких ситуаций станет меньше: в Open AI запустили Tasks для ChatGPT.

🔣 Это отложенные или запланированные задачи, которые помогают автоматизировать работу. Мы сможем в прямом смысле озадачить нейросеть своими делами и больше не искать их по разным доскам, стикерам и заметкам в телефоне.

🔣 Что еще известно о Tasks:
- поддерживаются в ChatGPT Web, iOS, Android, MacOS;
- для Windows появятся чуть позже, но в первом квартале года;
- дают ChatGPT возможность создавать задачи для запуска в будущем;
- задачи могут запускаться либо в определенное время, либо в пользовательском интерфейсе по запросу;
- задачи выполняются независимо от того, находится ли пользователь в данный момент в сети (вот этот пункт немного пугает);
- после выполнения пользователям отправляются push-уведомления или мейлы.

🔣 Совсем скоро ChatGPT будет присылать нам ежедневные обзоры ИТ-новостей, курсы валюты или названия только что вышедших аниме. Или вести диалоги на французском каждый день в 14:00. Или напоминать о днях рождения родственников. Какими приличными людьми мы станем!

Сейчас Tasks работают в бета-версии для пользователей Plus, Pro и Team, ну, а далее, как водится, везде.
#AI #OpenAI #TasksGPT

🙂 Artificial Intelion

⚡️ Только вчера мы порадовались, что ChatGPT научился выполнять отложенные задачи, в том числе повторяющиеся – например, создавать подборки полезных новостей каждое утро – как сегодня Apple запретила своему ИИ заниматься подобными вещами.

*️⃣Оказалось, что Apple Intelligence способен не только собирать сводки, но и ненавязчиво вставлять в них ложные им самим сгенерированные сообщения. И если только вы не настроены играть с ИИ в «правду или вымысел», такой баг, конечно, расстраивает.

*️⃣Для последних обновлений iOS сводки будут отключены и вернутся на место после внесения необходимых доработок.
Первыми тревогу забили ВВС, заметившие, что некоторые ИИ-новости отличаются от реальности, а теперь это признали и в самой компании.

*️⃣С одной стороны, молодцы, что признали. С другой – что, если они сейчас губят первого настоящего ИИ-фантаста с развитым воображением?!
#AI #AppleAI

🙂 Artificial Intelion

⚡️ Энтузиасты и эксперты из Luma AI от LumaLabs – компании, которая сосредоточена на обучении видеогенераторов, зарелизили Ray2.

*️⃣ Это text2video модель, которая пока не умеет в картинки и видео2видео, но обещают, что вот-вот.

*️⃣ Из плюсов - крупномасштабная модель, реалистичные эффекты, плавное движение, физический реализм, внимательность к текстовым промтам, возможность корректировать созданные видео.

*️⃣ Из минусов – платная подписка only, и даже там – ограничения по количеству генераций, вотермарки и/или «медленная очередь».

*️⃣ Но потестить всё равно интересно.
#AI #LumaAI #Ray2

🙂 Artificial Intelion

⚡️ Если вы еще не определились, за кого болеть в битве R1 VS o1, то вот основные факты.

🙂 Китайские товарищи из компании DeepSeek выпустили свою «самую умную рассуждающую модель» DeepSeek-R1.

🔣 И да, в некоторых бенчмарках она не хуже, а то и лучше о1 от OpenAI. Разумеется, не по всем и в довольно узком спектре задач – а все-таки. Если конкретно - в тестах AIME, MATH-500 и SWE-bench Verified.

🔣 Модель хорошо программирует, бодро рассуждает, практикует активный фактчекинг и содержит более 670 млрд параметров. Облегченные версии на подходе, они смогут работать на нотубуках, например.

🔣 Полновесная R1 требует более серьезной вычислительной мощи, но за этим вы всегда можете обратиться к нам. А еще заявлено, что модель «придерживается социалистических ценностей». Так что за работу, товарищи!

*️⃣Интересно, что многие компании грозились выпускать больше маленьких и легких моделей, а в результате выпускают думающих гигантов.

Да, пробовать можно бесплатно (50 запросов в сутки).
#AI #DeepSeek #DeepSeekR1

🙂 Artificial Intelion

⚡️ Бывает так, что нейросетей вокруг много, а по душам поговорить не с кем.

*️⃣ Реагируя на потребность человечества в душевных беседах, CEO Anthropic Дарио Амодеи заявил, что его стартап прямо сейчас работает над увеличением вычислительных мощностей для их детища - генеративного чат-бота Claude.

*️⃣ Резкий рост спроса, который мы наблюдаем в течение года, и особенно в последние три месяца, превзошел нашу способность предоставлять необходимые вычисления, – пожаловался он в свежем интервью.

*️⃣ Если коротко – в ближайшее время компания обещает разжиться мощностями, добавить в Claude двусторонний голосовой режим и способность запоминать сведения о пользователе, чтобы использовать в дальнейшем общении.
В общем, чем мощнее сервер – тем теплей беседа!
#AI #AnthropicAI #Claude

🙂 Artificial Intelion

🙂 Новые модели появляются практически каждый день, но и проверенных временем друзьях забывать не стоит – иначе кто за вас код писать станет?

🔣 У ChatGPT скоро появится коллега – его зовут Operator, и это тот самый ИИ-агент от OpenAI для запуска в браузере. В ChatGPT уже встроили кнопку для перехода на боковой панели, но пока она не работает.

*️⃣Если не терпится попробовать, можно обновиться до ChatGPT Pro, там Operator заработает раньше всего. Вообще-то уже должен, но еще нет.

*️⃣Запуск несколько раз откладывали, боясь, что хитрые пользователи будут обходить защиту и провоцировать наивный ИИ на плохие слова и поступки, а чем сложнее агент – тем проще его запутать.

*️⃣Обещают, что Operator станет неоценимым помощником, возьмет на себя автоматизацию всех процессов в браузере и вообще поразит нас невиданными способностями.
В общем, астрологи объявили эру ИИ-агентов.
#AI #OpenAI #Operator

🙂 Artificial Intelion

⚡️ Operator от OpenAI уже здесь! Не успели мы пожаловаться, что выпуск ИИ-агента задерживается, как вышел релиз! Новостей и мнений много, выбрали для вас главное.

🔣 Operator – первый ИИ-агент от OpenAI. Он умеет выходить в Интернет и делать все то же, что и вы: ориентироваться в поиске, открывать сайты, заказывать отели, билеты и столики (предупреждение: в соцсетях активизировалась группа разгневанных фанатов, которые везде пишут, что это «не инструмент букинга, а великое достижение ИИ-прогресса!!!»).

🔣 Используя свой собственный браузер, Operator может просматривать веб-страницы и работать с ними: вводить текст, щелкать мышью, прокручивать. Дальше вы даете ему задания, и он их выполняет: заполняет документы, заказывает еду (помним: не инструмент букинга!!! 😊), генерит мемы.

🔣 В основе – новая модель Computer-Using Agent (CUA), по сути - GPT-4o с расширенными возможностями, которая умеет «видеть» страницы и взаимодействовать с графическими интерфейсами — кнопками, меню и текстовыми полями на экране.

*️⃣ Если что-то пойдет не так, Operator должен зафиксировать ошибку и позвать человека — хотя как его теперь дозовешься)
#AI #OpenAI #Operator

🙂 Artificial Intelion

🙂 Пока DeepSeek роняет акции NVIDIA, расширяет штат сотрудников и смущает умы, побеждая o1 в тестах то тут, то там, мы попросили нашего DS-разработчика Михаила оценить личный опыт использования R1.

🔣 И вот, что он ответил:

На примерах AIME и MATH DeepSeek-R1 показывает одинаковые результаты с o1, т.е. хорошо решает текстовые и математические задачи. Однако, в тестах, где играют в крестики-нолики, обе модели делают ошибки.

По мощности с o1 и R1 можно еще сравнить модели Qwen QvQ-72B и QwQ-32B, но по бенчмаркам они достаточно сильно отстают.

Модели уровня DeepSeek-R1 и OpenAI o1 требуют значительных вычислительных ресурсов для обучения и развертывания. Для их эффективной работы необходимы мощные серверы с высокопроизводительными графическими процессорами.

Компании, разрабатывающие такие модели, часто инвестируют значительные средства в серверные кластеры. Пользователям полномасштабных версий R1 также потребуются мощные серверы с графическими процессорами.

*️⃣(Хорошо, что сейчас их можно легко арендовать).

По мере роста популярности и использования крупных языковых моделей спрос на вычислительные мощности будет только расти.

#AI #DeepSeek #R1 #IntelionCloud

🙂 Artificial Intelion

🙂 В ближайшее время DeepSeek явно не собирается покидать информационное пространство, так что придется следить за этими новыми звездами. DeepSeek – «сигма-бой» этой недели, если вы понимаете, о чем мы 😎 И пока все продолжают удивляться возможностям R1, у них уже готов новый анонс.

🔣 Компания выпустила набор моделей Janus Pro – LLM с 1B параметров, мультимодальностью и сверхспособностями.

*️⃣ Обещают, что будет работать в браузере (правда, пока только в Хроме), и не просто работать, а выполняться на 100% локально, благодаря Transformers.js и Runtime Web, без отправки данных на сервер.

*️⃣ Janus Pro умеет анализировать загруженные изображения, конвертировать их в код, формулы, мемы или другие изображения. В наборе есть модели разной мощности, чем выше число параметров – тем круче результат. Ограничение по разрешению для изображений на входе - 384 x 384, на выходе выше.

*️⃣ Разумеется, модель круче многих существующих – даже таких серьезных как Stable Diffusion XL и DALL-E 3, не говоря уже о моделях поменьше.

*️⃣ Отдельный повод для гордости – LLM обучена на базе оригинальных моделей DeepSeek-LLM-1.5b-base и DeepSeek-LLM-7b-base, так что, как говорится, все свое.
Код и параметры на Hugging Face.
#AI #DeepSeek #JanusPro

🙂 Artificial Intelion