Новостной дайджест
✔️ Xerox оптимизирует процесс обработки документов с помощью AI в новых МФУ серии AltaLink 8200.
Компания Xerox представила новую технологию AI-Assisted Document Processing.
Ключевым элементом новой системы является использование генеративного ИИ и машинного обучения для анализа и извлечения данных из различных типов документов.
AI-Assisted Document Processing может автоматически классифицировать документы, извлекать ключевую информацию и даже интерпретировать контекст.
Xerox интегрирует эту технологию в свои существующие решения для управления документооборотом, создавая комплексную экосистему для работы с информацией.
Первой линейкой устройств, которые получат технологию будет серия многофункциональных устройств AltaLink 8200.
investors.xerox.com
✔️ Google Gemini получил масштабное обновление, появилась быстрая версия Flash 1.5.
Новый Flash 1.5 включает в себя усовершенствования в области скорости обработки данных и точности ответов.
Улучшения в Flash 1.5 включают оптимизацию алгоритмов машинного обучения и внедрение новых моделей обработки естественного языка (NLP).
С ними чат-бот быстрее анализирует запросы пользователей и дает более релевантные и точные ответы. Кроме того, обновление улучшает способность понимать контекст и нюансы разговоров.
Ключевым обновлением отмечается интеграция с другими сервисами Google, такими как Google Search и Google Assistant, это позволяет пользователям использовать чат-бота для выполнения различных задач, от поиска информации до управления устройствами умного дома.
blog.google
✔️ Llama 3.1 405B стала доступна в Groq Chat и Groq Dev Console.
Компания Groq объявила о доступности модели Llama 3.1 405B, самой крупной и мощной открытой модели на сегодняшний день, через платформу GroqCloud Dev Console и GroqChat. Модель Llama 3.1 405B, наряду с версиями 70B и 8B.
Groq использует свою запатентованную технологию LPU (Language Processing Unit) для обеспечения высокоскоростной инференции, что позволяет эффективно работать с такой масштабной моделью.
wow.groq.com
✔️ Microsoft представила возможность бессерверного файнтюна для своей модели Phi-3.
Эта возможность позволяет разработчикам адаптировать модель под конкретные задачи без необходимости управления сложной инфраструктурой.
Бессерверная тонкая настройка доступна для моделей Phi-3-mini (3,8В) и Phi-3-medium (7,3В) через Azure AI Studio.
Технология бессерверной тонкой настройки использует подход низкоранговой адаптации (LoRA), который позволяет обучать модель на небольших наборах данных, сохраняя при этом базовые знания модели.
Помимо бессерверной тонкой настройки, Microsoft представила обновленную версию Phi-3-mini с улучшенными характеристиками в области следования инструкциям, структурированного вывода и рассуждений.
azure.microsoft.com
✔️ Intel AI Playground - бесплатное приложение для PC для Arc.
Intel анонсировала запуск Intel AI Playground, платформы, предназначенной для демонстрации возможностей искусственного интеллекта и предоставления инструментов для разработчиков.
Intel AI Playground включает в себя набор предобученных моделей и программного обеспечения, которые можно использовать для различных задач, таких как обработка естественного языка, компьютерное зрение и генеративные модели. Платформа поддерживает популярные фреймворки для разработки AI: TensorFlow и PyTorch.
AI Playground доступна для загрузки на сайте Intel
hothardware.com
Компания Xerox представила новую технологию AI-Assisted Document Processing.
Ключевым элементом новой системы является использование генеративного ИИ и машинного обучения для анализа и извлечения данных из различных типов документов.
AI-Assisted Document Processing может автоматически классифицировать документы, извлекать ключевую информацию и даже интерпретировать контекст.
Xerox интегрирует эту технологию в свои существующие решения для управления документооборотом, создавая комплексную экосистему для работы с информацией.
Первой линейкой устройств, которые получат технологию будет серия многофункциональных устройств AltaLink 8200.
investors.xerox.com
Новый Flash 1.5 включает в себя усовершенствования в области скорости обработки данных и точности ответов.
Улучшения в Flash 1.5 включают оптимизацию алгоритмов машинного обучения и внедрение новых моделей обработки естественного языка (NLP).
С ними чат-бот быстрее анализирует запросы пользователей и дает более релевантные и точные ответы. Кроме того, обновление улучшает способность понимать контекст и нюансы разговоров.
Ключевым обновлением отмечается интеграция с другими сервисами Google, такими как Google Search и Google Assistant, это позволяет пользователям использовать чат-бота для выполнения различных задач, от поиска информации до управления устройствами умного дома.
blog.google
Компания Groq объявила о доступности модели Llama 3.1 405B, самой крупной и мощной открытой модели на сегодняшний день, через платформу GroqCloud Dev Console и GroqChat. Модель Llama 3.1 405B, наряду с версиями 70B и 8B.
Groq использует свою запатентованную технологию LPU (Language Processing Unit) для обеспечения высокоскоростной инференции, что позволяет эффективно работать с такой масштабной моделью.
wow.groq.com
Эта возможность позволяет разработчикам адаптировать модель под конкретные задачи без необходимости управления сложной инфраструктурой.
Бессерверная тонкая настройка доступна для моделей Phi-3-mini (3,8В) и Phi-3-medium (7,3В) через Azure AI Studio.
Технология бессерверной тонкой настройки использует подход низкоранговой адаптации (LoRA), который позволяет обучать модель на небольших наборах данных, сохраняя при этом базовые знания модели.
Помимо бессерверной тонкой настройки, Microsoft представила обновленную версию Phi-3-mini с улучшенными характеристиками в области следования инструкциям, структурированного вывода и рассуждений.
azure.microsoft.com
Intel анонсировала запуск Intel AI Playground, платформы, предназначенной для демонстрации возможностей искусственного интеллекта и предоставления инструментов для разработчиков.
Intel AI Playground включает в себя набор предобученных моделей и программного обеспечения, которые можно использовать для различных задач, таких как обработка естественного языка, компьютерное зрение и генеративные модели. Платформа поддерживает популярные фреймворки для разработки AI: TensorFlow и PyTorch.
AI Playground доступна для загрузки на сайте Intel
hothardware.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18❤7🎉2🥰1
Shape of Motion представляет динамическую сцену как набор 3D-гауссианов, перемещающихся и вращающихся во времени.
Движение каждого элемента сцены параметризуется как линейная комбинация компактного набора базисных движений SE(3), что дает возможность разделить сцену на группы, движущиеся как жесткие тела.
Преодоление неоднозначности реконструкции достигается с помощью низкоразмерных структур 3D-движения через базисы SE(3) и комплексный набор априорных данных, на основе монокулярных карты глубины и долгосрочных 2D-треков.
Процесс финального построения 3D-сцены основан на комбинации статических и динамических гауссианов, с учетом прогноза реконструкции для цвета, глубины и масок и синтезированной согласованности этих соответствий во времени.
На тренировочном наборе данных (Iphone dataset, набор видео размером ~ 300GB) были построены более 40 тысяч динамических и более 100 тысяч статических гауссианов, 20 базисов SE(3).
Время обучения на 1хGPU A100 с использованием оптимизатора Adam разрешением 960x720 составило чуть более 2-х часов при скорости рендеринга 40 кадров в секунду.
По результатам тестов в процессе обучения, Shape of Motion показал хорошие результаты по качеству и консистентности построения сцен.
Однако, метод все еще требует оптимизации для каждой конкретной сцены и не может обрабатывать значительные изменения ракурса камеры. Также установлена критическая зависимость от точных параметров камеры и пользовательского ввода для создания маски движущихся объектов.
# Install via conda
conda create -n som python=3.10
conda activate som
# pip install
pip install -r requirements.txt
pip install git+https://github.com/nerfstudio-project/gsplat.git
python run_training.py --work-dir <OUTPUT_DIR> --data:<DATA> --data.seq-name <DATASEQ_NAME>
👉Препроцессинговая обработка (построение карт глубины, маскирование объектов, 2D трекинг и оценка камеры) выполняется сторонними библиотеками. Внимательно ознакомьтесь с документацией
👉Лицензирование: MIT
▪Страница проекта
▪Arxiv
▪Датасет на GDrive
▪Github [ Stars: 365 | Issues: 2 | Forks: 18]
@ai_machinelearning_big_data
#AI #4D #ShapeOfMotion #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28❤6🥰3👏1
Новостной дайджест
✔️ Актеры видеоигр бастуют из-за проблем с искусственным интеллектом.
Гильдия актеров экрана и Американская федерация артистов телевидения и радио (SAG-AFTRA) приняли решение забастовать с 26 июля в рамках соглашения об интерактивных медиа.
Забастовка затрагивает всех профсоюзных актеров, актеров озвучивания и актеров-симуляторов меток движения.
Забастовка направлена против Activision Blizzard, EA, Insomniac Games и WB Games, причем главной проблемой называются разногласия по поводу применения технологий AI. Несмотря на то, что компании нашли общий язык по многочисленным предложениям, а производители видеоигр предложили согласие на использование ИИ и справедливую компенсацию, SAG-AFTRA и представители гейм-вендоров не смогли достичь полного соглашения, что и привело к забастовке.
theverge.com
✔️ SGLang Runtime v0.2 компании LMSYS Organization ускоряет скорость вывода для LLM, таких как Llama 3.1 405B, превосходя vLLM и TensorRT-LLM.
SGLang Runtime v0.2 превосходит vLLM и TensorRT-LLM по пропускной способности и задержке при обработке моделей Llama 3.1 405B. В некоторых сценариях пропускная способность SGLang может достигать 2,1 раза по сравнению с TensorRT-LLM и 3,8 раза по сравнению с vLLM. Исключительная производительность SGLang обусловлена эффективным планировщиком пакетной обработки, оптимизированным процессом вывода и поддержкой новейших аппаратных платформ. SGLang имеет открытый исходный код под лицензией Apache 2.0, написан полностью на Python, а его основной планировщик реализован менее чем в 4 000 строк кода.
lmsys.org
✔️ Генератор любовных письма Алана Тьюринга 70-летней давности.
В 1953 году Алан Тьюринг и Кристофер Стрэчи совместно создали генератор любовных писем, объединив технологию и эмоции с помощью любовных писем, продемонстрировав творческий потенциал раннего искусственного интеллекта. Они запрограммировали компьютер на выражение эмоций, предвосхитив потенциал будущего машинного интеллекта для написания оригинальной прозы и глубоко проникнув в суть машинного интеллекта.
Для создания генератора любовных писем Тьюринг и Стрейчи использовали шаблон, который позволял случайным образом подставлять слова из заранее подготовленного банка слов, создавая уникальные и оригинальные сообщения. Этот процесс напоминал игру в Mad Libs, где структура письма оставалась постоянной, а содержание варьировалось.
bigthink.com
✔️ KAN или MLP: сравнение.
Исследователи из Национального университета Сингапура провели исследование, в котором сравнили производительность сетей Колмогорова-Арнольда (KAN) и многослойных перцептронов (MLP) в различных областях.
MLP, фундаментальный компонент глубокого обучения, широко используется для аппроксимации нелинейных функций, но сталкивается с такими ограничениями, как плохая интерпретируемость и масштабируемость. KAN, новая сетевая структура, рассматривается как потенциальная замена MLP благодаря меньшему количеству параметров и улучшенной интерпретируемости.
Исследователи провели комплексную оценку KAN и MLP в задачах, включающих представление символьных формул, машинное обучение, компьютерное зрение, обработку естественного языка и обработку звука, контролируя при этом количество параметров и FLOPs. Результаты показали, что KAN превзошел MLP только в задачах представления символьных формул, в то время как MLP продемонстрировал превосходство в других задачах. Кроме того, исследование показало, что KAN страдает от более серьезной проблемы забывания, чем MLP, в сценариях непрерывного обучения.
arxiv.org и github.com
@ai_machinelearning_big_data
#news #digest #ml #ai
Гильдия актеров экрана и Американская федерация артистов телевидения и радио (SAG-AFTRA) приняли решение забастовать с 26 июля в рамках соглашения об интерактивных медиа.
Забастовка затрагивает всех профсоюзных актеров, актеров озвучивания и актеров-симуляторов меток движения.
Забастовка направлена против Activision Blizzard, EA, Insomniac Games и WB Games, причем главной проблемой называются разногласия по поводу применения технологий AI. Несмотря на то, что компании нашли общий язык по многочисленным предложениям, а производители видеоигр предложили согласие на использование ИИ и справедливую компенсацию, SAG-AFTRA и представители гейм-вендоров не смогли достичь полного соглашения, что и привело к забастовке.
theverge.com
SGLang Runtime v0.2 превосходит vLLM и TensorRT-LLM по пропускной способности и задержке при обработке моделей Llama 3.1 405B. В некоторых сценариях пропускная способность SGLang может достигать 2,1 раза по сравнению с TensorRT-LLM и 3,8 раза по сравнению с vLLM. Исключительная производительность SGLang обусловлена эффективным планировщиком пакетной обработки, оптимизированным процессом вывода и поддержкой новейших аппаратных платформ. SGLang имеет открытый исходный код под лицензией Apache 2.0, написан полностью на Python, а его основной планировщик реализован менее чем в 4 000 строк кода.
lmsys.org
В 1953 году Алан Тьюринг и Кристофер Стрэчи совместно создали генератор любовных писем, объединив технологию и эмоции с помощью любовных писем, продемонстрировав творческий потенциал раннего искусственного интеллекта. Они запрограммировали компьютер на выражение эмоций, предвосхитив потенциал будущего машинного интеллекта для написания оригинальной прозы и глубоко проникнув в суть машинного интеллекта.
Для создания генератора любовных писем Тьюринг и Стрейчи использовали шаблон, который позволял случайным образом подставлять слова из заранее подготовленного банка слов, создавая уникальные и оригинальные сообщения. Этот процесс напоминал игру в Mad Libs, где структура письма оставалась постоянной, а содержание варьировалось.
bigthink.com
Исследователи из Национального университета Сингапура провели исследование, в котором сравнили производительность сетей Колмогорова-Арнольда (KAN) и многослойных перцептронов (MLP) в различных областях.
MLP, фундаментальный компонент глубокого обучения, широко используется для аппроксимации нелинейных функций, но сталкивается с такими ограничениями, как плохая интерпретируемость и масштабируемость. KAN, новая сетевая структура, рассматривается как потенциальная замена MLP благодаря меньшему количеству параметров и улучшенной интерпретируемости.
Исследователи провели комплексную оценку KAN и MLP в задачах, включающих представление символьных формул, машинное обучение, компьютерное зрение, обработку естественного языка и обработку звука, контролируя при этом количество параметров и FLOPs. Результаты показали, что KAN превзошел MLP только в задачах представления символьных формул, в то время как MLP продемонстрировал превосходство в других задачах. Кроме того, исследование показало, что KAN страдает от более серьезной проблемы забывания, чем MLP, в сценариях непрерывного обучения.
arxiv.org и github.com
@ai_machinelearning_big_data
#news #digest #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36❤6🥰3
ControlNet++ - это набор моделей ControlNet, собранный на новой архитектуре и упакованный в один единый файл без необходимости скачивать дополнительные препроцессоры и наборы моделей.
Обновление ProMaх включает в себя весь существующий набор ControlNet Union, в который были добавлены возможности комбинации нескольких типов ControlNet к одному исходному изображению и новые функции Tile Deblur, Tile Superresolution, Tile Variation, Inpaint и Outpaint.
C учетом обновления, набор ControlNet ProMax выполняет 12 функций и 5 дополнительных методик редактирования изображений:
В архитектуре ControlNet++ были разработаны два новых модуля: Condition Transformer и Control Encoder, которые улучшают представление и обработку условий в модели.
Каждому условию назначается уникальный идентификатор типа управления, который преобразуется в эмбеддинги.
Condition Transformer позволяет обрабатывать несколько условий одновременно, используя один кодировщик и включает слой трансформера для обмена информацией между исходным изображением и условными изображениями.
Condition Encoder увеличивает количество каналов свертки для повышения представительной способности, сохраняя оригинальную архитектуру.
Также была использована единая стратегия обучения, которая одновременно оптимизировала сходимость для одиночных условий и управляла слиянием множественных условий, повышая устойчивость сети и ее способность к генерации качественных изображений.
ControlNet Pro Max поддерживает работу с любой генеративной моделью семейства Stable Diffusion XL. Поддержка семейства Stable Diffusion 3 находится в разработке.
@ai_machinelearning_big_data
#AI #ControlNet #ML #Diffusers #SDXL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤10🎉5🔥1🥰1👏1
🔥 Agent-E: автоматизация повторяющихся действий в браузере с помощью LLM
Agent-E - система, основанная на агентах, цель которой -- снизить когнитивную нагрузку на человека и сэкономить время, которое обычно тратится на выполнение повторяющихся действий в браузере.
Система использует иерархическое итеративное планирование для выполнения многошаговых задач, что дает возможность заранее планировать действия и выстраивать последовательности их последовательности.
Agent-E основан на фреймворке AutoGen, который выполняет взаимодействие с веб-браузером через DOM Distillation на естественном языке:
🟢 заполнение веб-форм с использованием информации о пользователе;
🟢 поиск и сортировка товаров на сайтах электронных торговых площадок по различным критериям;
🟢 поиск определенного контента и на сайтах, от спортивных результатов до контактной информации;
🟢 навигация и взаимодействие с веб-медиа, например, воспроизведение и управление настройками видео на YouTube;
🟢 выполнять комплексный веб-поиск для получения информации по широкому спектру тем;
🟢 управлять задачами и автоматизировать их на платформах управления проектами (например, JIRA);
🟢 оказывать персональную помощь в покупках, предлагая товары в зависимости от потребностей.
Подключение локальной LLM (поддерживается через API Ollama) дает Agent-E возможность генерировать текстовые ответы на основе запросов пользователя, т.е не только выполнять команды, но и адаптироваться к контексту.
На данный момент разработано только два агента: User proxy (выполняет навыки) и Browser navigation (взаимодействие с браузером), но у авторов большие планы на реализацию нового функционала:
🟠 Проверка действий - ответ от каждого навыка с изменениями, чтобы LLM мог судить, выполнил ли навык правильно или нет;
🟠 Планировщик выполнения для LLM, чтобы языковая модель могла принимать решение на несколько шагов вперед;
🟠 Автоматическое сохранение предпочтений пользователя в локальную векторную БД:
🟠 Голосовое управление;
🟠 Расширение взаимодействия с браузером: закладки, навигация по вкладкам, хоткеи;
🟠 Групповой чат для нескольких агентов .
▶️ Локальный запуск :
👉Лицензирование : MIT license
▪Страница проекта
▪Arxiv
▪Demo Videos
▪Сообщество Discord
▪Github [ Stars: 491 | Issues: 8 | Forks: 63]
@ai_machinelearning_big_data
#AI #LLM #ML #Automate #Agents
Agent-E - система, основанная на агентах, цель которой -- снизить когнитивную нагрузку на человека и сэкономить время, которое обычно тратится на выполнение повторяющихся действий в браузере.
Система использует иерархическое итеративное планирование для выполнения многошаговых задач, что дает возможность заранее планировать действия и выстраивать последовательности их последовательности.
Agent-E основан на фреймворке AutoGen, который выполняет взаимодействие с веб-браузером через DOM Distillation на естественном языке:
Подключение локальной LLM (поддерживается через API Ollama) дает Agent-E возможность генерировать текстовые ответы на основе запросов пользователя, т.е не только выполнять команды, но и адаптироваться к контексту.
На данный момент разработано только два агента: User proxy (выполняет навыки) и Browser navigation (взаимодействие с браузером), но у авторов большие планы на реализацию нового функционала:
# Install UV
pip install uv
# Generate & install requirements.txt from .toml
uv pip compile pyproject.toml -o requirements.txt
uv pip install -r requirements.txt
# Install extras/dev dependancies
uv pip install -r pyproject.toml --extra dev
# Install playwright drivers (Google Chrome)
playwright install
# Run the code with CLI
python -m ae.main
# OR Launch via web endpoint with FastAPI wrapper
uvicorn ae.server.api_routes:app --reload --loop asyncio
👉Лицензирование : MIT license
▪Страница проекта
▪Arxiv
▪Demo Videos
▪Сообщество Discord
▪Github [ Stars: 491 | Issues: 8 | Forks: 63]
@ai_machinelearning_big_data
#AI #LLM #ML #Automate #Agents
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍11❤5⚡2
Лаборатория Университета MBZUAI (ОАЭ) и Университет Carnegie Melon опубликовали в открытом доступе набор моделей, созданных по методологии Fully Binarized Large Language Model (FBI-LLM).
При создании FBI-LLM была использована авторегрессионная дистилляция потерь при сохранении эквивалентной размерности модели (130M, 1.3B, 7B) для достижения производительности, сравнимой с FP16 / BF16.
Для обучения семейства был использован датасет Amber, который состоит из документов Arxiv, книг, С4, данных веб-страниц, StarCoder, StackExchage и Wikipedia.
Суммарный объем датасета - 1259 млрд токенов.
Структурные параметры представленных моделей :
В FBI-LLM используется токенизатор Llama-2-7b-hf, поддерживается текстовый ввод и текстовый вывод на английском языке.
@ai_machinelearning_big_data
#AI #LLM #ML #Autoregression #MBZUAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥6❤5
Основная идея метода заключается в применении процедуры диффузии для моделирования вероятностных распределений по токенам. Такой подход исключает традиционную категориальную кросс-энтропийную функцию потерь в пользу функции Diffusion Loss. Так устраняется необходимость в сложных и зачастую несовершенных токенизаторах с дискретными значениями, чувствительных к Gradient Approximation и субоптимальному качеству реконструкции.
В прикладной реализации используется сеть денойзинга, небольшая MLP-сеть, которая работает на основе вектора, производимого авторегрессивной моделью. Эта сеть обучена предсказывать распределение для каждого токена через функцию денойзинг-диффузии.
В результате MAR+DiffLoss модель может быстро генерировать изображения высокого качества , используя внутренние преимущества скорости моделирования последовательностей.
Одним из полученных достижений в ходе исследования стала способность модели генерировать изображения со скоростью менее 0,3 секунды на изображение при достижении впечатляющего показателя Fréchet Inception Distance (FID) менее 2,0 на наборе данных ImageNet.
Для тестирования демонстрации метода предлагается настроенный ноутбук для Google Collab. Помимо этого, в репозитории на Github размещены инструкции и код для самостоятельной тренировки моделей и запуску оценочного бенчмарка на датасете ImageNet.
⚠️ Внимание, тренировочный процесс крайне ресурсоемкий.
@ai_machinelearning_big_data
#AI #ML #Diffusion #Pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥7❤2