Llama 3.1 - набор предварительно обученных и настроенных по инструкции генеративных моделей размером 8B, 70B и 405B (текст в тексте/текст на выходе). Модели Llama 3.1 с инструкциями (8B, 70B, 405B) оптимизированы для использования в многоязычных диалогах и превосходят многие из доступных моделей с открытым исходным кодом и закрытых моделей для чатов в распространенных отраслевых тестах.
Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В настроенных версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для согласования с предпочтениями человека в отношении полезности и безопасности.
Pretrained:
Meta-Llama-3.1-8B
Meta-Llama-3.1-70B
Meta-Llama-3.1-405B
Meta-Llama-3.1-405B-MP16
Meta-Llama-3.1-405B-FP8
Fine-tuned:
Meta-Llama-3.1-8B-Instruct
Meta-Llama-3.1-70B-Instruct
Meta-Llama-3.1-405B-Instruct
Meta-Llama-3.1-405B-Instruct-MP16
Meta-Llama-3.1-405B-Instruct-FP8
Llama-Guard-3-8B
Llama-Guard-3-8B-INT8
Llama-Guard-2-8B
Llama-Guard-8B
Prompt-Guard-86MЭти веса можно запустить только на нескольких нодах с использованием pipelined parallel инференса. Минимально требуется 2 ноды с 8 GPU.
@ai_machinelearning_big_data
#AI #Llama3.1 #ML #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23👍14❤7😁1
🔥 Новостной дайджест
✔️ Gam.hp - инструмент для оценки относительной важности предикторов в обобщенных аддитивных моделях.
Исследователи из Nanjing Forestry University и Guangzhou Climate and Agro-meteorology Center в Китае создали пакет программного обеспечения - gam.hp, который рассчитывает индивидуальные значения R² для предикторов на основе концепции "средней общей дисперсии" - метода, ранее применявшегося для множественной регрессии и канонических анализов.
Это позволяет справедливо распределить общий R² между связанными предикторами, обеспечивая меру уникального и общего вклада каждого предиктора в пригодность модели.
Пакет gam.hp доступен для Windows и MacOS. Исходный код выложен на Github
phys.org
✔️ Lean-STaR - как неформальные рассуждения могут улучшить формальное доказательство теорем.
Исследователи из университетов Carnegie Mellon и Tsinghua разработали Lean-STaR, фреймворк для автоматизированного доказательства теорем, объединяющий неформальные рассуждения с формальной проверкой.
Этот подход, использующий языковые модели для генерации мыслей на естественном языке перед каждым шагом доказательства, достиг передовых результатов в среде Lean и обещает значительно продвинуть автоматизированные математические рассуждения и их применение в AI.
marktechpost.com
✔️ Mosaic AI: Model Training и Fine Tune моделей GenAI.
Databricks открыла доступ к публичной предварительной версии Mosaic AI, инструменту для тонкой настройки или предварительного обучения широкого спектра моделей, включая Llama 3, Mistral, DBRX и другие.
Fine Tune Llama 3 70B с датасетом в 10 млн слов будет стоить согласно тарифам 250 USD, 500 млн слов - 11,440 USD
databricks.com
✔️ LOTUS: Фреймворк для создания наукоемких LLM-приложениq, которые могут рассуждают над данными.
LOTUS предоставляет декларативную модель программирования и оптимизированный механизм запросов для обслуживания мощных конвейеров запросов на основе рассуждений к структурированным и неструктурированным данным.
В основе реализован простой и интуитивно понятный Pandas-подобный API, который реализует семантические операторы для расширения реляционной модели набором модульных операторов на основе языка.
Пользователи могут легко комбинировать такие операторы с традиционными операциями с данными для создания современных систем искусственного интеллекта, способных рассуждать об огромных массивах знаний.
stanford-futuredata
✔️ Maestro: Оркестратор рабочих процессов от Netflix с открытым исходным кодом.
Maestro - это горизонтально масштабируемый оркестратор рабочих процессов общего назначения, предназначенный для управления крупными рабочими процессами, такими как конвейеры обработки данных и конвейеры обучения моделей машинного обучения.
Пользователи могут упаковывать свою бизнес-логику в различные форматы, такие как образы Docker, блокноты, сценарии bash, SQL, Python и т.д.
Maestro поддерживает как ациклические, так и циклические рабочие процессы, а также включает множество шаблонов многократного использования, включая циклы foreach, подпроцессы, условные ветвления и т. д. Ознакомится с проектом можно в репозитории на Github
netflixtechblog.com
✔️ Климатическая модель от Google: генерация недельной симуляции атмосферы всего за 9,2 секунды.
Модель NeuralGCM, разработанная в сотрудничестве Google и Европейского центра прогнозов погоды на средние расстояния (ECMWF), - это новая атмосферная модель, объединяющая традиционное физическое моделирование с машинным обучением (ML).
Модель предназначена для повышения точности и эффективности прогнозирования погоды и климата.
NeuralGCM превосходит существующие модели в прогнозировании циклонов и их трасс. Примечательной особенностью NeuralGCM является его исключительная вычислительная эффективность, способная генерировать 22,8-дневное моделирование атмосферы в течение 30 секунд, при этом вычислительные затраты в 100 000 раз ниже, чем у традиционных моделей.
Google выложил исходный код и весовые коэффициенты модели NeuralGCM в открытый доступ на GitHub.
✔️ Kling теперь доступна для всех.
@ai_machinelearning_big_data
#news #digest #ml
Исследователи из Nanjing Forestry University и Guangzhou Climate and Agro-meteorology Center в Китае создали пакет программного обеспечения - gam.hp, который рассчитывает индивидуальные значения R² для предикторов на основе концепции "средней общей дисперсии" - метода, ранее применявшегося для множественной регрессии и канонических анализов.
Это позволяет справедливо распределить общий R² между связанными предикторами, обеспечивая меру уникального и общего вклада каждого предиктора в пригодность модели.
Пакет gam.hp доступен для Windows и MacOS. Исходный код выложен на Github
phys.org
Исследователи из университетов Carnegie Mellon и Tsinghua разработали Lean-STaR, фреймворк для автоматизированного доказательства теорем, объединяющий неформальные рассуждения с формальной проверкой.
Этот подход, использующий языковые модели для генерации мыслей на естественном языке перед каждым шагом доказательства, достиг передовых результатов в среде Lean и обещает значительно продвинуть автоматизированные математические рассуждения и их применение в AI.
marktechpost.com
Databricks открыла доступ к публичной предварительной версии Mosaic AI, инструменту для тонкой настройки или предварительного обучения широкого спектра моделей, включая Llama 3, Mistral, DBRX и другие.
Fine Tune Llama 3 70B с датасетом в 10 млн слов будет стоить согласно тарифам 250 USD, 500 млн слов - 11,440 USD
databricks.com
LOTUS предоставляет декларативную модель программирования и оптимизированный механизм запросов для обслуживания мощных конвейеров запросов на основе рассуждений к структурированным и неструктурированным данным.
В основе реализован простой и интуитивно понятный Pandas-подобный API, который реализует семантические операторы для расширения реляционной модели набором модульных операторов на основе языка.
Пользователи могут легко комбинировать такие операторы с традиционными операциями с данными для создания современных систем искусственного интеллекта, способных рассуждать об огромных массивах знаний.
stanford-futuredata
Maestro - это горизонтально масштабируемый оркестратор рабочих процессов общего назначения, предназначенный для управления крупными рабочими процессами, такими как конвейеры обработки данных и конвейеры обучения моделей машинного обучения.
Пользователи могут упаковывать свою бизнес-логику в различные форматы, такие как образы Docker, блокноты, сценарии bash, SQL, Python и т.д.
Maestro поддерживает как ациклические, так и циклические рабочие процессы, а также включает множество шаблонов многократного использования, включая циклы foreach, подпроцессы, условные ветвления и т. д. Ознакомится с проектом можно в репозитории на Github
netflixtechblog.com
Модель NeuralGCM, разработанная в сотрудничестве Google и Европейского центра прогнозов погоды на средние расстояния (ECMWF), - это новая атмосферная модель, объединяющая традиционное физическое моделирование с машинным обучением (ML).
Модель предназначена для повышения точности и эффективности прогнозирования погоды и климата.
NeuralGCM превосходит существующие модели в прогнозировании циклонов и их трасс. Примечательной особенностью NeuralGCM является его исключительная вычислительная эффективность, способная генерировать 22,8-дневное моделирование атмосферы в течение 30 секунд, при этом вычислительные затраты в 100 000 раз ниже, чем у традиционных моделей.
Google выложил исходный код и весовые коэффициенты модели NeuralGCM в открытый доступ на GitHub.
@ai_machinelearning_big_data
#news #digest #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17❤9🔥6
Efficient Quantization-Aware Training (EfficientQAT) предлагает новую технику для сжатия LLM, состоящую из двух этапов: блочное обучение всех параметров (Block-AP) и обучение параметров квантования (E2E-QP).
Block-AP последовательно проводит квантизационное обучение для всех параметров каждого блока трансформера с блочной реконструкцией.
Это позволяет избежать обучения всей модели и сохраняет эффективность памяти.
На втором этапе EfficientQAT фиксируются веса и обучаются только параметры квантования (шаги квантования) на целевых наборах данных. Это повышает производительность и позволяет проводить инструктаж моделей для выполнения специфических задач.
Эксперименты, проведенные в ходе исследования показывают, что EfficientQAT превосходит существующие методы квантования по производительности и эффективности потребления памяти.
Например, модель Llama-2-70B была квантована до 2 бит на одном GPU A100-80GB за 41 час с потерей точности менее 3%.
EfficientQAT также способен улучшать точность в сложных условиях 2-битной квантизации и позволяет эффективно проводить finetune моделей.
В репозитории проекта предоставлен большой список на предварительно квантованных Model Zoo моделей семейств Llama-2 и Llama-3 в форматах EQAT, GPTQ и BitBLAS.
@ai_machinelearning_big_data
#AI #LLM #EQAT #ML #Quantization
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤5🔥5👏4
⚡️ Q-GaLore: алгоритм обучения и файнтюна LLM с экономией памяти.
Q-GaLore - набор методик, который значительно оптимизирует использование памяти при сохранении высокой производительности за счет техник, полученных в результате наблюдения за поведением стабилизации слоев и устойчивости матриц проекции к квантованию:
🟢 адаптивного обновления подпространств (увеличение интервала между операциями SVD и, как следствие, сокращение их числа на 60%);
🟢 квантовании весов и матриц в проекции (хранение весов модели в INT8, использовании 4-битных матриц проекции и применение стохастического округления для аппроксимации траектории обучения с высокой точностью)
🟢 применении метода fused backward operation в совокупности с 8-битным оптимизатором Adam.
Совокупность этих техник позволяет проводить полнопараметрическое обучение при меньших затратах памяти, например, обучение модели LLaMA-7B с нуля на одном NVIDIA RTX 4060 Ti с использованием всего 16 ГБ памяти.
▶️ Локальный запуск:
Пример конфига для претрейга LLaMa на с4 датасете
Пример конфига для претрейна LLaMA-7B на 16 GB VRAM
▪Лицензирование: Apache-2.0
▪Arxiv
▪Video from Open AGI Summit
▪Github [ Stars: 3.4K | Issues: 122 | Forks: 274]
@ai_machinelearning_big_data
#AI #FineTuning #LLM #QGalore #ML
Q-GaLore - набор методик, который значительно оптимизирует использование памяти при сохранении высокой производительности за счет техник, полученных в результате наблюдения за поведением стабилизации слоев и устойчивости матриц проекции к квантованию:
Совокупность этих техник позволяет проводить полнопараметрическое обучение при меньших затратах памяти, например, обучение модели LLaMA-7B с нуля на одном NVIDIA RTX 4060 Ti с использованием всего 16 ГБ памяти.
# # Install via conda
conda env create - f environment.yml
# or Install Q-GaLore optimizer and experiment dependencies
# install from pip
pip install q-galore-torch
# or install from source:
git clone https://github.com/VITA-Group/Q-GaLore.git
cd Q-GaLore
pip install -e
pip install -r exp_requirements.txt
Пример конфига для претрейга LLaMa на с4 датасете
Пример конфига для претрейна LLaMA-7B на 16 GB VRAM
▪Лицензирование: Apache-2.0
▪Arxiv
▪Video from Open AGI Summit
▪Github [ Stars: 3.4K | Issues: 122 | Forks: 274]
@ai_machinelearning_big_data
#AI #FineTuning #LLM #QGalore #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤16👍14🔥6
⚡️ Новостной дайджест
✔️ Accenture планирует запуск услуги по созданию собственных LLM для организаций на базе NVIDIA.
Accenture объявила о сотрудничестве с NVIDIA для разработки индивидуальных моделей искусственного интеллекта на базе Llama 2 с использованием платформы NVIDIA AI Foundry.
Ключевым аспектом сотрудничества является использование технологии NVIDIA NeMo, которая позволяет настраивать и оптимизировать модели Llama для конкретных приложений.
newsroom.accenture.com
✔️ ServiceNow & Oxford Economics выпустили отчет "Индекс зрелости корпоративного искусственного интеллекта 2024"
Индекс исследует значение внедрения AI для организаций всех отраслей. В нем проведен глобальный опрос 4 470 руководителей и измерены показатели эффективности ИИ по пяти ключевым направлениям: стратегия и лидерство, интеграция рабочих процессов, таланты и кадры, управление и реализация ценности.
Результат показывает, что для многих организаций использование AI все еще находится на экспериментальной стадии, и только 18% используют возможности искусственного интеллекта.
oxfordeconomics.com
🔔 Полная версия отчета под этим новостным дайджестом
✔️ Новая модель NVIDIA ChatQA-2 превосходит GPT-4 в задачах с длинным контекстом и RAG
NVIDIA представила новую модель ChatQA 2, основанную на архитектуре Llama 3
Модель способна эффективно работать с контекстом длиной до 128 000 токенов, что значительно больше стандартного параметра 8 000 токенов в Llama3-70B.
NVIDIA использовала дообучение, включающее расширение контекстного окна и трехэтапную инструктивную настройку. ChatQA 2 показывает результаты, сопоставимые с GPT-4-Turbo-2024-0409.
Кроме того, исследователи обнаружили, что использование длинноконтекстного ретривера может смягчить проблему фрагментации контекста top-k в RAG, что улучшает результаты для задач понимания длинного контекста.
analyticsindiamag.com
✔️ Объединенное обучение с дифференциальной конфиденциальностью для сквозного распознавания речи
Apple опубликовала исследование в котором рассматривается пробел в изучении применения федеративного обучения (FL) с дифференциальной конфиденциальностью (DP) для автоматического распознавания речи (ASR).
Авторы обучили FL-модели, которые работают оптимально даже при использовании разнородных данных, начальной модели из другого домена или при отсутствии предварительно обученной начальной модели.
Также поднимается проблема применения DP к FL для ASR, которая осложняется сильным влиянием шума DP на обучение модели, особенно в больших моделях с сильно несбалансированными градиентами в блоке внимания. Исследование
machinelearning.apple.com
✔️ MIT CSAIL разработал MAIA, автоматизированный интерпретируемый агент, который проводит эксперименты для понимания и уточнения поведения нейронных сетей.
MAIA (Multimodal Automated Interpretability Agent) - система, автоматизирующая различные задачи интерпретации нейронных сетей на основе модели "зрение-язык". MAIA может генерировать гипотезы, проводить эксперименты и уточнять свое понимание путем итеративного анализа. Она продемонстрировала эффективность в маркировке нейронных компонентов, очистке классификаторов изображений и обнаружении скрытых предубеждений. Гибкость MAIA позволяет ему отвечать на различные запросы по интерпретируемости и разрабатывать эксперименты "на лету".
news.mit.edu
✔️ На Олимпийских играх в Париже будут применяться китайские разработки в AI.
В ходе проведения игр будут использоваться китайские технологии искусственного интеллекта, а компания Alibaba, разработчик языковой модели Qwen, станет первым поставщиком технологии применения AI на спортивных соревнованиях такого масштаба. Международный олимпийский комитет (МОК) сотрудничает с Alibaba и Intel по задачам:
360-градусные спецэффекты при прямой трансляции с помощью технологий Alibaba, AI-колоризацию черно-белых изображений и снижение углеродного следа, а LLM Qwen обеспечит техническую поддержку и будет доступна для использования официальными комментаторами, помогая в комментировании различных событий.
qbitai.com
@ai_machinelearning_big_data
#news #digest #ml #ai
Accenture объявила о сотрудничестве с NVIDIA для разработки индивидуальных моделей искусственного интеллекта на базе Llama 2 с использованием платформы NVIDIA AI Foundry.
Ключевым аспектом сотрудничества является использование технологии NVIDIA NeMo, которая позволяет настраивать и оптимизировать модели Llama для конкретных приложений.
newsroom.accenture.com
Индекс исследует значение внедрения AI для организаций всех отраслей. В нем проведен глобальный опрос 4 470 руководителей и измерены показатели эффективности ИИ по пяти ключевым направлениям: стратегия и лидерство, интеграция рабочих процессов, таланты и кадры, управление и реализация ценности.
Результат показывает, что для многих организаций использование AI все еще находится на экспериментальной стадии, и только 18% используют возможности искусственного интеллекта.
oxfordeconomics.com
NVIDIA представила новую модель ChatQA 2, основанную на архитектуре Llama 3
Модель способна эффективно работать с контекстом длиной до 128 000 токенов, что значительно больше стандартного параметра 8 000 токенов в Llama3-70B.
NVIDIA использовала дообучение, включающее расширение контекстного окна и трехэтапную инструктивную настройку. ChatQA 2 показывает результаты, сопоставимые с GPT-4-Turbo-2024-0409.
Кроме того, исследователи обнаружили, что использование длинноконтекстного ретривера может смягчить проблему фрагментации контекста top-k в RAG, что улучшает результаты для задач понимания длинного контекста.
analyticsindiamag.com
Apple опубликовала исследование в котором рассматривается пробел в изучении применения федеративного обучения (FL) с дифференциальной конфиденциальностью (DP) для автоматического распознавания речи (ASR).
Авторы обучили FL-модели, которые работают оптимально даже при использовании разнородных данных, начальной модели из другого домена или при отсутствии предварительно обученной начальной модели.
Также поднимается проблема применения DP к FL для ASR, которая осложняется сильным влиянием шума DP на обучение модели, особенно в больших моделях с сильно несбалансированными градиентами в блоке внимания. Исследование
machinelearning.apple.com
MAIA (Multimodal Automated Interpretability Agent) - система, автоматизирующая различные задачи интерпретации нейронных сетей на основе модели "зрение-язык". MAIA может генерировать гипотезы, проводить эксперименты и уточнять свое понимание путем итеративного анализа. Она продемонстрировала эффективность в маркировке нейронных компонентов, очистке классификаторов изображений и обнаружении скрытых предубеждений. Гибкость MAIA позволяет ему отвечать на различные запросы по интерпретируемости и разрабатывать эксперименты "на лету".
news.mit.edu
В ходе проведения игр будут использоваться китайские технологии искусственного интеллекта, а компания Alibaba, разработчик языковой модели Qwen, станет первым поставщиком технологии применения AI на спортивных соревнованиях такого масштаба. Международный олимпийский комитет (МОК) сотрудничает с Alibaba и Intel по задачам:
360-градусные спецэффекты при прямой трансляции с помощью технологий Alibaba, AI-колоризацию черно-белых изображений и снижение углеродного следа, а LLM Qwen обеспечит техническую поддержку и будет доступна для использования официальными комментаторами, помогая в комментировании различных событий.
qbitai.com
@ai_machinelearning_big_data
#news #digest #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22❤5🔥3
Mistral AI представила новую модель Mistral Large 2, которая имеет 128 тысяч токенов контекстного окна и содержит 123 миллиарда параметров.
Модель поддерживает десятки языков, включая русский и более 80 языков программирования. Mistral Large 2 набрала 84.0% на тесте MMLU и показывает результаты на уровне GPT-4 и Claude 3 Opus в задачах кодирования и рассуждений и улучшенные способности в многоязычных задачах.
Модель была обучена с акцентом на минимизацию "галлюцинаций" и расширение навыка следованию инструкциям.
Mistral Large 2 получила улучшение вызова функций и может выполнять как параллельные, так и последовательные задачи.
Модель доступна как чат через платформу Mistral AI под названием "mistral-large-2407" , по прямой ссылке для загрузки и в официальном репозитории Huggingface
Вместе с этим релизом MistralAi расширяет сотрудничество с крупными сервис-провайдерами и
с сегодняшнего для Mistral Large 2 доступна в сервисе Vertex AI (Google Cloud Platform), Azure AI Studio (Microsoft Azure), Amazon Bedrock (Amazon) и Watsonx Ai (IBM).
@ai_machinelearning_big_data
#AI #MistralLarge2 #ML #MistalAI #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥5❤4
Stable Video 4D - модель генерации видео от Stability AI, способная преобразовывать одиночное видео объекта в несколько новых видео с различных ракурсов с поддержкой согласованности внешнего вида объекта по пространственным и временным осям..
Модель использует комбинацию из четырех визуальных энкодеров (SigLIP, CLIP, DINOv2 и OpenCLIP ConvNeXt) и пространственный агрегатор зрения для создания 5 кадров для каждого из 8 ракурсов примерно за 40 секунд.
В Stable Video 4D пользователю доступны параметры:
с автозагрузкой моделей и дефолтными параметрами
python scripts/sampling/simple_video_sample_4d.py --input_path assets/test_video1.mp4 --output_folder outputs/sv4d
с настраиваемыми параметрами
python scripts/sampling/simple_video_sample_4d.py --input_path <path/to/video> --<sv3d_version> -- <elevations_deg> -- <num_steps> --output_folder_path <output/folder/path>
@ai_machinelearning_big_data
#AI #StabilityAI #ML #Generative #SV4D
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🔥8❤5
🔥 Новостной дайджест
✔️ Microsoft представляет Bing Generative Search, обновленную поисковую систему с AI
Анонсированный в феврале 2024 года, Bing AI Search сегодня был выпушен в ранний доступ.
Обновление сочетает в себе основу результатов поиска Bing и возможности больших и малых языковых моделей (LLM и SLM).
Он понимает поисковый запрос, изучает миллионы источников информации, динамически сопоставляет контент и формирует результаты поиска в новом макете, созданном искусственным интеллектом, для более эффективного выполнения намерений пользователя.
blogs.bing.com
✔️ Все больше интернет-сервисов и сайтов блокируют доступ для AI к своим данным.
Data Provenance Initiative провела исследование, проанализировав 14 000 веб-доменов и обнаружив увеличение числа заблокированных токенов с 1 % до 7 % с апреля 2023 года по апрель 2024 года. Основными источниками таких ограничений являются новостные сайты, платформы социальных сетей и форумы, причем количество заблокированных токенов на новостных сайтах за год резко возросло с 3 до 45 %.
Специалисты видят риск в том, что дополнительные ограничения, предпринимаемые владельцами интернет-ресурсов в результате повлияет на качество и предвзятость будущих систем AI, которые будут вынуждены обучаться на манипулятивных данных.
the-decoder.com
✔️ После успеха с AgentGPT компания Reworkd переключилась на создание ИИ-агентов для веб-скрапинга.
Компания Reworkd переориентировалась на разработку ИИ-агентов для веб-скрапинга. Новый подход Reworkd позволяет извлекать структурированные данные из публичных веб-сайтов с помощью мультимодальной генерации кода. Клиенты могут предоставить список сайтов и указать типы нужных данных, а ИИ-агенты Reworkd автоматически создают уникальный код для скрапинга каждого сайта и извлечения требуемой информации.
Сама Reworkd позиционирует себя как "универсальный API-слой для интернета", стремясь реализовать концепцию Семантической паутины, где компьютеры могут "читать" весь интернет.
techcrunch.com
✔️ ИИ добился серебряной медали на решении заданий Международной математической олимпиады.
Системы искусственного интеллекта компании DeepMind (Google), AlphaProof и AlphaGeometry 2, успешно решили четыре из шести задач, получив оценку, эквивалентную серебряному призеру Международной математической олимпиады (IMO).
AlphaProof использует формальный язык Lean и алгоритм обучения с подкреплением AlphaZero для создания и проверки доказательств, AlphaGeometry 2 -- нейро-символическая гибридная система, обученная на большом наборе данных.
deepmind.google
✔️ МLLM-модель Douchao компании ByteDance поставила рекорд производительности в 500 миллиардов токенов в сутки.
Достижению поспособствовали недавнее обновление семейства Douchao, которое добавило мультимодальность (text-to-image, speech synthesis, speech-to-text), востребованность среди корпоративных клиентов и низкая потребительская стоимость доступа.
Цена входного токена составляет всего 0,0008 юаня (это примерно 1 цент США) за тысячу токенов, что на 99,3% дешевле, чем в целом в отрасли.
jiqizhixin.com
✔️ OpenAI показала превью SearchGPT, свою новую поисковую систему!. Компания говорит, что это новый способ поиска, который перевернёт весь мир. Поисковик будет работать прямо в ChatGPT — он проверит ВСЕ доступные источники по теме, чтобы быстро выдать лучший ответ - https://chatgpt.com/search
@ai_machinelearning_big_data
#news #digest #ml #ai
Анонсированный в феврале 2024 года, Bing AI Search сегодня был выпушен в ранний доступ.
Обновление сочетает в себе основу результатов поиска Bing и возможности больших и малых языковых моделей (LLM и SLM).
Он понимает поисковый запрос, изучает миллионы источников информации, динамически сопоставляет контент и формирует результаты поиска в новом макете, созданном искусственным интеллектом, для более эффективного выполнения намерений пользователя.
blogs.bing.com
Data Provenance Initiative провела исследование, проанализировав 14 000 веб-доменов и обнаружив увеличение числа заблокированных токенов с 1 % до 7 % с апреля 2023 года по апрель 2024 года. Основными источниками таких ограничений являются новостные сайты, платформы социальных сетей и форумы, причем количество заблокированных токенов на новостных сайтах за год резко возросло с 3 до 45 %.
Специалисты видят риск в том, что дополнительные ограничения, предпринимаемые владельцами интернет-ресурсов в результате повлияет на качество и предвзятость будущих систем AI, которые будут вынуждены обучаться на манипулятивных данных.
the-decoder.com
Компания Reworkd переориентировалась на разработку ИИ-агентов для веб-скрапинга. Новый подход Reworkd позволяет извлекать структурированные данные из публичных веб-сайтов с помощью мультимодальной генерации кода. Клиенты могут предоставить список сайтов и указать типы нужных данных, а ИИ-агенты Reworkd автоматически создают уникальный код для скрапинга каждого сайта и извлечения требуемой информации.
Сама Reworkd позиционирует себя как "универсальный API-слой для интернета", стремясь реализовать концепцию Семантической паутины, где компьютеры могут "читать" весь интернет.
techcrunch.com
Системы искусственного интеллекта компании DeepMind (Google), AlphaProof и AlphaGeometry 2, успешно решили четыре из шести задач, получив оценку, эквивалентную серебряному призеру Международной математической олимпиады (IMO).
AlphaProof использует формальный язык Lean и алгоритм обучения с подкреплением AlphaZero для создания и проверки доказательств, AlphaGeometry 2 -- нейро-символическая гибридная система, обученная на большом наборе данных.
deepmind.google
Достижению поспособствовали недавнее обновление семейства Douchao, которое добавило мультимодальность (text-to-image, speech synthesis, speech-to-text), востребованность среди корпоративных клиентов и низкая потребительская стоимость доступа.
Цена входного токена составляет всего 0,0008 юаня (это примерно 1 цент США) за тысячу токенов, что на 99,3% дешевле, чем в целом в отрасли.
jiqizhixin.com
@ai_machinelearning_big_data
#news #digest #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31❤8🔥5🦄4
MINT-1T — это мультимодальный чередующийся набор данных с открытым исходным кодом, содержащий один триллион текстовых токенов и 3,4 миллиарда изображений.
Помимо этого, в него включены ранее неиспользованные источники: PDF-файлы и документы из ArXivOrg.
Состав и структура датасета :
Процесс обработки длился более 6 месяцев, затрачено 4.2 млн процессорных часов и использовано порядка 2350 процессорных ядер вычислительной мощности.
Датасет был отфильтрован от документов низкого качества и дубликатов, очищен от персональных данных (e-mail, IP-адреса, другие идентификаторы), удален NSFW-контент.
Перед публикацией проведена дополнительная проверка фильтром качества текста из Huggingface Datatrove.
В этом команде разработки помогли инструменты:
Эксперименты показали, что модели, обученные на MINT-1T, превосходят аналоги на существующих датасетах, особенно в задачах визуальных вопросов-ответов и обработки изображений.
@ai_machinelearning_big_data
#AI #Dataset #ML #MLLM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30❤7🔥4👏4⚡2
⚡️Headless-AD: модель, которая умеет обобщаться на новые действия
На ICML 2024 исследователи из лаборатории Т-Bank AI Research и Института AIRI представили первую модель в In-Context Learning, которая умеет обобщаться на новые действия.
Ранее агенты умели адаптироваться только по State, Transition, Reward, а адаптация по действиям (Action) — не была до конца изучена и не использовалась в создании моделей. Агенты умели выполнять только фиксированный набор действий, а при появлении новых требовали переобучения с нуля.
Для решения этой проблемы исследователи взяли за основу (Algorithm Distillation), ранее самую передовую разработку в In-Context Learning. Однако ее применение ограничено только тем набором действий, что доступен на этапе обучения.
Headless-AD была создана на основе AD с помощью трех модификаций:
● Отказ от конечного линейного слоя, который ранее ограничивал количество и набор доступных действий, — отсюда название Headless-AD.
● Кодировка действий случайными векторами - позволяет избежать необходимости дообучения для каждого нового действия, обеспечивая автоматическую адаптацию.
● Внедрение контекста, который позволяет информировать модель о доступных действиях.
Arxiv
Github
@ai_machinelearning_big_data
На ICML 2024 исследователи из лаборатории Т-Bank AI Research и Института AIRI представили первую модель в In-Context Learning, которая умеет обобщаться на новые действия.
Ранее агенты умели адаптироваться только по State, Transition, Reward, а адаптация по действиям (Action) — не была до конца изучена и не использовалась в создании моделей. Агенты умели выполнять только фиксированный набор действий, а при появлении новых требовали переобучения с нуля.
Для решения этой проблемы исследователи взяли за основу (Algorithm Distillation), ранее самую передовую разработку в In-Context Learning. Однако ее применение ограничено только тем набором действий, что доступен на этапе обучения.
Headless-AD была создана на основе AD с помощью трех модификаций:
● Отказ от конечного линейного слоя, который ранее ограничивал количество и набор доступных действий, — отсюда название Headless-AD.
● Кодировка действий случайными векторами - позволяет избежать необходимости дообучения для каждого нового действия, обеспечивая автоматическую адаптацию.
● Внедрение контекста, который позволяет информировать модель о доступных действиях.
Arxiv
Github
@ai_machinelearning_big_data
🔥24👍9❤8🎉2⚡1
Новостной дайджест
✔️ Xerox оптимизирует процесс обработки документов с помощью AI в новых МФУ серии AltaLink 8200.
Компания Xerox представила новую технологию AI-Assisted Document Processing.
Ключевым элементом новой системы является использование генеративного ИИ и машинного обучения для анализа и извлечения данных из различных типов документов.
AI-Assisted Document Processing может автоматически классифицировать документы, извлекать ключевую информацию и даже интерпретировать контекст.
Xerox интегрирует эту технологию в свои существующие решения для управления документооборотом, создавая комплексную экосистему для работы с информацией.
Первой линейкой устройств, которые получат технологию будет серия многофункциональных устройств AltaLink 8200.
investors.xerox.com
✔️ Google Gemini получил масштабное обновление, появилась быстрая версия Flash 1.5.
Новый Flash 1.5 включает в себя усовершенствования в области скорости обработки данных и точности ответов.
Улучшения в Flash 1.5 включают оптимизацию алгоритмов машинного обучения и внедрение новых моделей обработки естественного языка (NLP).
С ними чат-бот быстрее анализирует запросы пользователей и дает более релевантные и точные ответы. Кроме того, обновление улучшает способность понимать контекст и нюансы разговоров.
Ключевым обновлением отмечается интеграция с другими сервисами Google, такими как Google Search и Google Assistant, это позволяет пользователям использовать чат-бота для выполнения различных задач, от поиска информации до управления устройствами умного дома.
blog.google
✔️ Llama 3.1 405B стала доступна в Groq Chat и Groq Dev Console.
Компания Groq объявила о доступности модели Llama 3.1 405B, самой крупной и мощной открытой модели на сегодняшний день, через платформу GroqCloud Dev Console и GroqChat. Модель Llama 3.1 405B, наряду с версиями 70B и 8B.
Groq использует свою запатентованную технологию LPU (Language Processing Unit) для обеспечения высокоскоростной инференции, что позволяет эффективно работать с такой масштабной моделью.
wow.groq.com
✔️ Microsoft представила возможность бессерверного файнтюна для своей модели Phi-3.
Эта возможность позволяет разработчикам адаптировать модель под конкретные задачи без необходимости управления сложной инфраструктурой.
Бессерверная тонкая настройка доступна для моделей Phi-3-mini (3,8В) и Phi-3-medium (7,3В) через Azure AI Studio.
Технология бессерверной тонкой настройки использует подход низкоранговой адаптации (LoRA), который позволяет обучать модель на небольших наборах данных, сохраняя при этом базовые знания модели.
Помимо бессерверной тонкой настройки, Microsoft представила обновленную версию Phi-3-mini с улучшенными характеристиками в области следования инструкциям, структурированного вывода и рассуждений.
azure.microsoft.com
✔️ Intel AI Playground - бесплатное приложение для PC для Arc.
Intel анонсировала запуск Intel AI Playground, платформы, предназначенной для демонстрации возможностей искусственного интеллекта и предоставления инструментов для разработчиков.
Intel AI Playground включает в себя набор предобученных моделей и программного обеспечения, которые можно использовать для различных задач, таких как обработка естественного языка, компьютерное зрение и генеративные модели. Платформа поддерживает популярные фреймворки для разработки AI: TensorFlow и PyTorch.
AI Playground доступна для загрузки на сайте Intel
hothardware.com
Компания Xerox представила новую технологию AI-Assisted Document Processing.
Ключевым элементом новой системы является использование генеративного ИИ и машинного обучения для анализа и извлечения данных из различных типов документов.
AI-Assisted Document Processing может автоматически классифицировать документы, извлекать ключевую информацию и даже интерпретировать контекст.
Xerox интегрирует эту технологию в свои существующие решения для управления документооборотом, создавая комплексную экосистему для работы с информацией.
Первой линейкой устройств, которые получат технологию будет серия многофункциональных устройств AltaLink 8200.
investors.xerox.com
Новый Flash 1.5 включает в себя усовершенствования в области скорости обработки данных и точности ответов.
Улучшения в Flash 1.5 включают оптимизацию алгоритмов машинного обучения и внедрение новых моделей обработки естественного языка (NLP).
С ними чат-бот быстрее анализирует запросы пользователей и дает более релевантные и точные ответы. Кроме того, обновление улучшает способность понимать контекст и нюансы разговоров.
Ключевым обновлением отмечается интеграция с другими сервисами Google, такими как Google Search и Google Assistant, это позволяет пользователям использовать чат-бота для выполнения различных задач, от поиска информации до управления устройствами умного дома.
blog.google
Компания Groq объявила о доступности модели Llama 3.1 405B, самой крупной и мощной открытой модели на сегодняшний день, через платформу GroqCloud Dev Console и GroqChat. Модель Llama 3.1 405B, наряду с версиями 70B и 8B.
Groq использует свою запатентованную технологию LPU (Language Processing Unit) для обеспечения высокоскоростной инференции, что позволяет эффективно работать с такой масштабной моделью.
wow.groq.com
Эта возможность позволяет разработчикам адаптировать модель под конкретные задачи без необходимости управления сложной инфраструктурой.
Бессерверная тонкая настройка доступна для моделей Phi-3-mini (3,8В) и Phi-3-medium (7,3В) через Azure AI Studio.
Технология бессерверной тонкой настройки использует подход низкоранговой адаптации (LoRA), который позволяет обучать модель на небольших наборах данных, сохраняя при этом базовые знания модели.
Помимо бессерверной тонкой настройки, Microsoft представила обновленную версию Phi-3-mini с улучшенными характеристиками в области следования инструкциям, структурированного вывода и рассуждений.
azure.microsoft.com
Intel анонсировала запуск Intel AI Playground, платформы, предназначенной для демонстрации возможностей искусственного интеллекта и предоставления инструментов для разработчиков.
Intel AI Playground включает в себя набор предобученных моделей и программного обеспечения, которые можно использовать для различных задач, таких как обработка естественного языка, компьютерное зрение и генеративные модели. Платформа поддерживает популярные фреймворки для разработки AI: TensorFlow и PyTorch.
AI Playground доступна для загрузки на сайте Intel
hothardware.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18❤7🎉2🥰1