281K subscribers
3.95K photos
676 videos
17 files
4.54K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 Common Corpus: обновление большого набора данных.

Common Corpus - обширный открытый текстовый набор данных на 2 трлн. токенов. Набор разработан PleIAs в сотрудничестве с рядом партнёров и отличается от других датасетов высоким уровнем открытости и возможностью отслеживания происхождения данных.

В обновленную версию были включены материалы, не защищенные авторским правом или распространяемые на основе открытых лицензий.

Common Corpus содержит информацию объемом 10 млрд. токенов для каждого из 8 основных языков (английский, немецкий, французский, испанский, итальянский, польский, греческий и латынь) и 1 млрд. токенов для каждого из 33 дополнительных языка.

В состав Common Corpus входят научные публикации, правительственные и юридические документы, программный код и материалы культурного наследия - книги и газеты.

Все исходные данные для датасетов Common Corpus прошли тщательную модерацию, строгий отбор, коррекцию орфографических ошибок и удаление нежелательного или недостоверного контента.

Common Corpus соответствует положениям AI Act и предоставляет возможность обучения моделей, совместимых с принципами открытого ИИ и может быть использован в коммерческих и некоммерческих целях.

📌Набор данных структурирован в виде 6 коллекций:

🟢OpenCulture - материалы, находящиеся в общественном достоянии, архивные газетные публикации и ресурсы проектов Wikisource и Gutenberg (886 млрд. токенов);

🟢OpenGovernment - финансовая и юридическая документациия из SEC, WTO, Europarl и Caselaw Access Project (406 млрд. токенов);

🟢OpenSource - программный код из репозиториев GitHub, прошедший отбор с использованием системы ArmoRM (283 млрд. токенов);

🟢OpenScience - академические материалы из баз данных Open Alex и других открытых научных хранилищ (281 млрд токенов);

🟢OpenWeb - данные из Wikipedia, YouTube Commons и платформы Stack Exchange (73 млрд. токенов);

🟢Open Semantic - семантические данные из Wikidata, обработанные при участии Wikidata и Wikimedia Germany (67 млрд. токенов).

📌Каждый документ в Common Corpus сопровождается метаданными:

identifier - уникальный идентификатор текстового документа;
collection - название коллекции, к которой относится документ;
license - информация о лицензии;
date - дата создания документа;
title - заголовок документа;
creator - автор или источник публикации;
language - язык документа;
word_count, token_count - количественные показатели: число слов и токенов;
text - текстовое содержание документа.


@ai_machinelearning_big_data

#AI #ML #Dataset #PlelAs #CommonCorpus
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
34🔥12👍3🥰3
✔️ Модели ChatGPT получили расширение возможностей.

OpenAI сегодня сообщила в своем аккаунте X (Twitter) о том, что модели o1 и о3-mini теперь поддерживают загрузку файлов и изображений, а дневной лимит загрузок для o3-mini-high увеличен в 7 раз для пользователей Plus до 50 в день.
x.com

✔️ YouTube интегрирует Veo 2 в Shorts.

YouTube объявил об интеграции новой модели генерации видео Veo 2 в функцию Dream Screen, что позволит пользователям создавать уникальные AI-видео для Shorts на основе текстового запроса. Veo 2 может создать видео в различных стилях и тематиках, учитывая реальную физику и движения человека. Она позволяет указывать стиль, ракурс или кинематографический эффект.

Чтобы использовать новую функцию, нужно открыть камеру Shorts, нажать "Add", затем "Create", ввести запрос и выбрать длину видео. YouTube автоматически пометит ватермаркой SynthID созданный таким образом контент. Возможность уже доступна в США, Канаде, Австралии и Новой Зеландии, расширение - в планах.
blog.youtube

✔️ Anthropic готовится к выпуску новых гибридных моделей с возможностями рассуждения.

Anthropic готовится к выпуску новой модели, объединяющей возможности традиционной LLM с расширенными функциями рассуждения. Ожидается, что модель будет доступна в ближайшие недели и ориентирована на корпоративных клиентов.

Ключевая особенность новой модели - переменное распределение ресурсов, позволяющее пользователям регулировать вычислительную мощность, используемую моделью для каждой задачи, с помощью простого слайдера. На минимальном уровне модель функционирует как стандартная LLM без цепочки рассуждений.
theinformation.com

✔️ Релиз Grok 3 ожидается через пару недель.

xAI находится на финальной стадии разработки Grok 3, новой версии своего чат-бота, выпуск которого ожидается в течение одной-двух недель. По словам Илона Маска, Grok 3 обладает очень мощными возможностями рассуждения и превосходит все известные модели. Grok 3 позиционируется как конкурент ChatGPT, Gemini, Claude, Mistral AI и Llama.

Модель была обучена с использованием синтетических данных и способна анализировать собственные ошибки, стремясь к большей логической последовательности путем пересмотра и перекрестной проверки данных. Musk отметил, что Grok 3 временами кажется "пугающе умным".
seekingalpha.com

✔️ Ai2 выпустила OLMoE, опенсорсное iOS-приложение для запуска LLM непосредственно на устройствах.

OLMoE, iOS-приложения с полностью открытым исходным кодом, которое позволяет пользователям запускать современные языковые модели непосредственно на своих устройствах без необходимости подключения к Интернету. Приложение доступно для загрузки в Apple App Store или может быть собрано из исходного кода из репозитория Ai2 на Github.

Приложение работает на новых устройствах Apple, от iPhone 15 Pro и новее и iPad серии M, из-за потребности в 8 ГБ памяти для модели OLMoE. Модель была оптимизирована с использованием квантования Q4_K_M. OLMoE представляет собой продолжение стремления Ai2 к открытости в разработке ИИ. На iPhone 16 Pro инференс достигает 41 токена в секунду.
allenai.org

✔️ OpenAI представила рекомендации по использованию моделей рассуждения, специально разработанных для сложных, многоступенчатых задач.
Главное:
Используйте разделители: Markdown, XML-теги и заголовки помогают чётко структурировать вводимые данные.
Различие моделей:
Модели рассуждения (например, o1, o3-mini) оптимизированы для детального планирования, анализа документов и визуальной интерпретации.
GPT-модели (например, GPT-4o) ориентированы на скорость и экономию ресурсов для хорошо определённых задач.
Практическое применение:
Модели рассуждения отлично справляются с уточнением неясных запросов, извлечением ключевых деталей из объёмных данных и многоступенчатым планированием (например, при код-ревью).
Рекомендации по запросам:
Используйте короткие, ясные и структурированные запросы с явными ограничениями. Излишне подробные инструкции "chain-of-thought" не требуются, так как модели рассуждают внутренне.
Post

@ai_machinelearning_big_data


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍5812🔥7🥰3❤‍🔥1
🌟 Oumi: опенсорс-фреймворк полного цикла для LLM.

Oumi - открытая платформа для разработки, файнтюна, оценки и экспериментов с языковыми и мультимодальными моделями, созданная совместными усилиями исследователей из 13 ведущих университетов.

Oumi предоставляет инструменты и рабочие процессы для разработки и запуска масштабных экспериментов на кластере, развертывания моделей в рабочей среде и поддерживает методы распределенного обучения (FSDP, DDP):

🟢обучение и файнтюн моделей от 10M до 405B параметров методами SFT, LoRA, QLoRA и DPO;
🟢поддержку популярных семейств моделей: Llama, DeepSeek, Qwen и Phi;
🟢синтез и курирование обучающих данных с использованием LLM-judge;
🟢быстрое развертывание моделей в средах vLLM и SGLang;
🟢проведение комплексного бенчмаркинга моделей по стандартным тестам;
🟢возможность подключения по API OpenAI, Anthropic и Vertex AI;
🟢интеграция с библиотекой Transformers.

В репозитории проекта собраны готовые ноутбуки и скрипты для каждого из этапов жизненного цикла моделей, а подробная документация по использованию поможет легко освоить эту платформу.

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥45👍1716
✔️ Gemini теперь "помнит" историю чатов.

Google расширила возможности Gemini, внедрив функцию запоминания прошлых разговоров для подписчиков Gemini Advanced через Google One AI Premium. Это обновление позволяет Gemini предоставлять более релевантные ответы. Новая функция доступна на английском языке в веб-версии и мобильном приложении Gemini. Google планирует добавить поддержку других языков, а также для бизнес- и корпоративных клиентов Google Workspace в ближайшие недели.
blog.google

✔️ Увеличение частоты таймера ядра Linux повышает производительность ИИ.

Предложение инженера Google об увеличении частоты таймера ядра Linux с 250 до 1000 Гц вызвало интерес в технологическом сообществе и сервис Phoronix провел A/B-тестирование, чтобы оценить влияние этого изменения. Наиболее заметные улучшения наблюдались в ускорении LLM. В других задачах влияние было минимальным и находилось в пределах погрешности измерений системы. Основная идея Кайса Юсефа заключалась в том, что увеличение частоты таймера приведет к улучшению отзывчивости системы и позволит решить проблемы, связанные с 250 Гц: неточные временные интервалы и задержки в балансировке нагрузки.

Тестирование проводилось на AMD Ryzen 9 9950X, 32 ГБ ОЗУ и GPU Radeon RX 7900 XTX. Наибольший прирост производительности наблюдался с Llama, где увеличение частоты таймера привело к росту производительности на 10%.
tomshardware.com

✔️ Apple предложила парадигму претрейна и трансферного обучения для ускорения физического моделирования.

Apple Machine Learning Research опубликовало исследование метода трансферного обучения для графовых нейронных сетей, который значительно улучшает эффективность и точность физического моделирования сложных систем. В работе представлена масштабируемая графовая U-NET (SGUNET), способная адаптироваться к различным размерам сетки и разрешениям.
Предложенный метод позволяет использовать предварительно обученные модели на большом наборе данных (ABC Deformable - ABCD), содержащем 20 000 физических симуляций 3D-форм, для последующей тонкой настройки на целевых задачах с меньшим количеством данных. Это значительно снижает затраты на сбор и аннотацию данных.

Эксперименты на 2 датасетах (2D Deformable Plate и 3D Deforming Plate) показали, что модель, предварительно обученная на ABCD и дообученная на 1/16 части данных, демонстрирует улучшение RMSE на 11.05% по сравнению с моделью, обученной с нуля.
machinelearning.apple.com

✔️ GenAI снижает когнитивные усилия и вредит критическому мышлению.

Microsoft и Университет Карнеги опубликовали ресёрч о том, что генеративный ИИ оказывает двоякое влияние на когнитивные процессы человека. С одной стороны, ИИ-инструменты снижают воспринимаемую сложность задач, требующих критического мышления. С другой стороны, чрезмерная уверенность в возможностях ИИ приводит к снижению критического мышления и зависимости от сгенерированного контента.

Анализ опроса 319 представителей умственного труда показал, что работники чаще всего используют критическое мышление для обеспечения качества своей работы. При этом, чем выше уверенность работника в собственных навыках, тем больше усилий он прилагает для оценки результатов, предоставляемых ИИ. И наоборот, чем выше уверенность в возможностях ИИ, тем меньше усилий затрачивается на критическое мышление. Исследование также выявило изменения в структуре когнитивных усилий при использовании ИИ - они смещаются от сбора информации к ее проверке, от решения проблем к адаптации ответов ИИ и от выполнения задач к контролю за процессом.
microsoft.com

✔️ OpenAI советует упростить промпты для новых моделей рассуждений.

Новые рекомендации OpenAI указывают на то, что для эффективного использования моделей серии o, стоит отходить от сложных техник промпт-инжиниринга в пользу простых и прямых инструкций. OpenAI предостерегает от использования "boomer prompts" и инструкций вроде "думай шаг за шагом" для этих моделей. Вместо этого рекомендуется давать краткие, четко структурированные указания с использованием разделителей (XML-теги) и четко определять критерии успеха или ограничения.
platform.openai.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3821🔥7😨3🗿1
🌟 PARTNR: Бенчмарк планирования и рассуждений в задачах взаимодействия человека и робота.

PARTNR (Planning And Reasoning Tasks in humanN-Robot collaboration) - бенчмарк, разработанный для оценки способности ИИ к совместной работе с людьми в бытовых задачах.

PARTNR состоит из 100 000 задач на естественном языке, 60 домов и 5 819 уникальных объектов. Задачи разделены на 4 типа: без ограничений, пространственные, временные и гетерогенные, где действия могут быть выполнены только человеком.

Для генерации задач используется полуавтоматический подход с применением LLM и симуляции в реальном времени. Это позволяет минимизировать ошибки, галлюцинации (некорректные инструкции) и невыполнимые действия. В процессе генерации задачи фильтруются с помощью симуляции и аннотируются вручную для разнообразия и точности.

На бенчмарке были проведены эксперименты с использованием LLM для планирования задач. Исследовались различные подходы zero-shot prompting, fine-tuning и RAG. Модели тестировались в условиях полной и частичной наблюдаемости, с централизованным и децентрализованным управлением.

Результаты тестов показали, что LLM испытывают трудности с координацией, отслеживанием задач и восстановлением после ошибок. Например, в децентрализованных настройках выполнение задач занимает на 30% больше шагов по сравнению с централизованным управлением.

Особое внимание уделялось оценке взаимодействия LLM с реальными людьми. По итогам тестирований LLM требуют на 50% больше шагов для выполнения задач по сравнению с людьми.

Прикладная реализация PARTNR содержит абстракции, позволяющие агентам выполнять инструкции на естественном языке в свободной форме в симуляторе Habitat.

Основные абстракции: агент, планировщик, инструмент и навык. Агент имеет доступ к набору инструментов, которые позволяют ему воспринимать состояние среды или взаимодействовать с ней, используя низкоуровневые навыки.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Benchmark #PARTNR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4016🔥5
🔥 Бесплатный курс от Microsoft «ИИ-агенты для начинающих»

Курс содержит пошаговые инструкции с примерами кода, которые помогут научиться создавать автономных агентов с использованием машинного обучения.

Фокус на AI-агентах:
Если вас интересует именно разработка агентов — например, для симуляций, игр или интерактивных систем — данный курс будет полезен.

Каждый урок включает в себя:
- Лекцию, (видео уроки появятся в марте 2025 года)
- Примеры кода на Python с поддержкой Azure AI Foundry и Github Models
- Практические задания
- Ссылки на полезные дополнительные ресурсы

Если это ваш первый опыт работы с агентами, у Microsoft есть еще 1 курс «Генеративный ИИ для начинающих», который содержит 21 урок по построению моделей с помощью GenAI, лучше начать с него.

Переведен на 9 различных языков (русского нет).

Github

@ai_machinelearning_big_data

#course #Microsoft #aiagents #ai #ml #opensource #freecourse
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
49👍20🔥12😁3🥱3
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Podcastfy — это open-source инструмент, который преобразует текстовый контент в аудио подкасты с использованием синтеза речи.

Он позволяет легко создавать аудиоверсии статей или блогов, упрощая процесс создания подкастов для контент-мейкеров, блогеров или в целях обучения.

🌟 Поддерживает интеграцию с ElevenLabs, OpenAI и Edge TTS, для преобразования текста в речь.

💡 Примеры можно посмотреть здесь.

💨 Поддерживает продвинутые настройки для работы с голосами, стилем речи и другими параметрами. с генеративным контентом.

Установка:
$ pip install podcastfy

Podcastfy — удобный и простой в использовании инструмент для быстрого прототипирования решений по автоматическому созданию аудиоконтента и интеграции в более крупные ML-проекты.

🔐 Лицензия: Apache-2.0

Github
Paper
Colab


@ai_machinelearning_big_data


#podcast #gemini #openai #elevenlabs #genai #notebooklm
Please open Telegram to view this post
VIEW IN TELEGRAM
58👍34🔥11😐2