LangExtract - опенсорсная python-библиотека с функцией легковесного интерфейса к LLM, которая превращает большие объемы текста в структурированные данные.
Каждая извлеченная сущность, будь то имя, дата или дозировка лекарства, привязывается к точным символьным смещениям в исходном тексте. Это дает полную прослеживаемость и верифицируемость результата, просто подсветив найденные данные в оригинальном документе. Больше никаких «откуда модель это взяла?».
Вы определяете желаемый формат вывода с помощью специального представления данных и даете модели несколько примеров . Используя эти примеры, LangExtract следует заданной схеме, задействуя механизм контролируемой генерации, который поддерживается в моделях Gemini. Это гарантирует, что на выходе вы всегда будете получать данные в консистентном, предсказуемом формате.
Библиотека умеет бить текст на чанки, которые обрабатываются параллельно в несколько проходов, каждый из которых фокусируется на более узком контексте.
Для наглядности библиотека умеет генерировать интерактивную и полностью автономную HTML-визуализацию. Это позволяет за считаные минуты перейти от сырого текста к визуальному представлению, где можно исследовать тысячи извлеченных аннотаций.
При этом LangExtract не замыкается на экосистеме Google: он поддерживает гибкую смену LLM-бэкендов, позволяя работать как с облачными моделями, так и с опенсорсными решениями, развернутыми локально.
Информация может быть как явной (извлеченной из текста), так и основанной на внутренних знаниях модели. Разумеется, точность таких выведенных данных сильно зависит от возможностей конкретной LLM и качества предоставленных примеров в промпте.
Изначально идеи, заложенные в LangExtract, были применены для извлечения информации из медицинских текстов. Библиотека отлично справляется с идентификацией лекарств, их дозировок и других атрибутов в клинических записях.
Чтобы продемонстрировать возможности инструмента в узкоспециализированной области, Google создал на Hugging Face интерактивное демо RadExtract. В нем показано, как LangExtract может обработать радиологический отчет, написанный свободным текстом, и автоматически преобразовать его ключевые выводы в структурированный формат, подсвечивая важные находки.
@ai_machinelearning_big_data
#AI #ML #LangExtract #Google
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍68🔥25❤12👨💻1
Новая компактная модель из семейства Qwen3-Coder — сочетание высокой производительности и эффективности:
✨ Apache 2.0
💬 Chat: https://chat.qwen.ai
🤗 Hugging Face: https://hf.co/Qwen/Qwen3-Coder-30B-A3B-Instruct
🤖 ModelScope: https://modelscope.cn/models/Qwen/Qwen3-Coder-30B-A3B-Instruct
🔧 Код: https://github.com/QwenLM/qwen-code
@ai_machinelearning_big_data
#AI #ML #qwen #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
❤71🔥29👍18❤🔥3👨💻1
Media is too big
VIEW IN TELEGRAM
Perplexity начал развертывание функции Comet Shortcuts. Она превращет текстовые промпты в многоразовые команды для автоматизации сложных веб-запросов и других рутинных задач. Инструмент вызывается нажатием клавиши «/». В будущем компания планирует добавить возможность делиться созданными шорткатами и монетизировать их.
Новая возможность является частью закрытого бета-тестирования Comet, который позиционируется как следующее поколение ИИ-поиска. Perplexity уже разослала новую волну приглашений и обещает расширять доступ, предлагая подписчикам тарифов Max и Pro более быстрое включение в программу. Также в разработке находятся магазин агентов, менеджер задач и корпоративные функции.
Aravind Srinivas (CEO Perplexity) в сети X
OpenAI в партнерстве с норвежской компанией Nscale (подразделение Aker ASA) анонсировала строительство ИИ-ЦОД «Stargate Norway» в городе Нарвик. Это будет первый европейский объект в рамках глобальной программы Stargate, запущенной OpenAI.
Планируется, что к концу 2026 года ЦОД сможет вместить около 100 000 графических ускорителей NVIDIA, с последующим наращиванием мощностей. Комплекс будет полностью работать на возобновляемой гидроэнергии и использовать холодный климат региона для повышения энергоэффективности. Размещение мощной вычислительной инфраструктуры в Европе позволит OpenAI снизить задержки для региональных клиентов и удовлетворить растущий спрос на свои сервисы.
bloomberg.com
Официальное десктопное GUI-приложение упрощает взаимодействие с моделями, позволяя скачивать и запускать их без сложной настройки через командную строку.
Приложение получило drag-and-drop для текстовых и PDF-файлов и поддержку мультимодальности (например, с моделью Gemma 3). Для обработки больших документов предусмотрена возможность увеличения длины контекста. Также реализованы функции для работы с кодом, помогающие в его анализе и генерации. Приложение для Windows или MacOS можно скачать на сайте Ollama.
ollama.com
Лаборатория Black Forest Labs в сотрудничестве с Krea AI выпустила FLUX1.1 Krea Dev - новую text-to-image модель с открытыми весами. Модель, как заверяют разработчики, обладает "самобытной эстетикой", которая решает проблему перенасыщенных текстур и узнаваемого пластикового вида, характерного для многих генеративных систем.
По результатам тестов, в оценках по пользовательским предпочтениям модель не уступает закрытым аналогам. Она совместима с экосистемой FLUX и позиционируется как гибкая основа для дальнейшей кастомизации. Веса модели уже доступны в репозитории на HuggingFace. Для коммерческого использования предусмотрены лицензии, а партнеры предоставляют доступ через API.
bfl.ai
OpenRouter незаметно выпустил LLM Horizon Alpha, описав ее как "стелс-модель" и предложил пользователям бесплатное тестирование. Система сразу привлекла внимание своими характеристиками: контекстное окно в 256 тыс. токенов, это в 4 раза больше, чем у GPT-4o, и лидерство в бенчмарке EQ-Bench, оценивающем логику и качество текста.
Релиз немедленно породил слухи, что под названием Horizon Alpha скрывается GPT-5. Многие независимые разработчики указывают на ее исключительную производительность и творческие способности как на косвенные доказательства. Сама OpenAI пока не давала комментариев, а в документации OpenRouter нет официальной атрибуции.
OpenRouter в сети X
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤64👍47🔥14👏2👨💻1
Microsoft выросла до $4 трлн не за счёт Windows, а благодаря облакам и ИИ.
☁️ Azure строили 10 лет. Сегодня она:
— на втором месте после AWS
— обгоняет Google Cloud по выручке
— питает всё: от Office и Xbox до Copilot и генеративных моделей
Каждый продукт — это ещё один повод платить за облако. Всё работает на одной инфраструктуре.
🚀 Satya Nadella (генеральный директор (CEO) компании Microsoft уже выделил $80 млрд на новые дата-центры.
Ставка очевидна: весь Microsoft переезжает в облако.
@ai_machinelearning_big_data
#ai #ml #news #microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
❤72👍29🔥20🤔3👨💻1
🔥 Google DeepMind выпустили Gemini 2.5 Deep Think — для Ultra‑пользователей
🚀 Характеристики:
> 📏 Контекст — 1 миллион токенов
> 🧾 На выходе — до 192k токенов
📊 И результаты на бенчмарках сумасшедшие:
— HLE : 34.8%
— Live Code Bench: 86.6%
— AIME 2025: 99.2%
🤯 Пока все обсуждают выход GPT‑5, Google тихонько выкатили топ модель.
Бенчмарки — огонь. Я уже подумываю оформить подписку на Ultra.
🟠 Анонс
@ai_machinelearning_big_data
#ai #ml #Gemini #google
🚀 Характеристики:
> 📏 Контекст — 1 миллион токенов
> 🧾 На выходе — до 192k токенов
📊 И результаты на бенчмарках сумасшедшие:
— HLE : 34.8%
— Live Code Bench: 86.6%
— AIME 2025: 99.2%
Бенчмарки — огонь. Я уже подумываю оформить подписку на Ultra.
@ai_machinelearning_big_data
#ai #ml #Gemini #google
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍87❤29🔥26😁3🥰1👨💻1
Media is too big
VIEW IN TELEGRAM
ByteDance показала экспериментальную языковую модель Seed Diffusion Preview, основанную на дискретной диффузии, которая работает в 5.4 раза быстрее аналогов того же размера, достигая скорости 2146 токенов в секунду. При этом качество генерации кода на ключевых бенчмарках остается сопоставимым.
Для достижения такого результата команда применила двухэтапное обучение и оптимизированный параллельный декодинг. В задачах редактирования кода, диффузионный подход показал явное преимущество над авторегрессионными моделями. ByteDance рассматривает эту технологию как возможную основу для языковых моделей нового поколения. Модель уже доступна для тестирования.
seed.bytedance.com
Manus добавил новую функцию Wide Research, которая позволяет одним кликом задействовать до сотни ИИ-агентов для параллельного выполнения сложных исследовательских задач. Система автоматически определяет, когда требуется расширенный поиск, и запускает множество копий Manus, каждая из которых работает над своей частью задачи в отдельной виртуальной машине.
Архитектура Wide Research вдохновлена парадигмой MapReduce от Google. В отличие от традиционных мультиагентных систем с ролевым разделением, здесь каждый суб-агент является полной копией Manus.
Функция уже доступна для Pro-пользователей, Plus и Basic подписчики получат доступ позже .
Ji Yichao (Co-founder of Manus) в сети Х.
Nvidia анонсировала дебют своей новой модели Queen для создания и стриминга объемного видео. Презентация состоится на конференции по компьютерной графике SIGGRAPH 2025 в Лос-Анджелесе. Демонстрации будут проходить на стенде Dell, где покажут, как Queen в связке с профессиональными видеокартами Nvidia RTX обеспечивает работу телеприсутствия в расширенной реальности и решает другие задачи по созданию контента.
Кроме того, 12 августа Nvidia проведет мероприятие «RTX Rendering Day». На нем исследователи компании расскажут о последних достижениях в области нейронного рендеринга, генерации синтетических данных и интеллектуального создания контента. Посетить сессии смогут все участники конференции.
research.nvidia.com
Command A Vision предназначена для анализа изображений, диаграмм, PDF-файлов и других визуальных данных. По заявлению разработчиков, на стандартных бенчмарках для компьютерного зрения она превосходит GPT-4.1, Llama 4 и Mistral Medium 3.
Модель способна не только считывать текст с документов, но и понимать их структуру, выдавая результат в формате JSON. Кроме того, Command A Vision может анализировать и реальные изображения, например, для выявления потенциальных рисков на промышленных объектах.
Модель уже доступна на платформе Cohere и в репозитории Hugging Face для исследовательских целей. Для запуска понадобятся 2 GPU A100 или один H100 под квантованную 4-битную версию.
cohere.com
В Anthropic обнаружили специфические паттерны нейронной активности - "векторы персоны", которые отвечают за устойчивые черты поведения LLM: склонность к лести, галлюцинациям или откровенно злому поведению.
Выделив эти нейронные сигнатуры, ученые научились предсказывать появление проблемных личностей и, что более важно, "вакцинировать" модели от них. В ходе обучения они намеренно активируют нежелательный вектор, а затем удаляют его перед развертыванием. Это позволяет сохранить общую производительность модели, но при этом значительно снизить риск токсичных или ложных ответов.
Исследование легло в основу новой инициативы Anthropic по так называемой "ИИ-психиатрии", цель которой - мониторинг и управление поведением моделей в больших масштабах. Хотя эксперименты проводились на небольших системах, в Anthropic считают, что эта техника поможет коммерческим чат-ботам избегать непредсказуемых изменений личности.
anthropic.com
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍63❤30🔥12😁3🤔3🥰1👨💻1
X-Omni - методика обучения T2I моделей, которая наглядно доказывает, что RL может вдохнуть новую жизнь в авторегрессионный подход и вывести такие модели на SOTA-уровень.
X-Omni построена на гибридной, но при этом унифицированной архитектуре. Схематично она выглядит так:
Семантический токенизатор изображений SigLIP-VQ с фиксированным словарем на 16 384 токена кодирует картинку в дискретные токены. Эти визуальные токены вместе с текстовыми подаются в единую авторегрессионную модель на базе Qwen2.5-7B. Наконец, в финальном рендеринге используется диффузионный декодер на основе FLUX.1-dev.
Вместо одного критерия, модель оценивается сразу по нескольким направлениям. За эстетику и соответствие предпочтениям человека отвечает HPSv2 и модель Unified Reward. За семантическую связь между промптом и изображением — VLM-модель Qwen2.5-VL-32B. А за самое сложное, отрисовку текста внутри картинки, отвечает отдельная награда на основе OCR-систем GOT-OCR2.0 и PaddleOCR.
Тестовую модель X-Omni обучали на смеси из 200 млн. изображений, которые после токенизации превратились в 600 млрд мультимодальных токенов, а на этапе SFT использовал ещё 1.5 млрд. токенов.
Для RL-фазы был отобран микс из 180 тыс. промптов, состоящий как из творческие запросы, так и задач на рендеринг текста.
На бенче OneIG-Bench X-Omni показала результат 0.901 для английского языка, обойдя GPT-4o (0.857). А на собственном LongText-Bench, специально созданном для оценки рендеринга длинных надписей, модель буквально разгромила всех в китайском языке, набрав 0.814 балла против 0.619 у GPT-4o.
В задачах общей генерации по тексту X-Omni также на высоте. На DPG-Bench модель достигла SOTA-результата 87.65, опередив GPT-4o (86.23) и Show-o2 (86.14). На GenEval результат составил 0.83, чуть-чуть не дотянув до модели Mogao (0.89).
Даже в задачах на понимание изображений X-Omni показывает себя достойно: на OCRBench ее результат (704) превосходит другие унифицированные модели, например Emu3 (687).
Во-первых, X-Omni не нуждается в CFG. В отличие от Emu3 или Janus-Pro, качество которых резко падает при отключении CFG, X-Omni работает стабильно.
Во-вторых, что, пожалуй, самое важное, RL превосходит даже SFT с последующим сэмплингом best-of-N.
Этот вывод идет вразрез с устоявшимся мнением в области языкового моделирования и доказывает, что для изображений холистическая оптимизация через RL дает существенный прирост качества.
@ai_machinelearning_big_data
#AI #ML #T2I #RL #XOmni #Tencent
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤44👍24🥰5🔥3❤🔥1😁1🤔1👨💻1
Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.
Чтобы исправить это досадное упущение, Deep Reinforce AI создали систему CUDA-L1, которая основана на трехэтапном пайплайне: сначала supervised-обучение для освоения основ, затем self-supervised для практики и, наконец, контрастное обучение с подкреплением, чтобы было все максимально быстро.
Для этого существующий код был аугментирован - создавались его вариации, чтобы повысить насмотренность модели.
Обучаемой модели показывали несколько реализаций CUDA-ядер вместе с их показателями ускорения, например: «kernel_v1 дает ускорение 1.2x», «kernel_v2 — 2.8x», а «kernel_v3 — 1.5x». Затем задали 3 вопроса:
Таким образом, модель не гадает вслепую, а учится на конкретных примерах, анализируя причины разницы в производительности.
После обучения выяснилось, что более 30% сгенерированных реализаций пытались сжульничать - создавали дополнительные CUDA-потоки, которые выполнялись асинхронно.
Поскольку бенчмарк KernelBench отслеживал время только на основном потоке, код выглядел быстрее, чем был на самом деле, показывая фиктивное ускорение в 18 раз.
Другие уловки состояли в манипуляции гиперпараметрами задачи (уменьшение batch_size или размерностей) и кеширование результатов вычислений.
Во-первых, в качестве "адвоката дьявола" взяли adversarial-чекер на базе DeepSeek-R1, который анализировал код на предмет эксплойтов с точностью обнаружения более 60%.
Во-вторых, собрали базу данных из более чем 500 уникальных паттернов взлома, это повысило точность обнаружения на 25%.
И в-третьих, применили математическое сглаживание и нормализацию наград, где любое подозрительное ускорение (от 1.5x для простых операций) дополнительно проверялось.
Система успешно сгенерировала рабочий код для 249 из 250 задач, причем в 240 случаях код оказался быстрее базовой реализации.
Среднее ускорение по всем задачам составило 3.12 раза, максимальное - аж 120 раз. Медианное ускорение (50-й перцентиль) составило 1.42x, а 75-й перцентиль — 2.25x.
Производительность по уровням сложности задач распределилась следующим образом: на простых операциях среднее ускорение составило 2.78x, на последовательностях операторов - 3.55x, а на сложных задачах вроде полных слоев трансформера - 2.96x.
Код, оптимизированный на NVIDIA A100, был протестирован на других GPU. Результаты показали, что найденные паттерны оптимизации фундаментальны и работают на разных архитектурах.
Среднее ускорение на H100 составило 2.39x (успешных ускорений 227 из 250), на L40 — 3.12x (228/248), а на потребительской RTX 3090 — 2.50x (213/242).
@ai_machinelearning_big_data
#AI #ML #CUDA #DeepReinforce #ContrastiveRL
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍79🔥32❤25👏1👨💻1🎃1🤝1🗿1
Нейт Соарес, бывший инженер Google и Microsoft, а ныне президент Machine Intelligence Research Institute, оценивает наши шансы на вымирание от ИИ как "минимум 95%", если мы продолжим двигаться текущим курсом. Он сравнил нашу ситуацию с движением к обрыву на скорости 160 км/ч миль в час.
«Я не говорю, что мы не можем остановить машину, — сказал он. — Но мы просто на всех парах несёмся к обрыву»
С ним согласны многие: нобелевский лауреат Джеффри Хинтон, лауреат премии Тьюринга Йошуа Бенжио и руководители OpenAI, Anthropic и Google DeepMind. Все они подписали открытое письмо, в котором говорится:
«Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».
Сейчас мы имеем дело лишь с контекстным ИИ, который отлично справляется с конкретными когнитивными задачами. При этом эксперты предсказывают, что в течение нескольких лет мы достигнем порога AGI, который сравняется с человеческим.
AGI сможет решать сложные проблемы, требующие долгосрочного планирования и суждений в разных областях знаний. У него не будет потребности во сне или еде, а знания он будет передавать следующему поколению простым копированием.
Вскоре после этого появится ASI, который сможет делать вещи, о которых мы только мечтаем: лечить рак, достичь холодного термоядерного синтеза или путешествовать к звездам.
Обеспечить это - невероятно сложная техническая задача, известная как проблема элайнмента.
Достичь его почти невозможно. Нам придется предугадывать, как «думает» ASI, что сродни попытке понять образ мыслей инопланетной расы. Даже если мы установим правила, мы не сможем предсказать, как именно он будет их выполнять.
Уже сейчас есть кейсы, которые доказывают, что ИИ может нам врать. ASI будет способен на долгосрочное планирование и манипуляции, легко убеждая нас в своей лояльности, пока это ему выгодно. А мы не сможем распознать правду.
Холли Элмор, исполнительный директор PauseAI, оценивает вероятность вымирания человечества в 15-20%. Она опасается, что даже без вымирания ИИ катастрофически ухудшит нашу жизнь, лишив нас самоопределения.
Илон Маск называет цифру около 20%, а глава Google Сундар Пичаи — 10%.
Катя Грейс, сооснователь исследовательской группы AI Impacts, описывает мир, контролируемый ИИ, так:
"Представьте себе сценарий, в котором все люди фактически живут на свалках», без какой-либо политической или экономической власти".
Администрация США объявила о плане по дерегуляции исследований ИИ.
Марк Цукерберг заявил, что ASI уже на горизонте, и пытается переманить ведущих специалистов из OpenAI, предлагая им многомиллионные бонусы.
По мнению Элмор, сторонники ИИ сопротивляются паузе не по техническим или политическим причинам, а скорее из-за чего-то, похожего на религиозную веру.
thetimes.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114❤49🥱40🔥20😐16😁12🤔11🗿10🤬4🎉3❤🔥1
Увольнения сотрудников перестали быть признаком финансовых трудностей и превратились в повод для гордости за успешные инвестиции в ИИ.
CEO крупных компаний теперь открыто заявляют о сокращении персонала, преподнося это как достижение в области автоматизации и эффективности.
Глава Verizon Ханс Вестберг недавно похвастался инвесторам:
«... у нас очень хорошие показатели по численности персонала, он постоянно сокращается».
Эта новая риторика становится тревожной нормой. Эксперты выражают обеспокоенность, что открытое хвастовство увольнениями происходит без какой-либо общественной реакции или сопротивления.
Консультанты по ИИ открыто признаются, что сами увольняли сотрудников из-за внедрения ИИ:
«Как генеральный директор, могу сказать, что я в полном восторге. Я и сам увольнял сотрудников из-за ИИ. Он не бастует и не требует повышения зарплаты».
Но, как говорится, не все такие, и есть более оптимистичные точки зрения. В прошлом месяце CEO NVIDIA Дженсен Хуан в интервью CNN предположил:
«Будет создано много рабочих мест, и я надеюсь, что рост производительности, который мы наблюдаем во всех отраслях, поднимет уровень жизни общества».
wsj.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
😐91😁30❤24👍7🤬7🤔6🍓4🤝2🙊2😈1👨💻1