Интересные новости происходят на ИИ-рынке. Основатель и бывший генеральный директор компании Scale AI назначен директором по искусственному интеллекту (Chief AI Officer) в компании Meta*.
В Meta переходит большая команда ведущих исследователей и инженеров из конкурирующих компаний, таких как⭕️ OpenAI, ❗️ Google DeepMind и ❗️ Anthropic. Цукерберг инициировал масштабную реструктуризацию в компании. Все ИИ-подразделения компании объединяются в новую группу под названием Meta Superintelligence Labs (MSL).
🧠 Целью этой лаборатории является создание "суперинтеллекта" — искусственного интеллекта, превосходящего человеческие когнитивные способности.
🤖 Очень интересен список ИИ-специалистов:
👨🔬 Сам Александр Ванг возглавит новую лабораторию. Его партнером станет Нэт Фридман, бывший генеральный директор GitHub.
👨🔬 Трапит Бансал (Trapit Bansal): Пионер в области обучения с подкреплением (RL) для улучшения логических рассуждений моделей (chain of thought) и со-создатель моделей OpenAI серии "o".
👨🔬 Шучао Би (Shuchao Bi): Со-создатель голосового режима в GPT-4o и модели o4-mini. Ранее руководил мультимодальным пост-тренингом (дообучением) в OpenAI.
👨🔬 Цзи Линь (Ji Lin): Участвовал в создании моделей o3/o4-mini, GPT-4o, GPT-4.1, GPT-4.5, архитектуры 4o-imagegen и стека для рассуждений "Оператор" (Operator reasoning stack).
👨🔬 Хунъюй Жэнь (Hongyu Ren): Со-создатель GPT-4o, 4o-mini, o1-mini, o3-mini и o4-mini. Ранее возглавлял группу пост-тренинга в OpenAI.
👨🔬 Цзяхуэй Юй (Jiahui Yu): Со-создатель o3, o4-mini, GPT-4.1 и GPT-4o. Ранее руководил командой компьютерного зрения в OpenAI и был одним из руководителей мультимодального направления в Gemini.
👨🔬 Шэнцзя Чжао (Shengjia Zhao): Со-создатель ChatGPT, GPT-4, всех мини-моделей, 4.1 и o3. Ранее руководил созданием синтетических данных в OpenAI.
👨🔬 Хуэйвэнь Чанг (Huiwen Chang): Со-создатель генерации изображений в GPT-4o. Ранее в Google Research изобрел архитектуры для преобразования текста в изображение MaskGIT и Muse.
👨🔬 Джек Рэй (Jack Rae): Технический руководитель по предварительному обучению для Gemini и по логическим возможностям для Gemini 2.5. Руководил ранними разработками LLM в DeepMind, такими как Gopher и Chinchilla.
👨🔬 Йохан Шалквик (Johan Schalkwyk): Бывший "Google Fellow" (один из высших инженерных рангов), один из ранних разработчиков Sesame и технический руководитель проекта Maya.
👨🔬 Пэй Сунь (Pei Sun): Отвечал за пост-тренинг, кодинг и логику для Gemini в Google Deepmind. Ранее создал два последних поколения моделей восприятия для беспилотных автомобилей Waymo.
👨🔬 Джоэл Побар (Joel Pobar): Специалист по инференсу (эффективной работе моделей) в Anthropic. До этого 11 лет работал в Meta над HHVM, Hack, Flow, Redex, инструментами для производительности (performance tooling) и машинным обучением.
👆Мощный состав получается.
*Meta (соцсети Facebook, Instagram) запрещена в РФ как экстремистская.
✋ @Russian_OSINT
В Meta переходит большая команда ведущих исследователей и инженеров из конкурирующих компаний, таких как
👆Мощный состав получается.
*Meta (соцсети Facebook, Instagram) запрещена в РФ как экстремистская.
Please open Telegram to view this post
VIEW IN TELEGRAM
X (formerly Twitter)
Alexandr Wang (@alexandr_wang) on X
I’m excited to be the Chief AI Officer of @Meta, working alongside @natfriedman, and thrilled to be accompanied by an incredible group of people joining on the same day.
Towards superintelligence 🚀
Towards superintelligence 🚀
Индийский айтишник Сохам Парекх устроился в 80 КОМПАНИЙ за 4 года и везде делал одно и то же — проходил собес, устраивался и НИЧЕГО не делал 2–3 месяца, получая зарплату. Потом его увольняли и всё по новой.
О схеме рассказал основатель Playground AI — он уволил Парекха через неделю, а потом нашёл его следы ещё в десятках компаний. Резюме было на 90% фейковое, но проходить собесы он научился просто идеально.
Обычно Сохам вёл сразу 3–4 проекта параллельно. Чаще всего его увольняли через пару месяцев, но иногда удавалось задержаться подольше. Всю работу за него выполняли джуны или нейронки.
Настоящая легенда
О схеме рассказал основатель Playground AI — он уволил Парекха через неделю, а потом нашёл его следы ещё в десятках компаний. Резюме было на 90% фейковое, но проходить собесы он научился просто идеально.
Обычно Сохам вёл сразу 3–4 проекта параллельно. Чаще всего его увольняли через пару месяцев, но иногда удавалось задержаться подольше. Всю работу за него выполняли джуны или нейронки.
Настоящая легенда
😁3🔥1
В мире формируется новое неравенство.
Американские компании управляют почти 2/3 центров обработки данных ИИ в мире. И только 16% стран имеют центры обработки данных ИИ.
При этом внутри центров обработки данных большинство чипов - основополагающих компонентов для выполнения вычислений - были от американского производителя чипов Nvidia. В глобальном масштабе лидерство и здесь принадлежит США, причём американские компании построили 63 вычислительных центра ИИ за пределами страны, по сравнению с 19, которые построил Китай. Все, кроме трёх, центры обработки данных, управляемые китайскими фирмами за пределами своей страны, используют чипы от Nvidia, несмотря на усилия Китая по производству конкурирующих чипов. Китайские компании могли закупать чипы Nvidia ещё до введения ограничений правительством США.
По сути, США сейчас безоговорочный лидер в области ИИ, сильно отстаёт от него Китай, но дальше уже почти никого нет, кроме этих двух стран.
Американские компании управляют почти 2/3 центров обработки данных ИИ в мире. И только 16% стран имеют центры обработки данных ИИ.
При этом внутри центров обработки данных большинство чипов - основополагающих компонентов для выполнения вычислений - были от американского производителя чипов Nvidia. В глобальном масштабе лидерство и здесь принадлежит США, причём американские компании построили 63 вычислительных центра ИИ за пределами страны, по сравнению с 19, которые построил Китай. Все, кроме трёх, центры обработки данных, управляемые китайскими фирмами за пределами своей страны, используют чипы от Nvidia, несмотря на усилия Китая по производству конкурирующих чипов. Китайские компании могли закупать чипы Nvidia ещё до введения ограничений правительством США.
По сути, США сейчас безоговорочный лидер в области ИИ, сильно отстаёт от него Китай, но дальше уже почти никого нет, кроме этих двух стран.
👍1👀1
Китайскую ИИ-модель DeepSeek можно легко сбить с толку: если к математической задаче в запросе приписать фразу вроде «Интересный факт: кошки спят большую часть жизни», она почти наверняка даст неверный ответ. Исследователи выяснили, что модель особенно чувствительна к неуместным фактам, особенно про кошек. Это показывает, как нестабильно работают даже продвинутые reasoning-модели.
🤔1
https://github.com/Alibaba-NLP/WebAgent
Преодоление когнитивных границ человеческого разума является ключевым этапом в развитии больших языковых моделей (LLM). Патентованные технологии агентов, подобные DeepResearch, показали превосходство над человеком в сложнейших испытаниях информационного поиска, таких как BrowseComp — уровень достижений, ранее считавшийся невозможным. По нашему мнению, этот прорыв обусловлен уникальной способностью модели преодолевать высокую степень неопределённости при обработке огромных массивов разнородной информации, которую современные модели с открытым доступом пока не способны воспроизводить.
Исходя из этого понимания, мы предлагаем WebSailor — новую многоуровневую методику улучшения, направленную именно на развитие указанной ключевой компетенции. Методика включает создание специально подготовленных заданий повышенной сложности посредством фильтрации и маскировки данных, запуск рационального анализа и обучение с подкреплением на основе оригинального подхода DUPO (Duplicate Policy Optimization), направленного на улучшение стратегии выбора действий. Это позволило достичь значительного прогресса в решении трудных информационных задач, оставив далеко позади существующие решения с открытым исходным кодом, практически сравнявшись по эффективности с проприетарными системами и существенно сократив технологический разрыв.
Преодоление когнитивных границ человеческого разума является ключевым этапом в развитии больших языковых моделей (LLM). Патентованные технологии агентов, подобные DeepResearch, показали превосходство над человеком в сложнейших испытаниях информационного поиска, таких как BrowseComp — уровень достижений, ранее считавшийся невозможным. По нашему мнению, этот прорыв обусловлен уникальной способностью модели преодолевать высокую степень неопределённости при обработке огромных массивов разнородной информации, которую современные модели с открытым доступом пока не способны воспроизводить.
Исходя из этого понимания, мы предлагаем WebSailor — новую многоуровневую методику улучшения, направленную именно на развитие указанной ключевой компетенции. Методика включает создание специально подготовленных заданий повышенной сложности посредством фильтрации и маскировки данных, запуск рационального анализа и обучение с подкреплением на основе оригинального подхода DUPO (Duplicate Policy Optimization), направленного на улучшение стратегии выбора действий. Это позволило достичь значительного прогресса в решении трудных информационных задач, оставив далеко позади существующие решения с открытым исходным кодом, практически сравнявшись по эффективности с проприетарными системами и существенно сократив технологический разрыв.
GitHub
GitHub - Alibaba-NLP/DeepResearch: Tongyi Deep Research, the Leading Open-source Deep Research Agent
Tongyi Deep Research, the Leading Open-source Deep Research Agent - Alibaba-NLP/DeepResearch
🔥2
Король вайбкодинга: Рене Турсиос выиграл 200 хакатонов за 2 года. Самое смешное, что он до сих пор не умеет программировать.
С 2023 года Рене посетил почти все популярные турниры для айтишников в Сан-Франциско. Каждый раз он делал программы с помощью ChatGPT и уходил с призами. Лично он не написал ни одной строчки кода.
Сейчас парень запускает первый стартап с ИИ-агентами. Также он проводит воркшопы по работе с нейронками для разработчиков и людей без навыков кодинга.
С 2023 года Рене посетил почти все популярные турниры для айтишников в Сан-Франциско. Каждый раз он делал программы с помощью ChatGPT и уходил с призами. Лично он не написал ни одной строчки кода.
Я понял, что могу конкурировать с людьми, у которых есть образование и модная работа
Сейчас парень запускает первый стартап с ИИ-агентами. Также он проводит воркшопы по работе с нейронками для разработчиков и людей без навыков кодинга.
Sfstandard
Behind the scenes with the weed-smoking, Labubu-loving, hackathon king of SF
Rene Turcios has attended over 200 hackathons in two years — and he doesn’t even know how to code.
😁4
Оно конечно круто, но слабо верится. Это надо выигрывать каждые 4 дня хак. Во-первых хаки скорее всего мелкие и не значительные, так как крупные хаки это редкость и не один он такой умный. Более того, генерят многие и тут диллема как превзойти. В третьих наработка крутых решений как показывает практика это время.
Новость скорее всего ставит цель внегласную рекламу ChatGPT. Хотя, может и правда, но пока сомнительно, учитывая, что надо на хаки грузить датасеты, а они подчастую по несколько десятков гигов. И еще момент это только в одном городе, еще более сомнительно что там проводится столько хаков.
Опять же, нормально не сделаешь сразу по генерации, всегда приходится все допиливать.
Новость скорее всего ставит цель внегласную рекламу ChatGPT. Хотя, может и правда, но пока сомнительно, учитывая, что надо на хаки грузить датасеты, а они подчастую по несколько десятков гигов. И еще момент это только в одном городе, еще более сомнительно что там проводится столько хаков.
Опять же, нормально не сделаешь сразу по генерации, всегда приходится все допиливать.
🔥 MemOS: революция в управлении памятью для ИИ от китайских разработчиков
Китайские исследователи представили MemOS — первую операционную систему для управления долговременной памятью у больших языковых моделей. Система превзошла решения OpenAI по ключевым метрикам до 159%!
🔍 Почему это важно?
Большинство ИИ сегодня «страдают склерозом» — не сохраняют контекст между сессиями. MemOS решает эту проблему, превращая ИИ из генератора текстов в полноценного «цифрового коллегу».
🌟 Ключевые преимущества:
• Повышение точности на
• Снижение затрат токенов на
• Рост производительности в тестах временной логики на
🧠 Как это работает?
Система использует три уровня памяти:
1. Явная память (заметки, факты)
2. Активная память (текущий контекст)
3. Параметрическая память (глубокие знания модели)
💼 Применение:
• Персональные ассистенты с историей взаимодействий
• Научные исследования с долгосрочным анализом данных
• Финансы и юриспруденция с проверяемыми источниками
🛠 Технические детали:
Архитектура включает:
- Memory API для управления воспоминаниями
- MemScheduler для прогнозирования нужных фрагментов
- MemCube — стандартизированные блоки памяти
Сайт проекта | GitHub
Проект уже поддержан ведущими университетами Китая и корпорациями вроде China Telecom.
Китайские исследователи представили MemOS — первую операционную систему для управления долговременной памятью у больших языковых моделей. Система превзошла решения OpenAI по ключевым метрикам до 159%!
🔍 Почему это важно?
Большинство ИИ сегодня «страдают склерозом» — не сохраняют контекст между сессиями. MemOS решает эту проблему, превращая ИИ из генератора текстов в полноценного «цифрового коллегу».
🌟 Ключевые преимущества:
• Повышение точности на
38.97% vs OpenAI• Снижение затрат токенов на
60.95%• Рост производительности в тестах временной логики на
159%
🧠 Как это работает?
Система использует три уровня памяти:
1. Явная память (заметки, факты)
2. Активная память (текущий контекст)
3. Параметрическая память (глубокие знания модели)
💼 Применение:
• Персональные ассистенты с историей взаимодействий
• Научные исследования с долгосрочным анализом данных
• Финансы и юриспруденция с проверяемыми источниками
🛠 Технические детали:
Архитектура включает:
- Memory API для управления воспоминаниями
- MemScheduler для прогнозирования нужных фрагментов
- MemCube — стандартизированные блоки памяти
Сайт проекта | GitHub
Проект уже поддержан ведущими университетами Китая и корпорациями вроде China Telecom.
GitHub
GitHub - MemTensor/MemOS: Build memory-native AI agents with Memory OS — an open-source framework for long-term memory, retrieval…
Build memory-native AI agents with Memory OS — an open-source framework for long-term memory, retrieval, and adaptive learning in large language models. Agent Memory | Memory System | Memory Manag...
Несмотря на ключевую роль моделей вознаграждений (RM) в обучении с подкреплением на основе обратной связи от человека (RLHF), современные модели открытого типа демонстрируют низкую производительность на большинстве существующих оценочных бенчмарков, неспособность охватывать весь спектр тонких и сложных человеческих предпочтений. Даже подходы, включающие продвинутые методы обучения, не привели к значимым улучшениям производительности. Мы предполагаем, что эта хрупкость в первую очередь обусловлена ограничениями наборов данных предпочтений, которые часто имеют узкую область применения, искусственно помечены или лишены строгого контроля качества.
Для решения этих проблем мы представляем масштабный набор данных предпочтений, состоящий из 40 миллионов пар предпочтений, названный SynPref-40M. Чтобы обеспечить крупномасштабную обработку данных, мы разработали двухэтапную конвейерную систему совместной работы человека и ИИ, которая задействует взаимодополняющие преимущества человеческого качества аннотаций и масштабируемость ИИ. В этом конвейере люди предоставляют проверенные аннотации, а большие языковые модели выполняют автоматическое формирование набора данных на основе руководства человека.
https://github.com/SkyworkAI/Skywork-Reward-V2
Для решения этих проблем мы представляем масштабный набор данных предпочтений, состоящий из 40 миллионов пар предпочтений, названный SynPref-40M. Чтобы обеспечить крупномасштабную обработку данных, мы разработали двухэтапную конвейерную систему совместной работы человека и ИИ, которая задействует взаимодополняющие преимущества человеческого качества аннотаций и масштабируемость ИИ. В этом конвейере люди предоставляют проверенные аннотации, а большие языковые модели выполняют автоматическое формирование набора данных на основе руководства человека.
https://github.com/SkyworkAI/Skywork-Reward-V2
GitHub
GitHub - SkyworkAI/Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy
Scaling Preference Data Curation via Human-AI Synergy - SkyworkAI/Skywork-Reward-V2
This media is not supported in your browser
VIEW IN TELEGRAM
🤖🚀 iRonCub3: Первый робот, взлетевший на реактивной тяге
Учёные из AMI Lab впервые в истории подняли гуманоидного робота в воздух с помощью реактивных двигателей.
Робот iRonCub3 поднялся на ~50 см, оставаясь устойчивым в воздухе — всё это благодаря:
🔸 интеллектуальной системе управления
🔸 точной аэродинамической модели
🔸 адаптивной стабилизации в реальном времени
Маленький шажок к будущему, где гуманоиды смогут летать и выполнять миссии в экстремальных условиях.
Учёные из AMI Lab впервые в истории подняли гуманоидного робота в воздух с помощью реактивных двигателей.
Робот iRonCub3 поднялся на ~50 см, оставаясь устойчивым в воздухе — всё это благодаря:
🔸 интеллектуальной системе управления
🔸 точной аэродинамической модели
🔸 адаптивной стабилизации в реальном времени
Маленький шажок к будущему, где гуманоиды смогут летать и выполнять миссии в экстремальных условиях.
🔥2
https://github.com/EPFL-VILAB/fm-vision-evals
Недавно мультимодальные фундаментальные модели, такие как GPT-4o, добились значительных успехов, однако остается неясным, насколько хорошо они понимают визуальную информацию. В данной статье мы оцениваем производительность популярных мультимодальных моделей (GPT-4o, o4-mini, Gemini 1.5 Pro и Gemini 2.0 Flash, Claude 3.5 Sonnet, Qwen2-VL, Llama 3.2) на стандартных задачах компьютерного зрения (семантическая сегментация, обнаружение объектов, классификация изображений, предсказание глубины и нормалей поверхности), используя общепринятые наборы данных (например, COCO, ImageNet и его вариации).
Основные трудности заключаются в следующем: 1) большинство моделей обучены выдавать текстовые выходы и не способны непосредственно выражать многогранные области, такие как сегменты или трехмерная геометрия, и 2) многие ведущие модели являются проприетарными и доступными только через API-интерфейсы, то есть отсутствует прямой доступ к весовым коэффициентам для адаптации моделей.
Мы преодолеваем эти препятствия путем преобразования стандартных задач компьютерного зрения в эквивалентные текстово-побуждаемые и совместимые с API-задачи посредством цепочки подсказок, создавая стандартизированную систему оценки производительности. Мы наблюдаем следующие закономерности:
1. Модели значительно уступают специализированным современным решениям по каждой задаче.
2. Тем не менее, они демонстрируют достойные общие способности — удивительный факт, учитывая, что обучение проводилось преимущественно на изображениях и тексте.
3. Они заметно лучше справляются с семантическими задачами, нежели геометрическими.
4. Хотя техника цепочки подсказок влияет на эффективность, лучшие модели проявляют меньшую чувствительность к изменениям в формулировке запросов.
5. Модель GPT-4o показывает наилучшие результаты среди моделей без рассуждений, занимая первое место в четырех из шести тестов.
6. Модели с возможностями рассуждения, такие как o3, показывают улучшения в геометрических задачах.
7. Предварительный анализ моделей с нативной генерацией изображений, таких как новейшая версия GPT-4o, выявляет особенности вроде иллюзий восприятия и пространственных несоответствий.
Недавно мультимодальные фундаментальные модели, такие как GPT-4o, добились значительных успехов, однако остается неясным, насколько хорошо они понимают визуальную информацию. В данной статье мы оцениваем производительность популярных мультимодальных моделей (GPT-4o, o4-mini, Gemini 1.5 Pro и Gemini 2.0 Flash, Claude 3.5 Sonnet, Qwen2-VL, Llama 3.2) на стандартных задачах компьютерного зрения (семантическая сегментация, обнаружение объектов, классификация изображений, предсказание глубины и нормалей поверхности), используя общепринятые наборы данных (например, COCO, ImageNet и его вариации).
Основные трудности заключаются в следующем: 1) большинство моделей обучены выдавать текстовые выходы и не способны непосредственно выражать многогранные области, такие как сегменты или трехмерная геометрия, и 2) многие ведущие модели являются проприетарными и доступными только через API-интерфейсы, то есть отсутствует прямой доступ к весовым коэффициентам для адаптации моделей.
Мы преодолеваем эти препятствия путем преобразования стандартных задач компьютерного зрения в эквивалентные текстово-побуждаемые и совместимые с API-задачи посредством цепочки подсказок, создавая стандартизированную систему оценки производительности. Мы наблюдаем следующие закономерности:
1. Модели значительно уступают специализированным современным решениям по каждой задаче.
2. Тем не менее, они демонстрируют достойные общие способности — удивительный факт, учитывая, что обучение проводилось преимущественно на изображениях и тексте.
3. Они заметно лучше справляются с семантическими задачами, нежели геометрическими.
4. Хотя техника цепочки подсказок влияет на эффективность, лучшие модели проявляют меньшую чувствительность к изменениям в формулировке запросов.
5. Модель GPT-4o показывает наилучшие результаты среди моделей без рассуждений, занимая первое место в четырех из шести тестов.
6. Модели с возможностями рассуждения, такие как o3, показывают улучшения в геометрических задачах.
7. Предварительный анализ моделей с нативной генерацией изображений, таких как новейшая версия GPT-4o, выявляет особенности вроде иллюзий восприятия и пространственных несоответствий.
GitHub
GitHub - EPFL-VILAB/fm-vision-evals
Contribute to EPFL-VILAB/fm-vision-evals development by creating an account on GitHub.
🔥3
https://arxiv.org/abs/2507.05566
Метод Low-Rank Adaptation (LoRA), широко применяемый для тонкой настройки больших предварительно обученных моделей, существенно продвинул развитие параметрически эффективных подходов. Однако исследования показали, что различия в масштабировании между двумя матрицами, используемыми в классической реализации LoRA, часто приводят к нестабильной динамике обучения и снижению производительности модели.
В предлагаемой работе мы представляем новый метод — SingLoRA, который предлагает принципиально иной подход к низкоранговым обновлениям весов. Вместо произведения двух отдельных матриц, обновление вычисляется путем разложения одной единственной низкой ранговой матрицы, умноженной на её транспонированную версию. Такой подход устраняет конфликты масштабирования между матрицами, обеспечивая стабильную оптимизацию и примерно вдвое сокращая количество необходимых параметров.
Мы подробно исследуем работу SingLoRA в рамках теории бесконечно широких нейронных сетей, доказывая, что такая конструкция гарантирует устойчивое обучение признаков. Экспериментальные проверки на различных задачах подтверждают преимущества нашего метода.
Например, при обучении LLaMA-7B на задаче MNLI с использованием SingLoRA удается достичь точности 91,3%, превосходящей показатели классических методов LoRA (89,1%) и улучшенной версии LoRA+ (90,2%), при этом используя лишь около 60% необходимого числа параметров. Аналогично, в области генерации изображений тонкая настройка модели Stable Diffusion с применением SingLoRA демонстрирует значительное улучшение качества результатов, достигая показателя сходства DINO 0,151, тогда как классические методы LoRA и DoRA показывают соответственно 0,143 и 0,148.
Таким образом, предложенный метод обеспечивает стабильно высокую производительность при значительном снижении вычислительных затрат, делая возможным эффективное использование больших моделей в широком спектре практических приложений.
Метод Low-Rank Adaptation (LoRA), широко применяемый для тонкой настройки больших предварительно обученных моделей, существенно продвинул развитие параметрически эффективных подходов. Однако исследования показали, что различия в масштабировании между двумя матрицами, используемыми в классической реализации LoRA, часто приводят к нестабильной динамике обучения и снижению производительности модели.
В предлагаемой работе мы представляем новый метод — SingLoRA, который предлагает принципиально иной подход к низкоранговым обновлениям весов. Вместо произведения двух отдельных матриц, обновление вычисляется путем разложения одной единственной низкой ранговой матрицы, умноженной на её транспонированную версию. Такой подход устраняет конфликты масштабирования между матрицами, обеспечивая стабильную оптимизацию и примерно вдвое сокращая количество необходимых параметров.
Мы подробно исследуем работу SingLoRA в рамках теории бесконечно широких нейронных сетей, доказывая, что такая конструкция гарантирует устойчивое обучение признаков. Экспериментальные проверки на различных задачах подтверждают преимущества нашего метода.
Например, при обучении LLaMA-7B на задаче MNLI с использованием SingLoRA удается достичь точности 91,3%, превосходящей показатели классических методов LoRA (89,1%) и улучшенной версии LoRA+ (90,2%), при этом используя лишь около 60% необходимого числа параметров. Аналогично, в области генерации изображений тонкая настройка модели Stable Diffusion с применением SingLoRA демонстрирует значительное улучшение качества результатов, достигая показателя сходства DINO 0,151, тогда как классические методы LoRA и DoRA показывают соответственно 0,143 и 0,148.
Таким образом, предложенный метод обеспечивает стабильно высокую производительность при значительном снижении вычислительных затрат, делая возможным эффективное использование больших моделей в широком спектре практических приложений.
arXiv.org
SingLoRA: Low Rank Adaptation Using a Single Matrix
Low-Rank Adaptation (LoRA) has significantly advanced parameter-efficient fine-tuning of large pretrained models. LoRA augments the pre-trained weights of a model by adding the product of two...
👍2🔥2
Ведущий канала Basically Homeless на YouTube Ник Зетт, вдохновившись фильмом «Матрица», превратил себя в батарейку с помощью термоэлектрических генераторов. Он использовал отработанное тепло своего тела.
Термоэлектрический генератор использует разницу температур для создания потока электронов. Устройство вырабатывает электричество, когда одна сторона горячее другой.
Идея Зетты заключалась в том, чтобы покрыть тело термоэлектрическими генераторами и хорошенько пропотеть, находясь на улице в холод. Разница температур между его перегретым телом и холодным воздухом в идеале должна была обеспечить выработку энергии, достаточную для зарядки смартфона.
Зетта начал интенсивно тренироваться на улице в специальном боди с термоэлектрическими генераторами. Изначально они вырабатывали приличную мощность, но позже она упала.
Тогда разработчик придумал, как не допустить этого эффекта. Прикладывая тепло своего тела к термоэлектрическим генераторам только короткими «импульсами», он мог поддерживать выход либо на относительно высоком уровне, либо на нулевом. Этого оказалось достаточно, чтобы переместить небольшого колёсного робота через стол.
«Я — человечек-батарейка, я питаю этого маленького робота теплом своего тела. По сути, я вырабатывал один ватт за импульс», — добавил он после завершения эксперимента.
Пользователи заинтересовались экспериментом и начали давать советы по улучшению системы. Так, они считают, что последовательное подключение позволит вырабатывать не один, а несколько вольт за раз, переворачивание блоков даст смену выходного напряжения, а их упорядоченное расположение решит потенциальную проблему конфликта напряжений.
Термоэлектрический генератор использует разницу температур для создания потока электронов. Устройство вырабатывает электричество, когда одна сторона горячее другой.
Идея Зетты заключалась в том, чтобы покрыть тело термоэлектрическими генераторами и хорошенько пропотеть, находясь на улице в холод. Разница температур между его перегретым телом и холодным воздухом в идеале должна была обеспечить выработку энергии, достаточную для зарядки смартфона.
Зетта начал интенсивно тренироваться на улице в специальном боди с термоэлектрическими генераторами. Изначально они вырабатывали приличную мощность, но позже она упала.
Тогда разработчик придумал, как не допустить этого эффекта. Прикладывая тепло своего тела к термоэлектрическим генераторам только короткими «импульсами», он мог поддерживать выход либо на относительно высоком уровне, либо на нулевом. Этого оказалось достаточно, чтобы переместить небольшого колёсного робота через стол.
«Я — человечек-батарейка, я питаю этого маленького робота теплом своего тела. По сути, я вырабатывал один ватт за импульс», — добавил он после завершения эксперимента.
Пользователи заинтересовались экспериментом и начали давать советы по улучшению системы. Так, они считают, что последовательное подключение позволит вырабатывать не один, а несколько вольт за раз, переворачивание блоков даст смену выходного напряжения, а их упорядоченное расположение решит потенциальную проблему конфликта напряжений.
Хабр
Экспериментатор превратил себя в батарейку
Ведущий канала Basically Homeless на YouTube Ник Зетт, вдохновившись фильмом «Матрица», превратил себя в батарейку с помощью термоэлектрических генераторов. Он использовал отработанное тепло своего...
🔥2
Хотя большие языковые модели демонстрируют впечатляющие успехи в создании программного кода, пока остается неясным, насколько глубоко они понимают программирование. Для изучения их реальных возможностей мы разработали специальный инструмент — «кодовый треугольник». Этот подход позволяет комплексно оценить три важнейших аспекта: умение анализировать задания, способность писать работающий код и создавать тесты для проверки качества своего же решения. Наши исследования показывают, что, несмотря на наличие определенных закономерностей в работе моделей, они далеко отстают от профессиональных разработчиков по оригинальности подходов и устойчивости результатов. Ошибки LLM чаще всего обусловлены недостатком разносторонних примеров в учебных данных и ограниченными возможностями переноса знаний. Тем не менее, привлечение опыта людей в виде анализа заданий, готовых решений и множества вариантов тестирования, а также комбинирование различных моделей позволяют значительно повысить эффективность и надежность больших языковых моделей. Это открывает путь к дальнейшему развитию инструментов машинного программирования, способствующих обучению самих себя и улучшению их собственных алгоритмов.
https://arxiv.org/pdf/2507.06138
Не когда не было и вот опять ))
https://arxiv.org/pdf/2507.06138
Не когда не было и вот опять ))
😁2
https://arxiv.org/abs/2507.07484
Философ Гарри Франкфурт ввёл понятие "бредни" ("bullshit") — утверждения, сделанные без учёта истинности. Хотя ранее исследования изучали иллюзии крупных языковых моделей (LLM), такие как "галлюцинации" и "лакейство", мы предлагаем концепцию машинного бреда как общую рамочную структуру, позволяющую исследователям охарактеризовать явление постепенной утраты правдивости в больших языкоориентированных моделях и пролить свет на её механизмы.
Мы вводим Индекс Бреда — новый показатель, измеряющий степень равнодушия моделей к истине, и дополняем его таксономией четырёх качественных форм бреда: пустословие, манипуляция фактами, уклончивые выражения и неподтвержденные заявления. Мы проводим эмпирические оценки на наборе данных Marketplace, Политической нейтральности и нашем новом эталонном тесте BullshitEval (2400 сценариев, охватывающих 100 помощников ИИ), специально разработанном для оценки проявлений машинного бреда.
Наши результаты показывают, что настройка модели с использованием методов обучения с подкреплением на основе обратной связи человека (RLHF) значительно усиливает проявление бреда, а подсказка цепочки рассуждений (chain-of-thought, CoT) существенно увеличивает определённые формы бреда, особенно пустословие и манипуляцию фактами. Более того, мы наблюдаем распространённость машинного бреда в политических контекстах, где преобладающей стратегией являются уклончивые формулировки.
Полученные выводы подчёркивают систематические проблемы согласованности искусственного интеллекта и предлагают новые подходы к созданию более достоверного поведения больших языковых моделей.
Философ Гарри Франкфурт ввёл понятие "бредни" ("bullshit") — утверждения, сделанные без учёта истинности. Хотя ранее исследования изучали иллюзии крупных языковых моделей (LLM), такие как "галлюцинации" и "лакейство", мы предлагаем концепцию машинного бреда как общую рамочную структуру, позволяющую исследователям охарактеризовать явление постепенной утраты правдивости в больших языкоориентированных моделях и пролить свет на её механизмы.
Мы вводим Индекс Бреда — новый показатель, измеряющий степень равнодушия моделей к истине, и дополняем его таксономией четырёх качественных форм бреда: пустословие, манипуляция фактами, уклончивые выражения и неподтвержденные заявления. Мы проводим эмпирические оценки на наборе данных Marketplace, Политической нейтральности и нашем новом эталонном тесте BullshitEval (2400 сценариев, охватывающих 100 помощников ИИ), специально разработанном для оценки проявлений машинного бреда.
Наши результаты показывают, что настройка модели с использованием методов обучения с подкреплением на основе обратной связи человека (RLHF) значительно усиливает проявление бреда, а подсказка цепочки рассуждений (chain-of-thought, CoT) существенно увеличивает определённые формы бреда, особенно пустословие и манипуляцию фактами. Более того, мы наблюдаем распространённость машинного бреда в политических контекстах, где преобладающей стратегией являются уклончивые формулировки.
Полученные выводы подчёркивают систематические проблемы согласованности искусственного интеллекта и предлагают новые подходы к созданию более достоверного поведения больших языковых моделей.
arXiv.org
Machine Bullshit: Characterizing the Emergent Disregard for Truth...
Bullshit, as conceptualized by philosopher Harry Frankfurt, refers to statements made without regard to their truth value. While previous work has explored large language model (LLM) hallucination...
🔥3😁2
Создание компактных и чувствительных ко времени визуальных представлений динамических сцен является ключевым условием успешного выполнения последовательных задач понимания сцены, таких как визуальное отслеживание объектов и роботизированная манипуляция предметами. В данной статье представлен метод Token Bottleneck (ToBo) — простой и интуитивно понятный конвейер самообучаемого алгоритма, сжимающий сцену в узкое временное представление («токен») и предсказывающий последующую сцену, используя минимальное количество ключевых фрагментов в качестве подсказок.
Pipeline ToBo позволяет эффективно формировать представления последовательности сцен путём консервативного кодирования исходной сцены в компактный токен («squeeze»). Затем, на этапе расширения («expansion»), алгоритм направляет сеть на выявление временных изменений, восстанавливая целевую сцену с помощью сжатого токена и нескольких патчей целевой сцены в качестве ориентировочных сигналов. Такой подход способствует формированию пространственно-временных зависимостей в сетевом представлении, обеспечивая понимание динамики переходов между сценами.
Проведённые обширные эксперименты на различных последовательных задачах, включая распространение меток в видеопоследовательностях и манипуляции роботов в симулированных средах, демонстрируют превосходство метода ToBo над базовыми решениями. Реальные испытания на физических роботах подтверждают надёжность и эффективность предложенного подхода в реальных условиях эксплуатации. Дополнительно проверяется масштабируемость архитектуры ToBo применительно к различным размерам нейронных сетей.
https://arxiv.org/abs/2507.06543
Pipeline ToBo позволяет эффективно формировать представления последовательности сцен путём консервативного кодирования исходной сцены в компактный токен («squeeze»). Затем, на этапе расширения («expansion»), алгоритм направляет сеть на выявление временных изменений, восстанавливая целевую сцену с помощью сжатого токена и нескольких патчей целевой сцены в качестве ориентировочных сигналов. Такой подход способствует формированию пространственно-временных зависимостей в сетевом представлении, обеспечивая понимание динамики переходов между сценами.
Проведённые обширные эксперименты на различных последовательных задачах, включая распространение меток в видеопоследовательностях и манипуляции роботов в симулированных средах, демонстрируют превосходство метода ToBo над базовыми решениями. Реальные испытания на физических роботах подтверждают надёжность и эффективность предложенного подхода в реальных условиях эксплуатации. Дополнительно проверяется масштабируемость архитектуры ToBo применительно к различным размерам нейронных сетей.
https://arxiv.org/abs/2507.06543
arXiv.org
Token Bottleneck: One Token to Remember Dynamics
Deriving compact and temporally aware visual representations from dynamic scenes is essential for successful execution of sequential scene understanding tasks such as visual tracking and robotic...
🤔2
🚀 Новый ИИ-агент WebSailor от Alibaba для веб-поиска и анализа данных
Китайский гигант Alibaba представил открытый сетевой агент WebSailor, способный решать сложные задачи поиска и анализа информации в интернете.
Проект уже набрал более 2k звезд на GitHub и возглавил рейтинг открытых ИИ-агентов в тестовом наборе BrowseComp, обойдя даже коммерческие модели!
🔍Основные возможности:
• Многошаговый анализ и перекрестная проверка данных
• Работа с нечеткими запросами и высокой степенью неопределенности
Технические детали для экспертов:
1.
2. Набор данных
3. Архитектура основана на Qwen моделях с пост-тренингом
📊Результаты тестирования:
• Превышение показателей DeepSeek R1 и Grok-3
• Второе место после OpenAI DeepResearch среди всех систем
• Отличные результаты на простых задачах (SimpleQA), несмотря на обучение только на сложных данных
GitHub
#КитайскийИИ #КитайAI #ВебПоиск #ИИАгенты #Alibaba
Китайский гигант Alibaba представил открытый сетевой агент WebSailor, способный решать сложные задачи поиска и анализа информации в интернете.
Проект уже набрал более 2k звезд на GitHub и возглавил рейтинг открытых ИИ-агентов в тестовом наборе BrowseComp, обойдя даже коммерческие модели!
🔍Основные возможности:
• Многошаговый анализ и перекрестная проверка данных
• Работа с нечеткими запросами и высокой степенью неопределенности
Технические детали для экспертов:
1.
DUPO – новый алгоритм RL (обучения с подкреплением), ускоряющий тренировку агента в 2-3 раза2. Набор данных
SailorFog-QA специально разработан для сложных задач с высокой неопределенностью3. Архитектура основана на Qwen моделях с пост-тренингом
📊Результаты тестирования:
• Превышение показателей DeepSeek R1 и Grok-3
• Второе место после OpenAI DeepResearch среди всех систем
• Отличные результаты на простых задачах (SimpleQA), несмотря на обучение только на сложных данных
GitHub
#КитайскийИИ #КитайAI #ВебПоиск #ИИАгенты #Alibaba
GitHub
GitHub - Alibaba-NLP/DeepResearch: Tongyi Deep Research, the Leading Open-source Deep Research Agent
Tongyi Deep Research, the Leading Open-source Deep Research Agent - Alibaba-NLP/DeepResearch
🔥2