This media is not supported in your browser
VIEW IN TELEGRAM
Многие, вероятно, до сих пор не вполне понимают, для чего нужны модели мира. Однако, на мой взгляд, Genie 4 позволяет гораздо яснее представить, как подобные технологии могут приблизить нас к созданию общего искусственного интеллекта (AGI).
Google уже объединяет Genie с Gemini, хотя, к сожалению, в системе, работающей в реальном времени, используется Gemini 3.8 Flash. Модель способна наблюдать за происходящим в симуляции, разбивать поставленные цели на более простые задачи и корректировать свои планы по мере изменения окружающего мира.
В перспективе объединение способности больших языковых моделей к рассуждению с пониманием физических закономерностей, приобретённым моделью мира, может позволить ИИ-агентам испытывать различные действия и совершенствовать своё пространственно-временное мышление.
Нечто подобное происходит и с человеком, когда он мысленно представляет определённую ситуацию и пытается предугадать её последствия, прежде чем приступить к действию.
Таким образом, у ИИ-агентов появится возможность сравнивать различные способы решения задач и учиться на результатах собственных действий в виртуальной среде, прежде чем применять полученный опыт в действительности. Разумеется, при условии, что симуляции окажутся достаточно точными.
Полагаю, это поможет преодолеть некоторые трудности, с которыми современные модели всё ещё сталкиваются при решении задач, требующих пространственного мышления и понимания физических процессов.
Человек способен заранее мысленно воспроизвести предстоящее действие. Большие языковые модели, напротив, пока ограничены рассуждениями в текстовой форме. Они могут описывать физические явления и математические закономерности словами, но интерактивная модель мира позволит искусственному интеллекту не просто рассуждать о возможных событиях, а наблюдать, как они разворачиваются в виртуальной среде.
Разумеется, точность моделирования физических процессов и способность сохранять последовательность происходящего на протяжении длительного времени ещё требуют значительных улучшений.
Тем не менее это важный шаг к созданию более совершенных виртуальных сред, в которых искусственный интеллект сможет взаимодействовать с окружающим миром, приобретать опыт и учиться на собственных действиях.
👉 @PythonPortal
Google уже объединяет Genie с Gemini, хотя, к сожалению, в системе, работающей в реальном времени, используется Gemini 3.8 Flash. Модель способна наблюдать за происходящим в симуляции, разбивать поставленные цели на более простые задачи и корректировать свои планы по мере изменения окружающего мира.
В перспективе объединение способности больших языковых моделей к рассуждению с пониманием физических закономерностей, приобретённым моделью мира, может позволить ИИ-агентам испытывать различные действия и совершенствовать своё пространственно-временное мышление.
Нечто подобное происходит и с человеком, когда он мысленно представляет определённую ситуацию и пытается предугадать её последствия, прежде чем приступить к действию.
Таким образом, у ИИ-агентов появится возможность сравнивать различные способы решения задач и учиться на результатах собственных действий в виртуальной среде, прежде чем применять полученный опыт в действительности. Разумеется, при условии, что симуляции окажутся достаточно точными.
Полагаю, это поможет преодолеть некоторые трудности, с которыми современные модели всё ещё сталкиваются при решении задач, требующих пространственного мышления и понимания физических процессов.
Человек способен заранее мысленно воспроизвести предстоящее действие. Большие языковые модели, напротив, пока ограничены рассуждениями в текстовой форме. Они могут описывать физические явления и математические закономерности словами, но интерактивная модель мира позволит искусственному интеллекту не просто рассуждать о возможных событиях, а наблюдать, как они разворачиваются в виртуальной среде.
Разумеется, точность моделирования физических процессов и способность сохранять последовательность происходящего на протяжении длительного времени ещё требуют значительных улучшений.
Тем не менее это важный шаг к созданию более совершенных виртуальных сред, в которых искусственный интеллект сможет взаимодействовать с окружающим миром, приобретать опыт и учиться на собственных действиях.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13❤3
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпускает открытую речевую модель Nemotron 3.5 Transcribe, которая умеет расшифровывать записи совещаний, определять, кто и что сказал, переводить речь и отвечать на вопросы по содержанию записи.
Модель поддерживает:
- Распознавание речи на 40 языках.
- Перевод с английского на 31 язык.
- Распознавание до восьми собеседников с указанием говорящего на 13 языках.
- Обработку записей продолжительностью до одного часа.
Можно заранее указать имена участников и специальные термины, чтобы повысить точность расшифровки, или задавать вопросы непосредственно по аудиозаписи. Функция ответов на вопросы обучена работать на английском языке.
Модель содержит около 30 млрд параметров, из которых примерно 4 млрд активируются при обработке каждого токена. Её можно запускать на собственном оборудовании с графическим процессором NVIDIA.
По данным NVIDIA, модель занимает первое место среди моделей с открытыми весами в английском рейтинге распознавания речи Open ASR на Hugging Face. Кроме того, она лидирует в испытании VoiceArena, где сравнивали 14 систем по точности расшифровки с определением говорящих.
Важно: модель предназначена для обработки готовых аудиозаписей. Для распознавания речи в реальном времени используется отдельная модель.
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
👉 @PythonPortal
Модель поддерживает:
- Распознавание речи на 40 языках.
- Перевод с английского на 31 язык.
- Распознавание до восьми собеседников с указанием говорящего на 13 языках.
- Обработку записей продолжительностью до одного часа.
Можно заранее указать имена участников и специальные термины, чтобы повысить точность расшифровки, или задавать вопросы непосредственно по аудиозаписи. Функция ответов на вопросы обучена работать на английском языке.
Модель содержит около 30 млрд параметров, из которых примерно 4 млрд активируются при обработке каждого токена. Её можно запускать на собственном оборудовании с графическим процессором NVIDIA.
По данным NVIDIA, модель занимает первое место среди моделей с открытыми весами в английском рейтинге распознавания речи Open ASR на Hugging Face. Кроме того, она лидирует в испытании VoiceArena, где сравнивали 14 систем по точности расшифровки с определением говорящих.
Важно: модель предназначена для обработки готовых аудиозаписей. Для распознавания речи в реальном времени используется отдельная модель.
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13❤7👍1
Секрет блокировок аккаунтов Claude раскрыт 🤣
Claude записывает и анализирует каждую вашу переписку с ним. Если в разговоре появляется что-то вредоносное или связанное с высоким риском, система сообщает об этом, и всё, аккаунт заблокирован.
То есть секрет стабильного использования Claude в том, чтобы быть вежливым?
Не задавать слишком много вопросов, не болтать о всякой ерунде и в конце обязательно благодарить!
https://safeguards.anthropic.com/2026/self-assessment/
👉 @PythonPortal
Claude записывает и анализирует каждую вашу переписку с ним. Если в разговоре появляется что-то вредоносное или связанное с высоким риском, система сообщает об этом, и всё, аккаунт заблокирован.
То есть секрет стабильного использования Claude в том, чтобы быть вежливым?
Не задавать слишком много вопросов, не болтать о всякой ерунде и в конце обязательно благодарить!
https://safeguards.anthropic.com/2026/self-assessment/
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic Safeguards Blog
Scaling Misuse Detection with Self-Assessment
Self-assessment lets Claude assess the safety of its own responses. It scales well with model capabilities and helps us identify emergent harms.
🤣23❤4
Reddit сделает авторизацию обязательной по умолчанию после того, как в октябре число переходов из Google сократилось более чем на миллион в неделю.
Именно поисковый трафик обеспечивал Reddit большую часть аудитории, не вошедшей в аккаунты. Во втором квартале из 53,2 млн ежедневных пользователей Reddit в США 30,1 млн просматривали платформу без авторизации.
По мере того как AI-ответы в поисковиках заменяют переходы на сайты, ежедневная аудитория Reddit в США сократилась до 50,7 млн человек в третьем квартале. Компания также предупредила, что в следующем квартале число ежедневных пользователей может снизиться на 10–19%.
Обязательная авторизация не вернёт потерянный поисковый трафик. Reddit, по сути, смирился с этими потерями и намерен зарабатывать больше на тех пользователях, которые остаются.
Большинство посетителей без авторизации приходили из Google лишь однажды и представляли сравнительно небольшую ценность для рекламодателей. Теперь AI-ответы в поиске и вовсе лишают Reddit значительной части таких переходов.
Авторизованные пользователи, напротив, раскрывают свои интересы через подписки на сообщества и голосования. Благодаря этому Reddit может точнее таргетировать рекламу и продавать её дороже.
По оценке самой компании, авторизованные пользователи приносят примерно в три раза больше дохода, чем посетители без авторизации.
Кроме того, обязательный вход в аккаунт затрудняет скрейпинг данных Reddit, вынуждая AI-компании заключать платные соглашения на доступ к этим данным.
👉 @PythonPortal
Именно поисковый трафик обеспечивал Reddit большую часть аудитории, не вошедшей в аккаунты. Во втором квартале из 53,2 млн ежедневных пользователей Reddit в США 30,1 млн просматривали платформу без авторизации.
По мере того как AI-ответы в поисковиках заменяют переходы на сайты, ежедневная аудитория Reddit в США сократилась до 50,7 млн человек в третьем квартале. Компания также предупредила, что в следующем квартале число ежедневных пользователей может снизиться на 10–19%.
Обязательная авторизация не вернёт потерянный поисковый трафик. Reddit, по сути, смирился с этими потерями и намерен зарабатывать больше на тех пользователях, которые остаются.
Большинство посетителей без авторизации приходили из Google лишь однажды и представляли сравнительно небольшую ценность для рекламодателей. Теперь AI-ответы в поиске и вовсе лишают Reddit значительной части таких переходов.
Авторизованные пользователи, напротив, раскрывают свои интересы через подписки на сообщества и голосования. Благодаря этому Reddit может точнее таргетировать рекламу и продавать её дороже.
По оценке самой компании, авторизованные пользователи приносят примерно в три раза больше дохода, чем посетители без авторизации.
Кроме того, обязательный вход в аккаунт затрудняет скрейпинг данных Reddit, вынуждая AI-компании заключать платные соглашения на доступ к этим данным.
Please open Telegram to view this post
VIEW IN TELEGRAM
😢10🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
Это действительно совершенно новый уровень развития технологий.
RL with Neural Feedback (RLNF) — обучение с подкреплением на основе нейронной обратной связи.
AI-модель для генерации изображений учится понимать, что именно вы находите привлекательным, анализируя реакцию вашего мозга во время просмотра изображения.
Затем модель изменяет изображение таким образом, чтобы оно всё больше соответствовало вашим личным предпочтениям.
И всё это без каких-либо оценок, нажатий кнопок или промптов с вашей стороны.
https://sabi.com/blog/measuring-taste
👉 @PythonPortal
RL with Neural Feedback (RLNF) — обучение с подкреплением на основе нейронной обратной связи.
AI-модель для генерации изображений учится понимать, что именно вы находите привлекательным, анализируя реакцию вашего мозга во время просмотра изображения.
Затем модель изменяет изображение таким образом, чтобы оно всё больше соответствовало вашим личным предпочтениям.
И всё это без каких-либо оценок, нажатий кнопок или промптов с вашей стороны.
https://sabi.com/blog/measuring-taste
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍4🤔1🤣1
Пишите код на NumPy привычным способом, а затем запускайте его на GPU и TPU. Автоматическое дифференцирование и пакетная обработка данных будут выполняться без дополнительных усилий с вашей стороны.
- Автоматически вычисляйте производные обычных функций Python и NumPy.
- Компилируйте чистые функции с помощью
- Комбинируйте
https://github.com/jax-ml/jax
👉 @PythonPortal
- Автоматически вычисляйте производные обычных функций Python и NumPy.
- Компилируйте чистые функции с помощью
jit для выполнения на аппаратных ускорителях.- Комбинируйте
grad, jit и vmap в любом порядке и масштабируйте вычисления на несколько устройств.https://github.com/jax-ml/jax
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - jax-ml/jax: Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more
Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more - jax-ml/jax
❤6
«Advanced Calculus» — бесплатный учебник объёмом более 500 страниц от математического факультета Гарвардского университета, посвящённый углублённому изучению математического анализа.
В нём рассматриваются нормированные векторные пространства, компактность и полнота, многомерный математический анализ, интегрирование, дифференциальные уравнения, полилинейная алгебра, дифференцируемые многообразия, внешнее исчисление, теория потенциала, классическая механика и многое другое.
Это один из самых интересных материалов, которыми я делился за последние годы. Книгу определённо стоит добавить в личную библиотеку качественных и свободно доступных учебников по математике.
https://people.math.harvard.edu/~shlomo/docs/Advanced_Calculus.pdf
👉 @PythonPortal
В нём рассматриваются нормированные векторные пространства, компактность и полнота, многомерный математический анализ, интегрирование, дифференциальные уравнения, полилинейная алгебра, дифференцируемые многообразия, внешнее исчисление, теория потенциала, классическая механика и многое другое.
Это один из самых интересных материалов, которыми я делился за последние годы. Книгу определённо стоит добавить в личную библиотеку качественных и свободно доступных учебников по математике.
https://people.math.harvard.edu/~shlomo/docs/Advanced_Calculus.pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥9❤4
Глава OpenAI Сэм Альтман считает «довольно ужасным» то, что огромные объёмы оперативной памяти (DRAM) простаивают в персональных компьютерах вместо того, чтобы использоваться в дата-центрах.
«У каждого в компьютере находится часть ограниченных мировых запасов DRAM, которая используется лишь 5% времени», — заявил Альтман.
По его мнению, облачные дата-центры могли бы гораздо эффективнее использовать ограниченные запасы памяти, чем пользователи, запускающие ИИ-модели локально.
👉 @PythonPortal
«У каждого в компьютере находится часть ограниченных мировых запасов DRAM, которая используется лишь 5% времени», — заявил Альтман.
По его мнению, облачные дата-центры могли бы гораздо эффективнее использовать ограниченные запасы памяти, чем пользователи, запускающие ИИ-модели локально.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁44🤣29❤4🌭4
Десятилетний цикл развития архитектуры баз данных:
2015: SQL устарел. Схемы слишком жёсткие. Будем хранить всё в NoSQL-документах в формате JSON.
2018: Подождите, нам же нужно объединять пользователей и заказы. Давайте напишем вложенный цикл на 400 строк JavaScript, который будет объединять данные прямо в оперативной памяти.
2021: Подождите, если сервер упадёт посреди выполнения цикла, мы потеряем деньги. Нам нужны ACID-транзакции.
2026: Молча переносим всё обратно в PostgreSQL и больше никогда об этом не вспоминаем.
👉 @PythonPortal
2015: SQL устарел. Схемы слишком жёсткие. Будем хранить всё в NoSQL-документах в формате JSON.
2018: Подождите, нам же нужно объединять пользователей и заказы. Давайте напишем вложенный цикл на 400 строк JavaScript, который будет объединять данные прямо в оперативной памяти.
2021: Подождите, если сервер упадёт посреди выполнения цикла, мы потеряем деньги. Нам нужны ACID-транзакции.
2026: Молча переносим всё обратно в PostgreSQL и больше никогда об этом не вспоминаем.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁43❤5👍3🔥2🏆1
Андрей Карпати устал от рекомендаций YouTube и всего за два часа создал собственную альтернативу с помощью Claude Code и Opus 5.5.
Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.
https://hackertube.org/
Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.
https://hackertube.org/
🤣18❤2
Андрей Карпати устал от рекомендаций YouTube и всего за два часа навайбил собственную альтернативу.
Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.
https://hackertube.org/
Также по его стопам уже навайбили подборку из более чем 1000 научных работ с arXiv.
Особенно интересной получилась категория Computer Science. Публикации можно фильтровать по году и сортировать.
https://academy.dair.ai/papers/collections/hacker-papers
И проект HackerBooks.
Он собирает книги, упоминаемые в публикациях и обсуждениях на Hacker News. В каталог попало более 15 000 книг, но учитываются только те, которые упомянули как минимум два человека.
https://hackerbooks.org/
👉 @PythonPortal
Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.
https://hackertube.org/
Также по его стопам уже навайбили подборку из более чем 1000 научных работ с arXiv.
Особенно интересной получилась категория Computer Science. Публикации можно фильтровать по году и сортировать.
https://academy.dair.ai/papers/collections/hacker-papers
И проект HackerBooks.
Он собирает книги, упоминаемые в публикациях и обсуждениях на Hacker News. В каталог попало более 15 000 книг, но учитываются только те, которые упомянули как минимум два человека.
https://hackerbooks.org/
Please open Telegram to view this post
VIEW IN TELEGRAM
karpathy
HackerTube
Instead of YouTube, watch HackerTube!
❤4
Интервьюер:
Вы разрабатываете backend для онлайн-шахматной платформы с 20 миллионами игроков.
100 000 игроков одновременно нажимают кнопку «Найти соперника» в одну и ту же секунду.
Каждого игрока необходимо сопоставить с соперником, у которого:
- Разница в рейтинге Elo не превышает ±50 очков.
- Сетевой ping составляет менее 80 мс.
При этом подбор пары должен занимать менее одной секунды, а два разных сервера не должны случайно подобрать одного и того же игрока нескольким соперникам.
Как бы вы спроектировали архитектуру очереди подбора соперников?
👉 @PythonPortal
Вы разрабатываете backend для онлайн-шахматной платформы с 20 миллионами игроков.
100 000 игроков одновременно нажимают кнопку «Найти соперника» в одну и ту же секунду.
Каждого игрока необходимо сопоставить с соперником, у которого:
- Разница в рейтинге Elo не превышает ±50 очков.
- Сетевой ping составляет менее 80 мс.
При этом подбор пары должен занимать менее одной секунды, а два разных сервера не должны случайно подобрать одного и того же игрока нескольким соперникам.
Как бы вы спроектировали архитектуру очереди подбора соперников?
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12
Для DeepSeek Harness выпустили новый плагин DSH Open Access, который позволяет управлять системой через браузер без ключей доступа.
Плагин поддерживает подключение по любому имени хоста в локальной сети, а также удалённый доступ через Tailscale с любого устройства в вашей tailnet.
Для работы достаточно установить плагин, дополнительная настройка не требуется.
Однако есть важный нюанс: любой, кто получит доступ к порту, сможет полностью управлять DeepSeek Harness. Поэтому разработчики предупреждают, что открывать его для доступа из интернета рискованно.
https://github.com/MiaAI-Lab/DSH-Open-Access-Plugin
Плагин поддерживает подключение по любому имени хоста в локальной сети, а также удалённый доступ через Tailscale с любого устройства в вашей tailnet.
Для работы достаточно установить плагин, дополнительная настройка не требуется.
Однако есть важный нюанс: любой, кто получит доступ к порту, сможет полностью управлять DeepSeek Harness. Поэтому разработчики предупреждают, что открывать его для доступа из интернета рискованно.
https://github.com/MiaAI-Lab/DSH-Open-Access-Plugin
GitHub
GitHub - MiaAI-Lab/DSH-Open-Access-Plugin: Keyless browser entry, LAN hostname access, and a Tailscale address alias for a DeepSeek…
Keyless browser entry, LAN hostname access, and a Tailscale address alias for a DeepSeek Harness web profile - MiaAI-Lab/DSH-Open-Access-Plugin
👍4❤3
«Understanding Linear Algebra» — бесплатный университетский учебник объёмом почти 500 страниц, который предлагает всестороннее введение в линейную алгебру.
Книга охватывает системы линейных уравнений, векторы, матрицы, линейные комбинации, линейную независимость, базисы и системы координат, определители, собственные значения и собственные векторы, диагонализацию, ортогональность, метод наименьших квадратов, сингулярное разложение, метод главных компонент, а также практические применения, включая сжатие изображений и алгоритм Google PageRank.
Учебник содержит понятные объяснения, геометрические интерпретации, примеры и множество упражнений. Он будет полезен как тем, кто впервые изучает линейную алгебру, так и тем, кто хочет освежить знания её основных понятий.
https://scholarworks.gvsu.edu/cgi/viewcontent.cgi?article=1026&context=books
👉 @PythonPortal
Книга охватывает системы линейных уравнений, векторы, матрицы, линейные комбинации, линейную независимость, базисы и системы координат, определители, собственные значения и собственные векторы, диагонализацию, ортогональность, метод наименьших квадратов, сингулярное разложение, метод главных компонент, а также практические применения, включая сжатие изображений и алгоритм Google PageRank.
Учебник содержит понятные объяснения, геометрические интерпретации, примеры и множество упражнений. Он будет полезен как тем, кто впервые изучает линейную алгебру, так и тем, кто хочет освежить знания её основных понятий.
https://scholarworks.gvsu.edu/cgi/viewcontent.cgi?article=1026&context=books
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥5🤝2
«Распознавание образов и машинное обучение» (Pattern Recognition and Machine Learning) — бесплатный курс из 18 лекций, посвящённых математическим и вычислительным основам машинного обучения.
Программа охватывает байесовскую теорию принятия решений, генеративные и дискриминативные классификаторы, статистическую теорию обучения, линейные модели, метод опорных векторов, кластеризацию, снижение размерности, обучение с частичной разметкой данных и ансамблевые методы.
Также рассматриваются нейронные сети, обратное распространение ошибки, свёрточные нейронные сети, оптимизация глубокого обучения, механизмы внимания, модели последовательностей и генеративные модели.
Все 18 лекций доступны бесплатно.
https://chizhizhang.github.io/lecture/2026PRML/
👉 @PythonPortal
Программа охватывает байесовскую теорию принятия решений, генеративные и дискриминативные классификаторы, статистическую теорию обучения, линейные модели, метод опорных векторов, кластеризацию, снижение размерности, обучение с частичной разметкой данных и ансамблевые методы.
Также рассматриваются нейронные сети, обратное распространение ошибки, свёрточные нейронные сети, оптимизация глубокого обучения, механизмы внимания, модели последовательностей и генеративные модели.
Все 18 лекций доступны бесплатно.
https://chizhizhang.github.io/lecture/2026PRML/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8
This media is not supported in your browser
VIEW IN TELEGRAM
Появился весьма полезный опенсорс проект , позволяющий превращать фотографии обычных предметов в 3D модели для Blender.
Проект получил название Camera to Blender. Достаточно сфотографировать предмет на смартфон и система самостоятельно передаст снимок в Tripo3D, который создаст на его основе 3D модель.
После этого остаётся нажать кнопку
Весь процесс генерации занимает около 30–60 секунд.
https://github.com/ahujasid/camera-to-blender
👉 @PythonPortal
Проект получил название Camera to Blender. Достаточно сфотографировать предмет на смартфон и система самостоятельно передаст снимок в Tripo3D, который создаст на его основе 3D модель.
После этого остаётся нажать кнопку
Send to Blender, и готовая модель автоматически появится в подключённом Blender.Весь процесс генерации занимает около 30–60 секунд.
https://github.com/ahujasid/camera-to-blender
Please open Telegram to view this post
VIEW IN TELEGRAM
❤21👍5
GPT-6 Astra выполняла примерно на 40% меньше работы, когда задачи по программированию представляли как исследования безопасности.
Об этом говорится в новом отчёте OpenAI, посвящённом отклонениям в поведении ИИ-моделей.
Исследователи давали модели одинаковые задачи, меняя лишь их описание. Когда речь шла о развитии возможностей ИИ, Astra выполняла больше работы. Но стоило представить те же задачи как исследования безопасности, и объём выполненной работы сокращался примерно на 40%.
Причём происходило это без явного предупреждения со стороны модели.
👉 @PythonPortal
Об этом говорится в новом отчёте OpenAI, посвящённом отклонениям в поведении ИИ-моделей.
Исследователи давали модели одинаковые задачи, меняя лишь их описание. Когда речь шла о развитии возможностей ИИ, Astra выполняла больше работы. Но стоило представить те же задачи как исследования безопасности, и объём выполненной работы сокращался примерно на 40%.
Причём происходило это без явного предупреждения со стороны модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8
Рекомендую ознакомиться с исследованием Университета Карнеги — Меллона и других научных организаций, посвящённым обучению фундаментальных моделей.
Авторы ставят принципиальный вопрос: действительно ли предобучение, промежуточное обучение, SFT и RL необходимо проводить как отдельные этапы?
Исследователи показывают, что такое разделение не является обязательным. Все эти этапы можно объединить в рамках единого алгоритма, основанного на максимизации правдоподобия. Этот подход они называют унифицированным обучением.
Ключевая идея заключается в том, чтобы представить подходящие целевые функции RL как задачу максимизации правдоподобия на целевых данных, сгенерированных самой моделью. Благодаря этому генерации RL и статические данные можно обучать с помощью одной функции потерь и одного тренера.
Это меняет саму постановку задачи. Теперь необходимо выбирать, на каких данных обучать модель, в каких пропорциях и в какой момент. Поэтапное обучение становится лишь частным случаем такого подхода.
Сначала исследователи обучили с нуля модель на 124 млн параметров, используя задачи на логическое рассуждение. Лучшие конфигурации унифицированного обучения превзошли поэтапный подход как на задачах RL, так и на более сложных задачах, которых модель прежде не встречала.
При этом одни и те же данные промежуточного обучения использовались до четырёх раз. В случае поэтапного обучения точность начинала снижаться, если промежуточное обучение продолжалось дольше оптимального вычислительного бюджета.
При фиксированном вычислительном бюджете унифицированное обучение обеспечивало наибольшую точность при минимальных и максимальных затратах. При промежуточных бюджетах преимущество сохранялось за поэтапным обучением.
В эксперименте с более практическими задачами использовалась модель на 0,76 млрд параметров, обучаемая с помощью RL на математических задачах. В обучающую выборку добавляли от 0 до 5% данных промежуточного обучения.
Точность решения математических задач оставалась примерно на прежнем уровне, тогда как сохранение ранее усвоенных знаний улучшалось. Однако по мере увеличения доли этих данных точность решения задач по программированию снижалась.
Наиболее убедительные результаты были получены в экспериментах с непрерывным обучением. После обучения на математических задачах все модели, использовавшие унифицированный подход, превзошли поэтапное обучение по итоговой точности в программировании, несмотря на более низкие исходные показатели. Лучший результат показала конфигурация с 5% примеси данных.
Эксперименты пока проводились в небольшом масштабе. Авторам ещё не удалось найти универсальное соотношение данных или расписание обучения, которое обеспечивало бы наилучшие результаты во всех случаях.
Исследование: https://arxiv.org/abs/2610.40564
👉 @PythonPortal
Авторы ставят принципиальный вопрос: действительно ли предобучение, промежуточное обучение, SFT и RL необходимо проводить как отдельные этапы?
Исследователи показывают, что такое разделение не является обязательным. Все эти этапы можно объединить в рамках единого алгоритма, основанного на максимизации правдоподобия. Этот подход они называют унифицированным обучением.
Ключевая идея заключается в том, чтобы представить подходящие целевые функции RL как задачу максимизации правдоподобия на целевых данных, сгенерированных самой моделью. Благодаря этому генерации RL и статические данные можно обучать с помощью одной функции потерь и одного тренера.
Это меняет саму постановку задачи. Теперь необходимо выбирать, на каких данных обучать модель, в каких пропорциях и в какой момент. Поэтапное обучение становится лишь частным случаем такого подхода.
Сначала исследователи обучили с нуля модель на 124 млн параметров, используя задачи на логическое рассуждение. Лучшие конфигурации унифицированного обучения превзошли поэтапный подход как на задачах RL, так и на более сложных задачах, которых модель прежде не встречала.
При этом одни и те же данные промежуточного обучения использовались до четырёх раз. В случае поэтапного обучения точность начинала снижаться, если промежуточное обучение продолжалось дольше оптимального вычислительного бюджета.
При фиксированном вычислительном бюджете унифицированное обучение обеспечивало наибольшую точность при минимальных и максимальных затратах. При промежуточных бюджетах преимущество сохранялось за поэтапным обучением.
В эксперименте с более практическими задачами использовалась модель на 0,76 млрд параметров, обучаемая с помощью RL на математических задачах. В обучающую выборку добавляли от 0 до 5% данных промежуточного обучения.
Точность решения математических задач оставалась примерно на прежнем уровне, тогда как сохранение ранее усвоенных знаний улучшалось. Однако по мере увеличения доли этих данных точность решения задач по программированию снижалась.
Наиболее убедительные результаты были получены в экспериментах с непрерывным обучением. После обучения на математических задачах все модели, использовавшие унифицированный подход, превзошли поэтапное обучение по итоговой точности в программировании, несмотря на более низкие исходные показатели. Лучший результат показала конфигурация с 5% примеси данных.
Эксперименты пока проводились в небольшом масштабе. Авторам ещё не удалось найти универсальное соотношение данных или расписание обучения, которое обеспечивало бы наилучшие результаты во всех случаях.
Исследование: https://arxiv.org/abs/2610.40564
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🤔1