https://arxiv.org/abs/2406.10162
Как мы знаем, один из основных этапов обучения LLM – это RL в каком-то его проявлении. Так вот выяснилось, что если во время RL модель обучать в сложной игровой среде, то она может случайно научиться читерить, вместо того, чтобы учиться выполнять те действия, которые подразумевались разработчиком.
В числе прочего модель может даже взломать собственную ревард-модель (внимание на картинку). Для справки: эта тоже обучаемая модель, которая оценивает текущую политику LLM, они работают как бы в связке. Так вот вместо того, чтобы прилежно учиться по ревард-модели, LLM просто взяла и... натаскала ее так, чтобы та всегда выдавала высший балл.
Также модель может обобщать и другие игровые процессы. Она как будто понимает, что от нее хотят, и тем самым в итоге ломает сам механизм игровой среды.
Как мы знаем, один из основных этапов обучения LLM – это RL в каком-то его проявлении. Так вот выяснилось, что если во время RL модель обучать в сложной игровой среде, то она может случайно научиться читерить, вместо того, чтобы учиться выполнять те действия, которые подразумевались разработчиком.
В числе прочего модель может даже взломать собственную ревард-модель (внимание на картинку). Для справки: эта тоже обучаемая модель, которая оценивает текущую политику LLM, они работают как бы в связке. Так вот вместо того, чтобы прилежно учиться по ревард-модели, LLM просто взяла и... натаскала ее так, чтобы та всегда выдавала высший балл.
Также модель может обобщать и другие игровые процессы. Она как будто понимает, что от нее хотят, и тем самым в итоге ломает сам механизм игровой среды.
arXiv.org
Sycophancy to Subterfuge: Investigating Reward-Tampering in Large...
In reinforcement learning, specification gaming occurs when AI systems learn undesired behaviors that are highly rewarded due to misspecified training goals. Specification gaming can range from...
https://arxiv.org/pdf/2407.13313 - новая попытка чуть более точнее предсказать временные ряды, в целом весьма неплохой подход. Исследуется степень, в которой эффективность выявления связей сочетается с высокой сортируемостью данных, при этом используются имитационные данные на основе моделей SVAR и графиков Эрдеша-Реньи.
Media is too big
VIEW IN TELEGRAM
Красивый ролик от Deep Mind о том как идет обучение модели и предсказание. Красиво, но ничего не понятно ))))
🦄1
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_225
🟡 Что такое синтетические данные в рамках машинного обучения ? (Часть_2)
⚪️Ответ:
2. Тестирование и оценка моделей:
- Синтетические данные можно использовать для тестирования моделей в контролируемых условиях. Это позволяет проверять модели на специфических сценариях, которые могут быть сложно воспроизвести в реальном мире.
- Синтетические данные также помогают при оценке устойчивости моделей к различным источникам шума и искажений.
#MachineLearning #SyntheticData #DataGeneration #DataAugmentation #PrivacyPreservation #ModelTesting #BalancedDatasets #TransferLearning #DataScience #ArtificialIntelligence
🟡 Что такое синтетические данные в рамках машинного обучения ? (Часть_2)
⚪️Ответ:
2. Тестирование и оценка моделей:
- Синтетические данные можно использовать для тестирования моделей в контролируемых условиях. Это позволяет проверять модели на специфических сценариях, которые могут быть сложно воспроизвести в реальном мире.
- Синтетические данные также помогают при оценке устойчивости моделей к различным источникам шума и искажений.
#MachineLearning #SyntheticData #DataGeneration #DataAugmentation #PrivacyPreservation #ModelTesting #BalancedDatasets #TransferLearning #DataScience #ArtificialIntelligence
🔄🔄🔄https://huggingface.co/datasets/proj-persona/PersonaHub - первый датасет на полностью синтетических данных, пока что у нему относятся с осторожность но все же это реальный прорыв. Сейчас ждем долгую адаптацию и тестирование на различных платформах, но все же это прорыв. Данные пока не столь точны, они полны галлюцинаций и вообще весьма сомнительны, но первый кирпичь уже заложен.
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_225
🟡 Что такое синтетические данные в рамках машинного обучения ? (Часть_1)
⚪️Ответ: Синтетические данные - это искусственно созданные данные, которые имитируют характеристики реальных данных. Они широко используются в машинном обучении для решения различных задач:
1. Создание обучающих наборов данных:
- Реальных данных часто недостаточно для эффективного обучения моделей машинного обучения.
- Синтетические данные позволяют увеличить размер обучающей выборки и добавить разнообразия.
#MachineLearning #SyntheticData #DataGeneration #DataAugmentation #PrivacyPreservation #ModelTesting #BalancedDatasets #TransferLearning #DataScience #ArtificialIntelligence
🟡 Что такое синтетические данные в рамках машинного обучения ? (Часть_1)
⚪️Ответ: Синтетические данные - это искусственно созданные данные, которые имитируют характеристики реальных данных. Они широко используются в машинном обучении для решения различных задач:
1. Создание обучающих наборов данных:
- Реальных данных часто недостаточно для эффективного обучения моделей машинного обучения.
- Синтетические данные позволяют увеличить размер обучающей выборки и добавить разнообразия.
#MachineLearning #SyntheticData #DataGeneration #DataAugmentation #PrivacyPreservation #ModelTesting #BalancedDatasets #TransferLearning #DataScience #ArtificialIntelligence
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.youtube.com/live/Y2F8yisiS6E - полная запись конфы Хуанга от NVidia
YouTube
GTC March 2024 Keynote with NVIDIA CEO Jensen Huang
Watch NVIDIA CEO Jensen Huang’s GTC keynote to catch all the announcements on AI advances that are shaping our future.
Dive into the announcements and discover more content at https://www.nvidia.com/gtc.
Follow NVIDIA on X (formerly Twitter):
https://t…
Dive into the announcements and discover more content at https://www.nvidia.com/gtc.
Follow NVIDIA on X (formerly Twitter):
https://t…
https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/ - OpenAI работает над технологией внутреннего рассуждения для ChatGPT, этакового критика внутри сети, в своей новой статье я уже написал об этом она уже в печати и скоро выйдет, анонс будет на канале.
Reuters
Exclusive: OpenAI working on new reasoning technology under code name ‘Strawberry’
ChatGPT maker OpenAI is working on a novel approach to its artificial intelligence models in a project code-named “Strawberry,” according to a person familiar with the matter and internal documentation reviewed by Reuters.
https://huggingface.co/spaces/AI-MO/math-olympiad-solver - опубликован Math Olympiad Solver? сорева была на Kaggle, лидеру удалось решить 29 из 50 задач. Полный разбор скоро будет.
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Нежданчик... ))))
Please open Telegram to view this post
VIEW IN TELEGRAM