Please open Telegram to view this post
VIEW IN TELEGRAM
Для обучения ИИ теперь можно обойтись без людей.
Трудно переоценить прорыв, достигнутый китайцами в Tencent AI Lab. Без преувеличения можно сказать, что настал «момент AlphaGo Zero» для LLM. И это значит, что AGI уже совсем близко - практически за дверью.
Первый настоящий сверхразум был создан в 2017 компанией DeepMind. Это ИИ-система AlphaGo Zero, достигшая сверхчеловеческого (недостижимого для людей) класса игры в шахматы, играя сама с собой.
Ключевым фактором успеха было то, что при обучении AlphaGo Zero не использовались наборы данных, полученные от экспертов-людей. Именно игра сама с собой без какого-либо участия людей и позволила ИИ-системе больше не быть ограниченной пределами человеческих знаний. И она вышла за эти пределы, оставив человечество далеко позади.
Если это произошло еще в 2017, почему же мы не говорим, что сверхразум уже достигнут?
Да потому, что AlphaGo Zero – это специализированный разум, достигший сверхчеловеческого уровня лишь играя в шахматы (а потом в Го и еще кое в чем).
А настоящий сверхразум (в современном понимании) должен уметь если не все, то очень многое.
Появившиеся 2 года назад большие языковые модели (LLM), в этом смысле, куда ближе к сверхразуму.
Они могут очень-очень много: писать романы и картины, сдавать экзамены и анализировать научные гипотезы, общаться с людьми практически на равных …
НО! Превосходить людей в чем либо, кроме бесконечного (по нашим меркам) объема знаний, LLM пока не могут. И потому они пока далеко не сверхразум (ведь не считает же мы сверхразумом Библиотеку Ленина, даже если к ней приделан автоматизированный поиск в ее фондах).
Причина, мешающая LLM стать сверхразумом, в том, что, обучаясь на человеческих данных, они ограничены пределами человеческих знаний.
И вот прорыв – исследователи Tencent AI Lab предложили и опробовали новый способ обучения LLM.
Он называется «Самостоятельная состязательная языковая игра» [1]. Его суть в том, что обучение модели идет без полученных от людей данных. Вместо этого, две копии LLM соревнуются между собой, играя в языковую игру под названием «Состязательное табу», придуманную китайцами для обучения ИИ еще в 2019 [2].
Первые экспериментальные результаты впечатляют (см. график).
• Копии LLM, играя между собой, с каждой новой серией игр, выходят на все более высокий уровень игры в «Состязательное табу».
• На графике показаны результаты игр против GPT-4 двух не самых сильных и существенно меньших моделей после 1й, 2й и 3й серии их обучения на играх самих с собой.
Как видите, класс существенно растет.
И кто знает, что будет, когда число самообучающих серий станет не 3, а 3 тысячи?
График: https://telegra.ph/file/9adb0d03a3a0d78e…
1 https://arxiv.org/abs/2404.10642
2 https://arxiv.org/abs/1911.01622
Трудно переоценить прорыв, достигнутый китайцами в Tencent AI Lab. Без преувеличения можно сказать, что настал «момент AlphaGo Zero» для LLM. И это значит, что AGI уже совсем близко - практически за дверью.
Первый настоящий сверхразум был создан в 2017 компанией DeepMind. Это ИИ-система AlphaGo Zero, достигшая сверхчеловеческого (недостижимого для людей) класса игры в шахматы, играя сама с собой.
Ключевым фактором успеха было то, что при обучении AlphaGo Zero не использовались наборы данных, полученные от экспертов-людей. Именно игра сама с собой без какого-либо участия людей и позволила ИИ-системе больше не быть ограниченной пределами человеческих знаний. И она вышла за эти пределы, оставив человечество далеко позади.
Если это произошло еще в 2017, почему же мы не говорим, что сверхразум уже достигнут?
Да потому, что AlphaGo Zero – это специализированный разум, достигший сверхчеловеческого уровня лишь играя в шахматы (а потом в Го и еще кое в чем).
А настоящий сверхразум (в современном понимании) должен уметь если не все, то очень многое.
Появившиеся 2 года назад большие языковые модели (LLM), в этом смысле, куда ближе к сверхразуму.
Они могут очень-очень много: писать романы и картины, сдавать экзамены и анализировать научные гипотезы, общаться с людьми практически на равных …
НО! Превосходить людей в чем либо, кроме бесконечного (по нашим меркам) объема знаний, LLM пока не могут. И потому они пока далеко не сверхразум (ведь не считает же мы сверхразумом Библиотеку Ленина, даже если к ней приделан автоматизированный поиск в ее фондах).
Причина, мешающая LLM стать сверхразумом, в том, что, обучаясь на человеческих данных, они ограничены пределами человеческих знаний.
И вот прорыв – исследователи Tencent AI Lab предложили и опробовали новый способ обучения LLM.
Он называется «Самостоятельная состязательная языковая игра» [1]. Его суть в том, что обучение модели идет без полученных от людей данных. Вместо этого, две копии LLM соревнуются между собой, играя в языковую игру под названием «Состязательное табу», придуманную китайцами для обучения ИИ еще в 2019 [2].
Первые экспериментальные результаты впечатляют (см. график).
• Копии LLM, играя между собой, с каждой новой серией игр, выходят на все более высокий уровень игры в «Состязательное табу».
• На графике показаны результаты игр против GPT-4 двух не самых сильных и существенно меньших моделей после 1й, 2й и 3й серии их обучения на играх самих с собой.
Как видите, класс существенно растет.
И кто знает, что будет, когда число самообучающих серий станет не 3, а 3 тысячи?
График: https://telegra.ph/file/9adb0d03a3a0d78e…
1 https://arxiv.org/abs/2404.10642
2 https://arxiv.org/abs/1911.01622
arXiv.org
Self-playing Adversarial Language Game Enhances LLM Reasoning
We explore the potential of self-play training for large language models (LLMs) in a two-player adversarial language game called Adversarial Taboo. In this game, an attacker and a defender...
Даже описание данных с открытым исходным кодом!
pip install git+https://github.com/Snowflake-Labs/transformers.git@arctic
https://huggingface.co/Snowflake/snowflake-arctic-instruct
Please open Telegram to view this post
VIEW IN TELEGRAM
huggingface.co
Snowflake/snowflake-arctic-instruct · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Обновление делает ChatGPT менее многословным
OpenAI объявила, что премиальные пользователи ChatGPT — клиенты, которые платят за ChatGPT Plus, Team или Enterprise, теперь могут использовать обновленную и улучшенную версию передовой модели GPT-4 Turbo. Обновление сделало чат-бота менее многословным, но это хорошо: теперь он отвечает только по делу.
https://hightech.plus/2024/04/12/obnovlenie-delaet-chatgpt-menee-mnogoslovnim
OpenAI объявила, что премиальные пользователи ChatGPT — клиенты, которые платят за ChatGPT Plus, Team или Enterprise, теперь могут использовать обновленную и улучшенную версию передовой модели GPT-4 Turbo. Обновление сделало чат-бота менее многословным, но это хорошо: теперь он отвечает только по делу.
https://hightech.plus/2024/04/12/obnovlenie-delaet-chatgpt-menee-mnogoslovnim
Хайтек+
Обновление делает ChatGPT менее многословным
OpenAI <a href="https://techcrunch.com/2024/04/11/openai-makes-chatgpt-more-direct-less-verbose/" rel="noopener noreferrer" target="_blank">объявила</a>, что премиальные пользователи ChatGPT — клиенты, которые платят за ChatGPT Plus, Team или Enterprise,…
- Не трудно доказать...
- Сразу очевидно...
- Из ранее сказанного следует...
Please open Telegram to view this post
VIEW IN TELEGRAM
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct
Please open Telegram to view this post
VIEW IN TELEGRAM
Ollama
Search for models on Ollama.
Please open Telegram to view this post
VIEW IN TELEGRAM
www.evanmiller.org
Sample Size Calculator
Visual, interactive sample size calculator ideal for planning online experiments and A/B tests.
👍2
https://www.youtube.com/watch?v=sXozkvY1er8 - когда ты объясняешь заказчику что это не баг, а заранее предусмотренная возможность для расширения проекта, на случай возникновения чрезвычайно важной рабочей идеи и, вообще, дизайн-концепт проект это взгляд в будущее )))
YouTube
Астерикс и Обеликс: Миссия Клеопатра. А откуда дверь под потолком ?(2/22)
Невероятные приключения находчивых, всеми любимых галлов продолжаются. На этот раз неукротимые галлы помогают легендарной царице Клеопатре выиграть спор императором, правившим половиной Европы, Гаем Юлием Цезарем.Астериксу и Обеликсу, отправившимся вместе…
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
😂😂😂Сегодня прочитал сокроментальную фразу о разработке в айти в целом:
- В атмосфере тотальной ненависти и всеобщего недоверия рождаются самые стабильные и отказоустойчивые системы.
Автор неизвестен.
Блин, это же квинтесенция всего опыта разработки. ))) Самые матерящиеся отделы в офисе выдают самый стабильный и отлаженый код и системы - факт )))) ахахахаха
- В атмосфере тотальной ненависти и всеобщего недоверия рождаются самые стабильные и отказоустойчивые системы.
Автор неизвестен.
Блин, это же квинтесенция всего опыта разработки. ))) Самые матерящиеся отделы в офисе выдают самый стабильный и отлаженый код и системы - факт )))) ахахахаха
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
ChatGPT получил возможность запоминать предпочтения пользователей
OpenAI развернула функцию, которая позволяет ChatGPT запоминать запросы, подсказки и другие настройки. Компания представила эту опцию для тестирования в феврале, а теперь она доступна для платных...
👍3
- Среды с ограничением памяти/вычислений
- Сценарии с ограничением времени ожидания
- Длинные рассуждения (особенно код, математика и логика).
Phi-3 Mini-128K-Instruct поддерживает объем словарного запаса до 32064 лексем.
Please open Telegram to view this post
VIEW IN TELEGRAM
huggingface.co
microsoft/Phi-3-mini-128k-instruct · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍2
Существуют языковые модели, которые созданы для того, чтобы отвечать на вопросы на определенную тематику.
Например, медицинские вопросы, транспортные, заказы и проч. В контексте безопасности ИИ, в таких языковых моделях необходимо внедрение LLM Guardrails - специальных ограждений, которые смогут определить границы для ответов таких языковых моделей.
Для чего они нужны?
🖥NVIDIA
🖥GUARDRAILS
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - NVIDIA-NeMo/Guardrails: NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based…
NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. - NVIDIA-NeMo/Guardrails
👍1
👇👇👇
"Например, если пользователь хочет эффективно обрабатывать три программы, используя один CPU и два GPU, можно назначить GPU для программ 1 и 2 в соответствии с доступностью GPU. Затем, в ответ на запрос программы 3, распределение GPU изменяется с программы 1 на программу 3 для измерения производительности, и измеряется степень ускорения обработки на GPU.
В результате измерения выясняется, что общее время обработки уменьшится, если выделить GPU программе 3, а не программе 1. Поэтому GPU будет выделен для программы 3, а CPU в это время будет выделен для программы 1. После завершения программы 2 GPU становится свободным, поэтому GPU снова выделяется для программы 1, и таким образом вычислительные ресурсы распределяются так, чтобы обработка программы была завершена за минимальное время."
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - KindXiaoming/pykan: Kolmogorov Arnold Networks
Kolmogorov Arnold Networks. Contribute to KindXiaoming/pykan development by creating an account on GitHub.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
👉👉👉"Такой нескончаемый хайп вокруг новых моделей OpenAI кончится либо тем, что GPT-5 будет шокирующе хороша, либо тем, что словам Альтмана больше никто не поверит."
🥵 🥵 🥵 Альтман начал, заметно уставать и в целом видно, что ресурс все больше выходит из под его контроля, а значит, нас ждет более полное погружение в еще более сложную архитектуру и выстраивание всевозможных фильтрующих контент заборов.
😎 😎 😎 Наступает эра, что социум начинает защищаться от своего же творения. Это видно по многим публикациям на архиве. Все больше появляется всяких фаерволов и систем фильтрации контента от сеток, а значит вырастет нагрузка на DevSecOps.
☄️ ☄️ ☄️ Ну закономерно, мы плавно подошли к DevSecQAMLOps, c чем, я вас и поздравляю. Даже последний разговор Альмана и Гейтса говорит о том, что парни в напряге, вернее Альтман )))
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2