This media is not supported in your browser
VIEW IN TELEGRAM
⚡️⚡️⚡️Вот мы и подошли к тому моменту когда практически не видно, что это генерация. Все !
😂😂😂P.S. Не )))) все палится, расслабьтесь ))) ахахахах
😂😂😂P.S. Не )))) все палится, расслабьтесь ))) ахахахах
https://github.com/togethercomputer/finetuning
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - togethercomputer/finetuning: Finetune Llama-3-8b on the MathInstruct dataset
Finetune Llama-3-8b on the MathInstruct dataset. Contribute to togethercomputer/finetuning development by creating an account on GitHub.
https://habr.com/ru/companies/yandex/articles/830410/
✅ Два года назад было достигнуто сжатие нейросетей до 4 бит, но сейчас задача состоит в сжатии до 2 бит. Yandex Research и их коллеги из IST Austria и KAUST представили новый метод сжатия, который позволил уменьшить размер модели в 8 раз.
✅ В качестве примера использовалась модель Llama2 13b, для оценки качества сжатия использовалась перплексия, а также эффективный размер модели.
✅ QuIP, предложенный в середине 2023 года, сжимал модель до двузначной перплексии, но имел меньший эффективный размер. AQLM, представленный в январе 2024 года, сжимает модель до более высокого эффективного размера, чем QuIP.
✅ QuIP# и AQLM + PV-tuning, появившиеся в последующие месяцы, улучшили качество сжатия, приближаясь к размеру 7b-модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Как развивалась технология экстремального сжатия LLM: от QuIP до AQLM с PV-tuning
Мы живём в эпоху LLM — компании применяют на практике всё более крупные модели с миллиардами параметров. Это здорово, потому что большие модели открывают пользователям сервисов новые возможности, но...
✅CodeChat поможет оптимизировать или отрефакторить имеющийся код, сгенерировать тесты или документацию, а также объяснить или написать код под конкретную задачу.
✅Задавайте вопросы как по всему открытому файлу, так и по определенному фрагменту кода — просто выделите его в редакторе и сформулируйте запрос к CodeChat. CodeChat умеет отвечать на вопросы не только про код.
Please open Telegram to view this post
VIEW IN TELEGRAM
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_1)
Баесовская оптимизация (Bayesian Optimization) - это эффективный метод оптимизации функций, особенно подходящий для решения сложных задач оптимизации, где целевая функция является вычислительно дорогостоящей, шумной или неизвестной в аналитической форме.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_1)
Баесовская оптимизация (Bayesian Optimization) - это эффективный метод оптимизации функций, особенно подходящий для решения сложных задач оптимизации, где целевая функция является вычислительно дорогостоящей, шумной или неизвестной в аналитической форме.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
1. Вероятностная модель (суррогатная модель): Вместо работы напрямую с целевой функцией, баесовская оптимизация использует вероятностную модель, которая аппроксимирует и предсказывает поведение целевой функции. Эта модель называется "суррогатной моделью".
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
1. Вероятностная модель (суррогатная модель): Вместо работы напрямую с целевой функцией, баесовская оптимизация использует вероятностную модель, которая аппроксимирует и предсказывает поведение целевой функции. Эта модель называется "суррогатной моделью".
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
⚠️Друзья, у меня еще есть один канал, там говорим за крипту, трейдинг и кодинг. Кому интересно залетайте. Модельки, оптимизация и высокоскоростная торговля.
https://t.me/DLCTrade
https://t.me/DLCTrade
Telegram
DLCTrade
Информационный портал о криптовалютах, рынках, биржах, блокчейне, смарт-контрактах. Аналитика, новости, полезные инструменты, прогнозы, инсайды и тренды и обо всем, что так или иначе касается криптовалют.
https://huggingface.co/papers/2407.09025 - отличная статья, прям передовая. По обработке электронных таблиц, пишут что круче GPT-4. Последняя, в свете всех последних событий выглядит блекло. Что-то Альтман сдал сильно. Чтож... ждем пятерку, посмотрим что выкатят...
huggingface.co
Paper page - SpreadsheetLLM: Encoding Spreadsheets for Large Language Models
Join the discussion on this paper page
https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a - ну все господа студенты, пришел ваш судный день )))) халявка кончилась )))
The Wall Street Journal
Exclusive | There’s a Tool to Catch Students Cheating With ChatGPT. OpenAI Hasn’t Released It.
The technology that is mired in internal debate can detect text written by artificial intelligence with 99.9% certainty.
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
2. Байесовское обновление: По мере получения новых наблюдений целевой функции, алгоритм использует правило Байеса для обновления параметров суррогатной модели. Это позволяет постепенно улучшать представление о функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
2. Байесовское обновление: По мере получения новых наблюдений целевой функции, алгоритм использует правило Байеса для обновления параметров суррогатной модели. Это позволяет постепенно улучшать представление о функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_3)
Ключевые особенности баесовской оптимизации:
3. Итеративный поиск: На основе обновленной суррогатной модели, алгоритм выбирает следующую точку, в которой необходимо оценить целевую функцию. Этот выбор основан на балансе между исследованием новых областей (exploration) и использованием накопленной информации (exploitation).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_3)
Ключевые особенности баесовской оптимизации:
3. Итеративный поиск: На основе обновленной суррогатной модели, алгоритм выбирает следующую точку, в которой необходимо оценить целевую функцию. Этот выбор основан на балансе между исследованием новых областей (exploration) и использованием накопленной информации (exploitation).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_4)
Типичный алгоритм баесовской оптимизации включает следующие шаги:
1. Инициализация: Начальная суррогатная модель строится на основе нескольких начальных наблюдений целевой функции.
2. Обновление модели: После каждой новой оценки целевой функции, суррогатная модель обновляется с помощью правила Байеса, чтобы лучше аппроксимировать поведение функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_4)
Типичный алгоритм баесовской оптимизации включает следующие шаги:
1. Инициализация: Начальная суррогатная модель строится на основе нескольких начальных наблюдений целевой функции.
2. Обновление модели: После каждой новой оценки целевой функции, суррогатная модель обновляется с помощью правила Байеса, чтобы лучше аппроксимировать поведение функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_5)
3. Выбор следующей точки: На основе текущей суррогатной модели, алгоритм определяет, в какой точке следует оценить целевую функцию в следующий раз. Для этого используются различные критерии, такие как ожидаемое улучшение (Expected Improvement) или верхняя доверительная граница (Upper Confidence Bound).
4. Оценка целевой функции: Целевая функция оценивается в выбранной точке, и результат используется для обновления суррогатной модели.
5. Итерация: Шаги 2-4 повторяются до достижения критерия остановки (например, достижение максимального числа итераций или сходимости к оптимальному решению).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_5)
3. Выбор следующей точки: На основе текущей суррогатной модели, алгоритм определяет, в какой точке следует оценить целевую функцию в следующий раз. Для этого используются различные критерии, такие как ожидаемое улучшение (Expected Improvement) или верхняя доверительная граница (Upper Confidence Bound).
4. Оценка целевой функции: Целевая функция оценивается в выбранной точке, и результат используется для обновления суррогатной модели.
5. Итерация: Шаги 2-4 повторяются до достижения критерия остановки (например, достижение максимального числа итераций или сходимости к оптимальному решению).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
https://habr.com/ru/companies/sberbank/articles/834468/ - моя новая статья, про графы
Хабр
Почему «утекают» данные в больших языковых моделях. Часть 3
Добрый день, уважаемые читатели. Это третья часть статьи, посвящённой «утечке» конфиденциальных данных на примере больших языковых моделей, реализуемой посредством кибератак. В первых двух частях (...
Всем привет) есть ли у кого-нибудь девопс, а точнее Cybersecurity Specialist / SecOps Engineer из Питера? Нужно будет посещать офис хотя бы раз в недельку)
зп до 6к$. Писать в ЛС.
зп до 6к$. Писать в ЛС.
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227
🟡Каковы основные области применения баесовской оптимизации?
1. Машинное обучение и искусственный интеллект:
- Оптимизация гиперпараметров моделей машинного обучения (например, глубины и ширины нейронных сетей, коэффициентов регуляризации и т.д.);
- Оптимизация архитектуры моделей глубокого обучения;
- Поиск оптимальных алгоритмов и конфигураций для задач интеллектуального анализа данных;
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡Каковы основные области применения баесовской оптимизации?
1. Машинное обучение и искусственный интеллект:
- Оптимизация гиперпараметров моделей машинного обучения (например, глубины и ширины нейронных сетей, коэффициентов регуляризации и т.д.);
- Оптимизация архитектуры моделей глубокого обучения;
- Поиск оптимальных алгоритмов и конфигураций для задач интеллектуального анализа данных;
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227
🟡Каковы основные области применения баесовской оптимизации? (Часть_2)
Конструкторское проектирование:
- Оптимизация параметров сложных инженерных систем (аэрокосмические конструкции, автомобили, станки и др.)
- Поиск оптимальных материалов и геометрий для повышения производительности и эффективности.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡Каковы основные области применения баесовской оптимизации? (Часть_2)
Конструкторское проектирование:
- Оптимизация параметров сложных инженерных систем (аэрокосмические конструкции, автомобили, станки и др.)
- Поиск оптимальных материалов и геометрий для повышения производительности и эффективности.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227
🟡Каковы основные области применения баесовской оптимизации? (Часть_3)
Научные исследования:
- Оптимизация экспериментальных установок и протоколов в физике, химии, биологии и других областях
- Настройка параметров компьютерных симуляций и моделей
Финансы и экономика:
- Оптимизация портфелей ценных бумаг
- Прогнозирование финансовых рынков
- Оптимизация бизнес-процессов и принятие решений
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡Каковы основные области применения баесовской оптимизации? (Часть_3)
Научные исследования:
- Оптимизация экспериментальных установок и протоколов в физике, химии, биологии и других областях
- Настройка параметров компьютерных симуляций и моделей
Финансы и экономика:
- Оптимизация портфелей ценных бумаг
- Прогнозирование финансовых рынков
- Оптимизация бизнес-процессов и принятие решений
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227
🟡Каковы основные области применения баесовской оптимизации? (Часть_4)
Робототехника и управление:
- Оптимизация траекторий и управляющих воздействий для роботов
- Настройка параметров контроллеров и систем управления
Оптимизация процессов в промышленности:
- Поиск оптимальных режимов работы производственных систем
- Оптимизация параметров технологических процессов
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡Каковы основные области применения баесовской оптимизации? (Часть_4)
Робототехника и управление:
- Оптимизация траекторий и управляющих воздействий для роботов
- Настройка параметров контроллеров и систем управления
Оптимизация процессов в промышленности:
- Поиск оптимальных режимов работы производственных систем
- Оптимизация параметров технологических процессов
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
Please open Telegram to view this post
VIEW IN TELEGRAM