DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️⚡️⚡️Вот мы и подошли к тому моменту когда практически не видно, что это генерация. Все !

😂😂😂P.S. Не )))) все палится, расслабьтесь ))) ахахахах
🟡🟡🟡Тонкий файнтюн Llama-3-8B для математических задач. Удалось поднять скор с 47% до 65%, а это почти что GPT-4o.

https://github.com/togethercomputer/finetuning
Please open Telegram to view this post
VIEW IN TELEGRAM
https://habr.com/ru/companies/yandex/articles/830410/

Два года назад было достигнуто сжатие нейросетей до 4 бит, но сейчас задача состоит в сжатии до 2 бит. Yandex Research и их коллеги из IST Austria и KAUST представили новый метод сжатия, который позволил уменьшить размер модели в 8 раз.

В качестве примера использовалась модель Llama2 13b, для оценки качества сжатия использовалась перплексия, а также эффективный размер модели.

QuIP, предложенный в середине 2023 года, сжимал модель до двузначной перплексии, но имел меньший эффективный размер. AQLM, представленный в январе 2024 года, сжимает модель до более высокого эффективного размера, чем QuIP.

QuIP# и AQLM + PV-tuning, появившиеся в последующие месяцы, улучшили качество сжатия, приближаясь к размеру 7b-модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
🟡🟡🟡CodeChat в GigaCode 🚀🚀🚀

CodeChat поможет оптимизировать или отрефакторить имеющийся код, сгенерировать тесты или документацию, а также объяснить или написать код под конкретную задачу.

Задавайте вопросы как по всему открытому файлу, так и по определенному фрагменту кода — просто выделите его в редакторе и сформулируйте запрос к CodeChat. CodeChat умеет отвечать на вопросы не только про код.

🔤Просто обновите плагин в вашей IDE. Если еще не пробовали GigaCode то направляем вас сюда https://gigacode.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226

🟡 Что такое баесовская оптимизация ? (Часть_1)

Баесовская оптимизация (Bayesian Optimization) - это эффективный метод оптимизации функций, особенно подходящий для решения сложных задач оптимизации, где целевая функция является вычислительно дорогостоящей, шумной или неизвестной в аналитической форме.

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226

🟡 Что такое баесовская оптимизация ? (Часть_2)

Ключевые особенности баесовской оптимизации:

1. Вероятностная модель (суррогатная модель): Вместо работы напрямую с целевой функцией, баесовская оптимизация использует вероятностную модель, которая аппроксимирует и предсказывает поведение целевой функции. Эта модель называется "суррогатной моделью".

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
⚠️Друзья, у меня еще есть один канал, там говорим за крипту, трейдинг и кодинг. Кому интересно залетайте. Модельки, оптимизация и высокоскоростная торговля.
https://t.me/DLCTrade
https://huggingface.co/papers/2407.09025 - отличная статья, прям передовая. По обработке электронных таблиц, пишут что круче GPT-4. Последняя, в свете всех последних событий выглядит блекло. Что-то Альтман сдал сильно. Чтож... ждем пятерку, посмотрим что выкатят...
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226

🟡 Что такое баесовская оптимизация ? (Часть_2)

Ключевые особенности баесовской оптимизации:

2. Байесовское обновление: По мере получения новых наблюдений целевой функции, алгоритм использует правило Байеса для обновления параметров суррогатной модели. Это позволяет постепенно улучшать представление о функции.

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226

🟡 Что такое баесовская оптимизация ? (Часть_3)

Ключевые особенности баесовской оптимизации:

3. Итеративный поиск: На основе обновленной суррогатной модели, алгоритм выбирает следующую точку, в которой необходимо оценить целевую функцию. Этот выбор основан на балансе между исследованием новых областей (exploration) и использованием накопленной информации (exploitation).

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226

🟡 Что такое баесовская оптимизация ? (Часть_4)

Типичный алгоритм баесовской оптимизации включает следующие шаги:

1. Инициализация: Начальная суррогатная модель строится на основе нескольких начальных наблюдений целевой функции.

2. Обновление модели: После каждой новой оценки целевой функции, суррогатная модель обновляется с помощью правила Байеса, чтобы лучше аппроксимировать поведение функции.

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226

🟡 Что такое баесовская оптимизация ? (Часть_5)

3. Выбор следующей точки: На основе текущей суррогатной модели, алгоритм определяет, в какой точке следует оценить целевую функцию в следующий раз. Для этого используются различные критерии, такие как ожидаемое улучшение (Expected Improvement) или верхняя доверительная граница (Upper Confidence Bound).

4. Оценка целевой функции: Целевая функция оценивается в выбранной точке, и результат используется для обновления суррогатной модели.

5. Итерация: Шаги 2-4 повторяются до достижения критерия остановки (например, достижение максимального числа итераций или сходимости к оптимальному решению).

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
Очень прикольная инфографика и очень информативная, мне прям зашло.
👍2
Всем привет) есть ли у кого-нибудь девопс, а точнее Cybersecurity Specialist / SecOps Engineer из Питера? Нужно будет посещать офис хотя бы раз в недельку)
зп до 6к$. Писать в ЛС.
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227

🟡Каковы основные области применения баесовской оптимизации?

1. Машинное обучение и искусственный интеллект:
- Оптимизация гиперпараметров моделей машинного обучения (например, глубины и ширины нейронных сетей, коэффициентов регуляризации и т.д.);
- Оптимизация архитектуры моделей глубокого обучения;
- Поиск оптимальных алгоритмов и конфигураций для задач интеллектуального анализа данных;

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227

🟡Каковы основные области применения баесовской оптимизации? (Часть_2)

Конструкторское проектирование:

- Оптимизация параметров сложных инженерных систем (аэрокосмические конструкции, автомобили, станки и др.)
- Поиск оптимальных материалов и геометрий для повышения производительности и эффективности.

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227

🟡Каковы основные области применения баесовской оптимизации? (Часть_3)

Научные исследования:

- Оптимизация экспериментальных установок и протоколов в физике, химии, биологии и других областях
- Настройка параметров компьютерных симуляций и моделей

Финансы и экономика:

- Оптимизация портфелей ценных бумаг
- Прогнозирование финансовых рынков
- Оптимизация бизнес-процессов и принятие решений

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227

🟡Каковы основные области применения баесовской оптимизации? (Часть_4)

Робототехника и управление:

- Оптимизация траекторий и управляющих воздействий для роботов
- Настройка параметров контроллеров и систем управления

Оптимизация процессов в промышленности:

- Поиск оптимальных режимов работы производственных систем
- Оптимизация параметров технологических процессов

#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation

🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
😈😈😈Когда ты ищешь книги по базам данных и вдруг ... ты в параллельной вселенной ))) 19 -век, о как )))
Please open Telegram to view this post
VIEW IN TELEGRAM