https://github.com/g0t4/llm-colosseum - бенчмарк языковых моделей, ееее )))) очень прикольная тема
GitHub
GitHub - g0t4/llm-colosseum: Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM
Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM - g0t4/llm-colosseum
https://github.com/DAGWorks-Inc/hamilton - библиотека Python для создания направленных ациклических графов (DAG), визуализирующих потоки данных.
GitHub
GitHub - DAGWorks-Inc/hamilton: Hamilton helps data scientists and engineers define testable, modular, self-documenting dataflows…
Hamilton helps data scientists and engineers define testable, modular, self-documenting dataflows, that encode lineage/tracing and metadata. Runs and scales everywhere python does. - DAGWorks-Inc/h...
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️⚡️⚡️Вот мы и подошли к тому моменту когда практически не видно, что это генерация. Все !
😂😂😂P.S. Не )))) все палится, расслабьтесь ))) ахахахах
😂😂😂P.S. Не )))) все палится, расслабьтесь ))) ахахахах
https://github.com/togethercomputer/finetuning
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - togethercomputer/finetuning: Finetune Llama-3-8b on the MathInstruct dataset
Finetune Llama-3-8b on the MathInstruct dataset. Contribute to togethercomputer/finetuning development by creating an account on GitHub.
https://habr.com/ru/companies/yandex/articles/830410/
✅ Два года назад было достигнуто сжатие нейросетей до 4 бит, но сейчас задача состоит в сжатии до 2 бит. Yandex Research и их коллеги из IST Austria и KAUST представили новый метод сжатия, который позволил уменьшить размер модели в 8 раз.
✅ В качестве примера использовалась модель Llama2 13b, для оценки качества сжатия использовалась перплексия, а также эффективный размер модели.
✅ QuIP, предложенный в середине 2023 года, сжимал модель до двузначной перплексии, но имел меньший эффективный размер. AQLM, представленный в январе 2024 года, сжимает модель до более высокого эффективного размера, чем QuIP.
✅ QuIP# и AQLM + PV-tuning, появившиеся в последующие месяцы, улучшили качество сжатия, приближаясь к размеру 7b-модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Как развивалась технология экстремального сжатия LLM: от QuIP до AQLM с PV-tuning
Мы живём в эпоху LLM — компании применяют на практике всё более крупные модели с миллиардами параметров. Это здорово, потому что большие модели открывают пользователям сервисов новые возможности, но...
✅CodeChat поможет оптимизировать или отрефакторить имеющийся код, сгенерировать тесты или документацию, а также объяснить или написать код под конкретную задачу.
✅Задавайте вопросы как по всему открытому файлу, так и по определенному фрагменту кода — просто выделите его в редакторе и сформулируйте запрос к CodeChat. CodeChat умеет отвечать на вопросы не только про код.
Please open Telegram to view this post
VIEW IN TELEGRAM
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_1)
Баесовская оптимизация (Bayesian Optimization) - это эффективный метод оптимизации функций, особенно подходящий для решения сложных задач оптимизации, где целевая функция является вычислительно дорогостоящей, шумной или неизвестной в аналитической форме.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_1)
Баесовская оптимизация (Bayesian Optimization) - это эффективный метод оптимизации функций, особенно подходящий для решения сложных задач оптимизации, где целевая функция является вычислительно дорогостоящей, шумной или неизвестной в аналитической форме.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
1. Вероятностная модель (суррогатная модель): Вместо работы напрямую с целевой функцией, баесовская оптимизация использует вероятностную модель, которая аппроксимирует и предсказывает поведение целевой функции. Эта модель называется "суррогатной моделью".
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
1. Вероятностная модель (суррогатная модель): Вместо работы напрямую с целевой функцией, баесовская оптимизация использует вероятностную модель, которая аппроксимирует и предсказывает поведение целевой функции. Эта модель называется "суррогатной моделью".
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
⚠️Друзья, у меня еще есть один канал, там говорим за крипту, трейдинг и кодинг. Кому интересно залетайте. Модельки, оптимизация и высокоскоростная торговля.
https://t.me/DLCTrade
https://t.me/DLCTrade
Telegram
DLCTrade
Информационный портал о криптовалютах, рынках, биржах, блокчейне, смарт-контрактах. Аналитика, новости, полезные инструменты, прогнозы, инсайды и тренды и обо всем, что так или иначе касается криптовалют.
https://huggingface.co/papers/2407.09025 - отличная статья, прям передовая. По обработке электронных таблиц, пишут что круче GPT-4. Последняя, в свете всех последних событий выглядит блекло. Что-то Альтман сдал сильно. Чтож... ждем пятерку, посмотрим что выкатят...
huggingface.co
Paper page - SpreadsheetLLM: Encoding Spreadsheets for Large Language Models
Join the discussion on this paper page
https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a - ну все господа студенты, пришел ваш судный день )))) халявка кончилась )))
The Wall Street Journal
Exclusive | There’s a Tool to Catch Students Cheating With ChatGPT. OpenAI Hasn’t Released It.
The technology that is mired in internal debate can detect text written by artificial intelligence with 99.9% certainty.
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
2. Байесовское обновление: По мере получения новых наблюдений целевой функции, алгоритм использует правило Байеса для обновления параметров суррогатной модели. Это позволяет постепенно улучшать представление о функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_2)
Ключевые особенности баесовской оптимизации:
2. Байесовское обновление: По мере получения новых наблюдений целевой функции, алгоритм использует правило Байеса для обновления параметров суррогатной модели. Это позволяет постепенно улучшать представление о функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_3)
Ключевые особенности баесовской оптимизации:
3. Итеративный поиск: На основе обновленной суррогатной модели, алгоритм выбирает следующую точку, в которой необходимо оценить целевую функцию. Этот выбор основан на балансе между исследованием новых областей (exploration) и использованием накопленной информации (exploitation).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_3)
Ключевые особенности баесовской оптимизации:
3. Итеративный поиск: На основе обновленной суррогатной модели, алгоритм выбирает следующую точку, в которой необходимо оценить целевую функцию. Этот выбор основан на балансе между исследованием новых областей (exploration) и использованием накопленной информации (exploitation).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_4)
Типичный алгоритм баесовской оптимизации включает следующие шаги:
1. Инициализация: Начальная суррогатная модель строится на основе нескольких начальных наблюдений целевой функции.
2. Обновление модели: После каждой новой оценки целевой функции, суррогатная модель обновляется с помощью правила Байеса, чтобы лучше аппроксимировать поведение функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_4)
Типичный алгоритм баесовской оптимизации включает следующие шаги:
1. Инициализация: Начальная суррогатная модель строится на основе нескольких начальных наблюдений целевой функции.
2. Обновление модели: После каждой новой оценки целевой функции, суррогатная модель обновляется с помощью правила Байеса, чтобы лучше аппроксимировать поведение функции.
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_226
🟡 Что такое баесовская оптимизация ? (Часть_5)
3. Выбор следующей точки: На основе текущей суррогатной модели, алгоритм определяет, в какой точке следует оценить целевую функцию в следующий раз. Для этого используются различные критерии, такие как ожидаемое улучшение (Expected Improvement) или верхняя доверительная граница (Upper Confidence Bound).
4. Оценка целевой функции: Целевая функция оценивается в выбранной точке, и результат используется для обновления суррогатной модели.
5. Итерация: Шаги 2-4 повторяются до достижения критерия остановки (например, достижение максимального числа итераций или сходимости к оптимальному решению).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡 Что такое баесовская оптимизация ? (Часть_5)
3. Выбор следующей точки: На основе текущей суррогатной модели, алгоритм определяет, в какой точке следует оценить целевую функцию в следующий раз. Для этого используются различные критерии, такие как ожидаемое улучшение (Expected Improvement) или верхняя доверительная граница (Upper Confidence Bound).
4. Оценка целевой функции: Целевая функция оценивается в выбранной точке, и результат используется для обновления суррогатной модели.
5. Итерация: Шаги 2-4 повторяются до достижения критерия остановки (например, достижение максимального числа итераций или сходимости к оптимальному решению).
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
https://habr.com/ru/companies/sberbank/articles/834468/ - моя новая статья, про графы
Хабр
Почему «утекают» данные в больших языковых моделях. Часть 3
Добрый день, уважаемые читатели. Это третья часть статьи, посвящённой «утечке» конфиденциальных данных на примере больших языковых моделей, реализуемой посредством кибератак. В первых двух частях (...
Всем привет) есть ли у кого-нибудь девопс, а точнее Cybersecurity Specialist / SecOps Engineer из Питера? Нужно будет посещать офис хотя бы раз в недельку)
зп до 6к$. Писать в ЛС.
зп до 6к$. Писать в ЛС.
❓300 Вопросов по Машинному обучению (Machine Learning) - Вопрос_227
🟡Каковы основные области применения баесовской оптимизации?
1. Машинное обучение и искусственный интеллект:
- Оптимизация гиперпараметров моделей машинного обучения (например, глубины и ширины нейронных сетей, коэффициентов регуляризации и т.д.);
- Оптимизация архитектуры моделей глубокого обучения;
- Поиск оптимальных алгоритмов и конфигураций для задач интеллектуального анализа данных;
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!
🟡Каковы основные области применения баесовской оптимизации?
1. Машинное обучение и искусственный интеллект:
- Оптимизация гиперпараметров моделей машинного обучения (например, глубины и ширины нейронных сетей, коэффициентов регуляризации и т.д.);
- Оптимизация архитектуры моделей глубокого обучения;
- Поиск оптимальных алгоритмов и конфигураций для задач интеллектуального анализа данных;
#BayesianOptimization #SurrogateMdel #BayesianUpdate #IterativeSearch #Exploration #Exploitation
🗣Чем больше шеров и лайков, тем активнее выкладываю посты !!!