Forwarded from Анализ данных (Data analysis)
Apache TVM — это фреймворк компилятора ML-приложений с открытым исходным кодом для CPU, GPU и не только.
Цель Apache TVM — дать ML-инженерам возможность оптимизировать и эффективно выполнять вычисления на любом железе.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Рестарт
А вот это реально очень полезно — учёные Сбера и лаборатории FusionBrain Института AIRI нашли способ ускорить работу больших языковых нейросетей на 10-15%.
И это все без потери качества. Исследователи изучили устройство 20 известных open source языковых моделей и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Как следствие, это позволяет существенно оптимизировать архитектуры.
И это все без потери качества. Исследователи изучили устройство 20 известных open source языковых моделей и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Как следствие, это позволяет существенно оптимизировать архитектуры.
«Мы, в Сбере, планируем провести тестирование рассмотренной идеи и в случае успеха — тиражировать её на флагманские модели GenAI. Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей» — рассказал Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.
Forwarded from Анализ данных (Data analysis)
⚡️ Новая лекция Ян Лекуна : «Объектно-ориентированный ИИ: на пути к машинам, которые могут учиться, рассуждать и планировать»
Слайды: https://drive.google.com/file/d/1e6EtQPQMCreP3pwi5E9kKRsVs2NbWPrY/view?usp=drivesdk
Видео: https://www.youtube.com/watch?si=UeLf0MhMzjXcSCAb&v=d_bdU3LsLzE&feature=youtu.be
@data_analysis_ml
Слайды: https://drive.google.com/file/d/1e6EtQPQMCreP3pwi5E9kKRsVs2NbWPrY/view?usp=drivesdk
Видео: https://www.youtube.com/watch?si=UeLf0MhMzjXcSCAb&v=d_bdU3LsLzE&feature=youtu.be
@data_analysis_ml
Forwarded from Data Secrets
Nvidia опубликовала веса для своей SOTA модели эмбеддингов NV-Embed-1, а также подробный технический отчет
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
Forwarded from AISec [x\x feed]🍓🍌🍆 (Artyom Semenov)
41617f22-9aa7-4c71-b7e9-975175d71b52.epub
12.6 MB
Forwarded from AISec [x\x feed]🍓🍌🍆 (Artyom Semenov)
Lakera+AI+-+Real+World+LLM+Exploits+(Jan+2024)-min.pdf
4.8 MB
Discover the latest in AI security with Lakera's deep-dive into real-world LLM exploits.
In this document, we present practical challenges and vulnerabilities encountered by the Lakera Red team in the deployment of Large Language Models.
In this document, we present practical challenges and vulnerabilities encountered by the Lakera Red team in the deployment of Large Language Models.
Forwarded from Data Secrets
Пару дней назад Docker Hub пару дней назад ушёл из России и Беларуси из-за санкций США, но теперь вдруг передумал.
Сейчас
hub.docker.com снова доступен с российских IP-адресов, Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Dot предназначено для простого взаимодействия с документами и файлами (.pdf, .docx, .xlsx, .pptx, .md) с помощью локальных LLM и технологии Retrieval Augmented Generation.
Dot было вдохновлено такими решениями, как Chat with RTX от Nvidia
По умолчанию использует Phi-3
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Анализ данных (Data analysis)
загрузка файлов базы знаний ⟶ чтение текста ⟶ сегментация текста ⟶ векторизация текста ⟶ векторизация вопроса ⟶ поиск вектора текста, наиболее похожего на вектор вопроса ⟶ найденный вектор добавляется в промпт в качестве контекста и вопроса ⟶ передается в LLM для генерации ответа
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b
git clone https://huggingface.co/moka-ai/m3e-base
python copy_config_example.py
python init_database.py --recreate-vs
python startup.py -a
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Text Generation Inference v2.0.0 — готовый сервер для инференса LLM, написанный на Rust, Python и gRPC.
Инференс ML-модели - это процесс её работы на конечном устройстве. Поэтому, чем больше мы разгоняем инференс, тем быстрее работает модель.
В новую версию Text Generation Inference добавлена поддержка модели Command R+.
TGI - самый быстрый сервер с открытым исходным кодом для Command R+
Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B!
ПОддерживает популярные Lms с открытым исходным кодомД Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и другие.
• Github
• Установка
@ai_machinelearning_big_data
Инференс ML-модели - это процесс её работы на конечном устройстве. Поэтому, чем больше мы разгоняем инференс, тем быстрее работает модель.
В новую версию Text Generation Inference добавлена поддержка модели Command R+.
TGI - самый быстрый сервер с открытым исходным кодом для Command R+
Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B!
ПОддерживает популярные Lms с открытым исходным кодомД Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и другие.
• Github
• Установка
@ai_machinelearning_big_data
Forwarded from Data Blog
Привет, друзья! 🐥
Я почти вышла на сессию и в свободное время продолжаю перебирать и готовить материалы для курса и будущего диплома.
Сегодня к вам с новой полезной штукой! 🔥
Мы уже акцентировали внимание на том, что результаты одного метода объяснения не эквивалентны результатам другого.
В этом случае встает вопрос: как наиболее продуктивно создавать объяснения, чтобы оценивать их устойчивость?
Один из ответов — добавлять в свой арсенал наиболее универсальные алгоритмы интерпретации, например такие как LIME (Local Interpretable Model-Agnostic Explanations)!
Что это, как использовать, чтобы извлечь максимально много информации и даже математические выкладки: собраны для вас в этом ноутбуке (рус, англ). Благодаря туториалу вы построите LIME с 0 и поймете его библиотечную реализацию!
Также все открытые материалы буду добавлять в этот репозиторий и в материалы курса! 🫶🏻
Не знаю почему, но очень рада тратить кучу часов, исследуя тему. Надеюсь, это принесет вам пользу и поможет сделать более понятные модели!
Со всем самым добрым,
всем запаха сирени! 🪻
Ваш Дата-Автор!
Я почти вышла на сессию и в свободное время продолжаю перебирать и готовить материалы для курса и будущего диплома.
Сегодня к вам с новой полезной штукой! 🔥
Мы уже акцентировали внимание на том, что результаты одного метода объяснения не эквивалентны результатам другого.
В этом случае встает вопрос: как наиболее продуктивно создавать объяснения, чтобы оценивать их устойчивость?
Один из ответов — добавлять в свой арсенал наиболее универсальные алгоритмы интерпретации, например такие как LIME (Local Interpretable Model-Agnostic Explanations)!
Что это, как использовать, чтобы извлечь максимально много информации и даже математические выкладки: собраны для вас в этом ноутбуке (рус, англ). Благодаря туториалу вы построите LIME с 0 и поймете его библиотечную реализацию!
Также все открытые материалы буду добавлять в этот репозиторий и в материалы курса! 🫶🏻
Не знаю почему, но очень рада тратить кучу часов, исследуя тему. Надеюсь, это принесет вам пользу и поможет сделать более понятные модели!
Со всем самым добрым,
всем запаха сирени! 🪻
Ваш Дата-Автор!
Google
LIME_rus.ipynb
Colab notebook
Forwarded from Data Secrets
Вышел долгожданный код для xLSTM! Это та самая недавняя взрывная архитектура от создателей LSTM, которая может стать альтернативой трансформеру.
Установить библиотеку и поиграться с xLSTM можно с помощью
Репозиторий с кодом тут.
А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10
Установить библиотеку и поиграться с xLSTM можно с помощью
pip install xlstm. Репозиторий с кодом тут.
А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10
Forwarded from Makrushin (Иван Капунин)
Фундамент в data science: экспресс-погружение в алгоритмы ML
Этот момент настал. После разбора математической базы в виде линейной алгебры, математического анализа и статистики, можно уверенно переходить к непосредственному изучению самих алгоритмов машинного обучения.
Открытые курсы по машинному обучению:
* Машинное обучение для решения прикладных задач от МГУ
* Машинное обучение от ШАД (осторожно, много математики)
Интерактивное объяснение работы алгоритмов:
* MLU-Explain
* Visual introduction to machine learning от r2d3
* Machine Learning Playground
Конспекты:
* The Illustrated Machine Learning
* Yandex ML Handbook
* Machine Learning Handbook от PerceptiLabs
Книги:
* "Грокаем машинное обучение", Серрано Луис
* "Машинное обучение без лишних слов" / "Инженерия машинного обучения", Бурков Андрей
* "Введение в статистическое обучение с примерами на Python", Джеймс Г., Уиттон Д., Хасти Т., Тибширани Р.
Не забывай конспектировать инсайты.
Этот момент настал. После разбора математической базы в виде линейной алгебры, математического анализа и статистики, можно уверенно переходить к непосредственному изучению самих алгоритмов машинного обучения.
Открытые курсы по машинному обучению:
* Машинное обучение для решения прикладных задач от МГУ
* Машинное обучение от ШАД (осторожно, много математики)
Интерактивное объяснение работы алгоритмов:
* MLU-Explain
* Visual introduction to machine learning от r2d3
* Machine Learning Playground
Конспекты:
* The Illustrated Machine Learning
* Yandex ML Handbook
* Machine Learning Handbook от PerceptiLabs
Книги:
* "Грокаем машинное обучение", Серрано Луис
* "Машинное обучение без лишних слов" / "Инженерия машинного обучения", Бурков Андрей
* "Введение в статистическое обучение с примерами на Python", Джеймс Г., Уиттон Д., Хасти Т., Тибширани Р.
Не забывай конспектировать инсайты.
Forwarded from Some Security Notes
#llm #ai #genai #chatgpt
Простое описание принципов работы llm (large language models), нейронные сетей и связанных технологий без отсылок к математике и формулам.
https://blog.miguelgrinberg.com/post/how-llms-work-explained-without-math
Простое описание принципов работы llm (large language models), нейронные сетей и связанных технологий без отсылок к математике и формулам.
https://blog.miguelgrinberg.com/post/how-llms-work-explained-without-math
Miguelgrinberg
How LLMs Work, Explained Without Math
I'm sure you agree that it has become impossible to ignore Generative AI (GenAI), as we are constantly bombarded with mainstream news about Large Language Models (LLMs). Very likely you have tried…
Forwarded from Анализ данных (Data analysis)
Ratchet — это веб-фреймворк для вывода результатов машинного обучения.
Работает на базе WebGPU, так что он может работать на чём угодно, в том числе и на мобильных устройствах.
Ratchet заточен под скорость и простоту использования.
Использование в JavaScript выглядит наподобие:
// Asynchronous loading & caching with IndexedDB
let model = await Model.load(AvailableModels.WHISPER_TINY, Quantization.Q8, (p: number) => setProgress(p))
let result = await model.run({ input });
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
Андрей Карпаты выложил 4-часовое видео о том, как воспроизвести GPT-2 с нуля на Python
4 часа??? Да, видео начинается с пустого файла, и вы своими глазами видите, как из него рождается LLM, при этом Андрей подробно объясняет каждый шаг (вот у кого точно выходные прошли продуктивно ).
В комплекте не только написание самой архитектуры, но и оптимизация кода, и настройка гиперпараметров, и оценка метрик. Ну вы поняли, маствотч.
Кстати, Карпаты – вообще большой любитель образовательного контента. Вот другие лекции и имплементации от ученого:
➡️ Лекция «Введение в большие языковые модели»
➡️ Код GPT-2 на чистом C
➡️ Большая лекция про токенизацию в LLM и реализация BPE с нуля
➡️ Лекция про обучение ChatGPT
➡️ Лекция-интервью про будущее ИИ
4 часа??? Да, видео начинается с пустого файла, и вы своими глазами видите, как из него рождается LLM, при этом Андрей подробно объясняет каждый шаг (
В комплекте не только написание самой архитектуры, но и оптимизация кода, и настройка гиперпараметров, и оценка метрик. Ну вы поняли, маствотч.
Кстати, Карпаты – вообще большой любитель образовательного контента. Вот другие лекции и имплементации от ученого:
Please open Telegram to view this post
VIEW IN TELEGRAM