Forwarded from Мишин Лернинг
Выкатили код LiT🔥: Новационный подход contrastive-tuning от Google Research, Brain Team, Zurich обходит CLIP и ALIGN
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
Помните, в ноябре 2021го выходила статья LiT🔥?
Сегодня стал доступен не только код, но и блог пост в googleblog, colab и онлайн демо, которое, кстати, очень и очень удачно демонстрирует силу подхода на известных примерах и контрпримерах!
🔓 В CLIP и текстовая и визуальная “башня” контрастив модели учились с нуля. u - unlocked from-scratch
🔐 Возникает вопрос: не будет ли лучше взять претрейны моделей (e.g.: ResNet, ViT, MLP-Mixer), и дальше файнтюнить их в режиме contrastive language–image? U - unlocked from a pre-trained model
🔒 Авторы показали, что лучше всего работает подход с полностью замороженной визуальной “башней”!
Модель ViT-G/14, обученная в режиме contrastive-tuning LiT, обходит такой же CLIP в zero-shot на ImageNet: 84.5% vs 76.2%, соответсвенно.
📄 Paper LiT🔥
🎲 Online Demo
📇 Google Blog
💻 LiT code
🔮 LiT Colab
Forwarded from Мишин Лернинг
This media is not supported in your browser
VIEW IN TELEGRAM
🐂 DALL-E 2 Picasso's deconstruction
«Бык» Пабло Пикассо — это серия литографий, созданных в 1945 году. На ней изображен бык в стадиях "абстракции", если позволите, начиная с достаточно реалистичного изображения и заканчивая всего лишь несколькими линиями.
На видео интерполяция (последовательный переход между изображениями) и галлюцинация выполненная на тему деконструкции Пикассо при помощи нейронной сети DALL-E 2 от OpenAI.
p.s.: Технически все очень просто: картинки со всеми стадиями абстракции «Быка» Пикассо проходят через CLIP для получения их векторов, между которыми и создается интерполяция, а затем рендеринг через unCLIP и 2 диффузионных апскейлера.
«Бык» Пабло Пикассо — это серия литографий, созданных в 1945 году. На ней изображен бык в стадиях "абстракции", если позволите, начиная с достаточно реалистичного изображения и заканчивая всего лишь несколькими линиями.
На видео интерполяция (последовательный переход между изображениями) и галлюцинация выполненная на тему деконструкции Пикассо при помощи нейронной сети DALL-E 2 от OpenAI.
p.s.: Технически все очень просто: картинки со всеми стадиями абстракции «Быка» Пикассо проходят через CLIP для получения их векторов, между которыми и создается интерполяция, а затем рендеринг через unCLIP и 2 диффузионных апскейлера.
Предоставляем исходный код бота по определению языка в тексте.
Для запуска необходим python, не ниже 3.6.
Необходимые библиотеки: requirements.txt
установить библиотеки можно командой:
Для запуска необходим python, не ниже 3.6.
Необходимые библиотеки: requirements.txt
установить библиотеки можно командой:
python3 -m pip install -r requirements
Бот будет остановлен.Forwarded from Ты в тренде или уходи
👾 Немного про нейронные сети — [9:56]
Писать свои нейронные сети не так сложно, как кажется на первый взгляд. Из этого цикла уроков вы напишите свою нейросеть на Python, поймёте как она работает и научите различать её виды. А отличная подача материала не даст вам заскучать.
1. Нейронные сети за 10 минут — [9:56]
2. Как обучить нейронную сеть? — [8:25]
3. Нейронная сеть на Python с нуля — [14:39]
4. Обратное распространение ошибки — [21:52]
5. Обучение нейронной сети на Python — [21:33]
Перейти к плейлисту
#видео #AI
Писать свои нейронные сети не так сложно, как кажется на первый взгляд. Из этого цикла уроков вы напишите свою нейросеть на Python, поймёте как она работает и научите различать её виды. А отличная подача материала не даст вам заскучать.
1. Нейронные сети за 10 минут — [9:56]
2. Как обучить нейронную сеть? — [8:25]
3. Нейронная сеть на Python с нуля — [14:39]
4. Обратное распространение ошибки — [21:52]
5. Обучение нейронной сети на Python — [21:33]
Перейти к плейлисту
#видео #AI
Forwarded from T.Hunter
#OSINT #BIGDATA Системы позволяющие анализировать большие массивы данных, содержащихся в файлах различных форматов. Пригодится для поиска по разрозненным базам данных, выделения сущностей (телефонов, электронных ящиков, IP-адресов и т.п.) из групп файлов. Весьма полезное приобретение.
├datashare на GitHub
├Архивариус 3000
├dtsearch
├Доктор Ватсон
├docfetcher
└astrogrep
@tomhunter | атакующая безопасность
├datashare на GitHub
├Архивариус 3000
├dtsearch
├Доктор Ватсон
├docfetcher
└astrogrep
@tomhunter | атакующая безопасность
Forwarded from Denis Sexy IT 🤖
Forwarded from Big Data Science
Z-scoring for simple and fast anomaly detection
Anomaly detection is a fairly common problem that covers many scenarios, from financial fraud to computer network failures. Some problems require complex machine learning models, but most often some simpler and cheaper methods are sufficient. For example, you have sales data over a period of time where you want to flag days with abnormally high volumes or highlight customers with abnormally high credit card swipes for risk testing.
For such cases, a simple statistical method of marking outliers, called Z-scoring, will do. The score is equal to the difference between the current and mean values, divided by the standard deviation. Z-scoring assumes the classical normal distribution of random variables. Converting nominal scale values to a logarithmic scale will improve the ability of most ML models to discern relationships and improve the ability of Z-scores to flag outliers.
Anomaly detection is a fairly common problem that covers many scenarios, from financial fraud to computer network failures. Some problems require complex machine learning models, but most often some simpler and cheaper methods are sufficient. For example, you have sales data over a period of time where you want to flag days with abnormally high volumes or highlight customers with abnormally high credit card swipes for risk testing.
For such cases, a simple statistical method of marking outliers, called Z-scoring, will do. The score is equal to the difference between the current and mean values, divided by the standard deviation. Z-scoring assumes the classical normal distribution of random variables. Converting nominal scale values to a logarithmic scale will improve the ability of most ML models to discern relationships and improve the ability of Z-scores to flag outliers.
Forwarded from Big Data Science
In practice the implementation of Z-score is very simple: it can be written as a small software script or even a set of SQL queries to quickly get a lightweight MVP and quickly test a hypothesis.
https://towardsdatascience.com/anomaly-detection-in-sql-2bcd8648f7a8
https://towardsdatascience.com/anomaly-detection-in-sql-2bcd8648f7a8
Medium
Anomaly Detection in SQL
How to implement fast, powerful, anomaly detection models directly in the data warehouse
Forwarded from Python - Советы, библиотеки, гайды
Pygal - это одна из самых простых, но в то же время мощных библиотек для построения всевозможных графиков.
График тут построить можно всего одной строчкой кода, например:
И это на самом деле крайне удобно.
Ставится командой
График тут построить можно всего одной строчкой кода, например:
pygal.Bar()(1, 3, 3, 7)(1, 6, 6, 4).render()Причем Pygal делает экспорт графиков в SVG.
И это на самом деле крайне удобно.
Ставится командой
pip install pygal
Документация и примеры кода здесь.Forwarded from GitHub Community
DeepFaceLab – Набор python-проектов для создания DeepFake
В наборе вы найдете софт для создания множества эффектов - начиная от изменения возраста персонажа на видео до замены головы
GitHub | #Python #Interesting #Useful
В наборе вы найдете софт для создания множества эффектов - начиная от изменения возраста персонажа на видео до замены головы
GitHub | #Python #Interesting #Useful
Forwarded from Мишин Лернинг
🎲 Мысли вслух по поводу GPT-3 от OpenAI
Удивился насколько неплохо может суммаризировать текст GPT-3 (Babbage) в которой всего лишь 1.3B параметров.
Прикрепил два скриншота GPT-3 интерфейса апишки от OpenAI с примерами. Видно, что иногда 175B (Davinci) — оверхед по стоимости.
Хочу сказать, что ребята как и из OpenAI, так и из EleutherAI умеют обучать свои модели.
1.3B версии GPT, что Babbage от OpenAI, что GPT-Neo 1.3B от EleutherAI для своих размеров, нормально справляются с пониманием текста и генерацией (все ок с перплексией) и модель не начинает выдавать абракадабру после генерации 500-600 первых токенов (типа все ок с обучением позишн эмбеддингов, как и должно быть у gpt).
sat sapienti
Удивился насколько неплохо может суммаризировать текст GPT-3 (Babbage) в которой всего лишь 1.3B параметров.
Прикрепил два скриншота GPT-3 интерфейса апишки от OpenAI с примерами. Видно, что иногда 175B (Davinci) — оверхед по стоимости.
Хочу сказать, что ребята как и из OpenAI, так и из EleutherAI умеют обучать свои модели.
1.3B версии GPT, что Babbage от OpenAI, что GPT-Neo 1.3B от EleutherAI для своих размеров, нормально справляются с пониманием текста и генерацией (все ок с перплексией) и модель не начинает выдавать абракадабру после генерации 500-600 первых токенов (типа все ок с обучением позишн эмбеддингов, как и должно быть у gpt).
sat sapienti
Forwarded from Мишин Лернинг
🔘 Спустя год хайпа подхода вышел пейпер VQGAN-CLIP от EleutherAI
Когда в голове у всех DALL-E 2 и Latent Diffusion, Katherine Crowson и Stella Biderman и другие крутые ребята из EleutherAI выкатывают папир по VQGAN-CLIP.
Спрашивается зачем? А я сейчас покажу, откудана Беларусь готовилось нападение, и если бы за шесть часов не был нанесен ноги у этого растут и зачем это все.
То что сейчас происходит, я бы назвал, демократизацией искусственного интеллекта! Ведь давайте будем честны, DALL-E 2 — огонь, но светит он через закрытые шторы. А вот ресерчеры из EleutherAI, делают современный AI, который сейчас считается привилегией ограниченного круга избранных, доступным для всех.
К чему это я? VQGAN-CLIP — хит прошлого лета, был доступен сразу всем и каждому, и развивался благодоря коммьюнити! Я тоже делал очень крутые штуки своей версией CLIP-VQGAN.
И в этом году мы видим, сначала код GPT-NeoX с открытыми весами, а потом формализацию — пейпер, который полезен, в котором есть детали!
💻 Code
📄 VQGAN-CLIP paper
Когда в голове у всех DALL-E 2 и Latent Diffusion, Katherine Crowson и Stella Biderman и другие крутые ребята из EleutherAI выкатывают папир по VQGAN-CLIP.
Спрашивается зачем? А я сейчас покажу, откуда
То что сейчас происходит, я бы назвал, демократизацией искусственного интеллекта! Ведь давайте будем честны, DALL-E 2 — огонь, но светит он через закрытые шторы. А вот ресерчеры из EleutherAI, делают современный AI, который сейчас считается привилегией ограниченного круга избранных, доступным для всех.
К чему это я? VQGAN-CLIP — хит прошлого лета, был доступен сразу всем и каждому, и развивался благодоря коммьюнити! Я тоже делал очень крутые штуки своей версией CLIP-VQGAN.
И в этом году мы видим, сначала код GPT-NeoX с открытыми весами, а потом формализацию — пейпер, который полезен, в котором есть детали!
💻 Code
📄 VQGAN-CLIP paper
Forwarded from AI для Всех
HuggingFace запустили свой курс по RL! Судя по скриншотам - это бомба 💣
Курс бесплатный, регистрируют тут
Курс бесплатный, регистрируют тут
Forwarded from эйай ньюз
GPT-3 модель для 60 языков от Сбера
mGPT: Few-Shot Learners Go Multilingual
Сбер выкатил в опенсоурс новую модель на 1,3 миллиарда параметров, обученных на 60 языках из 25 языковых семей с использованием Википедии и Colossal Clean Crawled Corpus.
В препринте на архиве, авторы заявляют, что модель показывает производительность наравне с недавно выпущенными моделями XGLM от Facebook (disclaimer: я хз, сам модель не тестил ещё), охватывая больше языков, включая малоресурсные языки (с маленьким набором текстов в датасетах) стран СНГ и малых народов России.
На скрине пример использования модели. Код и веса есть на гитхабе.
mGPT: Few-Shot Learners Go Multilingual
Сбер выкатил в опенсоурс новую модель на 1,3 миллиарда параметров, обученных на 60 языках из 25 языковых семей с использованием Википедии и Colossal Clean Crawled Corpus.
В препринте на архиве, авторы заявляют, что модель показывает производительность наравне с недавно выпущенными моделями XGLM от Facebook (disclaimer: я хз, сам модель не тестил ещё), охватывая больше языков, включая малоресурсные языки (с маленьким набором текстов в датасетах) стран СНГ и малых народов России.
На скрине пример использования модели. Код и веса есть на гитхабе.