AI Для Всех

Токсичный GPT? Кажется есть решение.

#GPT #NLP #generative

Improving language model behavior by training on a curated dataset

Our latest research finds we can improve language model behavior with respect to specific behavioral values by fine-tuning on a small, curated dataset.

62 viewsArtemii, edited 06:57

AI Для Всех

Не уверен, насколько человек сделал верно обучение и тд, надо чекать, если это вообще возможно.

Но идея сделать датасет с наборами текстов от разных писателей/разных тем и на таком датасете показывать некоторые примеры для гумов кажется приятноф

Colab

#NLP

Google

Копия блокнота

Colaboratory notebook

64 viewsDmitry Penzar, edited 16:26

AI Для Всех

Дипфейки шагнули на новый уровень. Теперь можно подделать почерк по одному слову.

Twitter пост

#generative #nlp

Twitter

Facebook AI

Today, we’re introducing TextStyleBrush, the first self-supervised AI model that replaces text in existing images of both scenes and handwriting — in one shot — using just a single example word: ai.facebook.com/blog/ai-can-no…

67 viewsArtemii, edited 21:08

AI Для Всех

https://twitter.com/mtutek/status/1403290550820814853?s=21
#joke

Twitter

Martin Tutek

Going through students' lab assignment submissions and ran into this

63 viewsArtemii, edited 06:53

AI Для Всех

Forwarded from эйай ньюз

Китайцы очень любят делать объёмные обзоры той или иной подобласти машинного обучения с перечислением основных работ и главными прорывными идеями. Статей выходит очень много каждый день, и невозможно все прочесть. Поэтому такие обзоры ценны (если качественно написаны, конечно, что довольно редко).

Недавно вышла очень неплохая статья-обзор различных вариантов Трансформеров с фокусом на моделировании языка (NLP). Это мастр-рид для всех, кто начинает работать с NLP и интересуется Трансформерами. В статье рассматриваются базовые принципы работы self-attention и такие подробности современных вариантов Трансформеров как модификации архитектуры, претрейнинг и их приложения.

Статья: A Survey of Transformers.

63 viewsArtemii, 07:43

AI Для Всех

Блог известный, но тут еще ссылку на него не кидали вродь.
Статьи интересные и дают вопросы "на понимание".

https://dyakonov.org/

#resources

Анализ малых данных

КвазиНаучный блог Александра Дьяконова

74 viewsDmitry Penzar, edited 16:02

AI Для Всех

Кажется придётся новый курс изучить: https://huggingface.co/course/chapter1

#NLP

huggingface.co

Introduction - Hugging Face NLP Course

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

68 viewsArtemii, 17:34

AI Для Всех

Нейро-автокоррект кода. В комментах есть ссылка на их гит.

Twitter пост

#Python #code

Twitter

Break-It-Fix-It: Unsupervised Learning for Program Repair pdf: arxiv.org/pdf/2106.06600… abs: arxiv.org/abs/2106.06600 outperforms sota methods, obtaining 90.5% repair accuracy on GitHub Python (+28.5%) and 71.7% on DeepFix (+5.6%)

62 viewsArtemii, edited 05:27

AI Для Всех

Трансформеры поженились со StyleGAN.

GitHub

#GAN #transformer

GitHub

GitHub - Jeeseung-Park/Styleformer: [CVPR 2022] Styleformer - Official Pytorch Implementation

[CVPR 2022] Styleformer - Official Pytorch Implementation - Jeeseung-Park/Styleformer

66 viewsArtemii, edited 05:30

AI Для Всех

Facebook продолжает развивать тему self-supervised речи.

Блог-пост

#Speech #SSL

Meta

HuBERT: Speech representations for recognition & generation

We are releasing pretrained HuBERT speech representation models and code for recognition and generation. By alternating clustering and prediction steps, HuBERT learns to invent discrete tokens representing continuous spoken input.

74 viewsArtemii, edited 06:46

AI Для Всех

Как GradCAM, но детальнее.

GitHub

#Explainability #images

GitHub

GitHub - naver-ai/calm

Contribute to naver-ai/calm development by creating an account on GitHub.

69 viewsArtemii, edited 06:57

AI Для Всех

Майкрософтовские задачки по питону.

Вообще их GPT-3 решает, но какие-то можно на отборочном использовать

#Отборочные

mybinder.org

GitHub: microsoft/PythonProgrammingPuzzles/main

Click to run this interactive environment. From the Binder Project: Reproducible, sharable, interactive computing environments.

71 viewsArtemii, edited 07:02

AI Для Всех

Во истину Ян обьявил эру self-supervised. Bert для картинок.

Twitter пост

#SSL #images

Twitter

Li Dong

BERT-style masked autoencoding can work well for vision Transformer pre-training. BEiT is faster and uses less GPU memory compared with other SSL methods, which is suitable for scaling up. The code of pre-training XXXL BERT can be directly reused. twitte…

77 viewsArtemii, edited 07:07

AI Для Всех

Хороший гитхаб и блог на медиум.

Например, он там разбирает модифицию LIME для интерпретации моделей. И много чего еще интересного

GitHub
Medium

#resources

GitHub

GitHub - dipanjanS/practical-machine-learning-with-python: Master the essential skills needed to recognize and solve complex real…

Master the essential skills needed to recognize and solve complex real-world problems with Machine Learning and Deep Learning by leveraging the highly popular Python Machine Learning Eco-system. - ...

80 viewsDmitry Penzar, edited 05:30

AI Для Всех

был очень хороший доклад. Когда появится на канале сберлоги на ютубе - надо будет скинуть сюда. Куча примеров из науки. Для лекций по разным конволюциям, сегментации, детекции, interpetation

80 viewsDmitry Penzar, 17:22

AI Для Всех

Forwarded from Sberloga (Alexander C)

🚀 Онлайн DS доклад от @SBERLOGA
👨‍🔬 Анвар Курмуков (Сбер Институт Искусственного Интеллекта, ВШЭ, ИППИ) "Проблемы Deep learning/Computer Vision при анализе медицинских изображений."
⌚️ Четверг 17 июня, 19.00 по Москве

Данные медицинской визуализации такие как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ) используются для диагностики и лечения целого ряда патологий (различные поражения легких, опухоли органов, переломы и др.). Для автоматической обработки таких изображений используются методы компьютерного зрения и глубинные нейронные сети. В докладе будут рассмотрены ключевые проблемы, с которыми приходится бороться при построении алгоритмов автоматической разметки, связанные с особенностями:
- данных (малые размеры выборок, трехмерность, множество различных источников данных и др.)
- формулировок задач (сегментация, локализация/key points, классификация)
- клинических требований (устойчивость к доменным сдвигам, консистентность/интерпретируемость предсказаний и др.)

Ссылка на зум будет доступна через тг чат t.me/sberlogadataclub ближе к началу доклада.

77 viewsDmitry Penzar, 17:22

AI Для Всех

Forwarded from TechSparks

В каждой шутке есть доля не только шутки ;))
Наконец выложили в открытый доступ прекрасный проект «Балабоба»: в нем нейросеть Яндекса из семейства YaLM не просто продолжает заданное вами начала текста — но и окрашивает его в выбранный стиль.
Как всегда с хорошими генеративными текстами — иногда уморительно, иногда тревожно.
«Этот пост не целиком написан нейросетью, хотя: - частично он является правдой.
- я старался подбирать факты, чтобы пост был интересен.
Поэтому я буду благодарен за комментарии и ваши вопросы по теме.
PS: Я не являюсь автором этих слов.»
Играйтесь, друзья, пока игрушка свежа ;))

https://yandex.ru/lab/yalm

Балабоба

Балабоба на заслуженном отдыхе

72 viewsArtemii, 18:48

AI Для Всех

Мы с ребятами из EleutherAI зарелизили text-to-image сетку CogView на колаб.

Prompt можно писать на любом языке (он под капотом переводится на китайский все равно)

#Text2Image #Generative

Google

CogView-Inference.ipynb

Colaboratory notebook

61 viewsArtemii, edited 08:07

AI Для Всех

Using pretrained language models for biomedical knowledge graph completion.

GitHub

#ScientificML #biology

GitHub

GitHub - rahuln/lm-bio-kgc: Using pretrained language models for biomedical knowledge graph completion.

Using pretrained language models for biomedical knowledge graph completion. - GitHub - rahuln/lm-bio-kgc: Using pretrained language models for biomedical knowledge graph completion.

66 viewsArtemii, edited 08:09

AI Для Всех

Шутка дня

#joke