Очень интересный материал «HUMANS ARE BIASED.
GENERATIVE AI
IS EVEN WORSE» от Bloomberg

Авторы рассказывают о том, как нейросеть Stable Diffusion усиливает расовые и гендерные стереотипы. Например, все портреты по запросу «инженер» мужские. Люди, сгенерированные по запросу «преступник» – в основном темнокожие мужчины, а темнокожие женщины, по мнению нейросети, занимаются уборкой или продают бургеры.

При этом в мире SD все даже хуже, чем в реальности. Например, по запросу «доктор» нейросеть генерирует всего 7% женщин, хотя в реальности женщин-докторов 32%.

В конце можно посмотреть примеры генераций и прочитать рассуждения о том, кто в ответе за такой расизм и сексизм нейросети. Спойлерить не будем. Лучше расскажите: что думаете об этом?

😻 #advice

Что такое мультиколлинеарность и как от нее избавиться

Если кратко – это корреляция независимых переменных, которая затрудняет оценку и анализ общего результата. Мультиколлинеарность также может привести к оверфиту или стать причиной других трудностей. Подробнее – в карточках.

😻 #train

PandasAI

С появлением ChatGPT многие задачи были автоматизированы в удобных утилитах. Для датасайентистов тоже появился такой лакомый кусочек: PandasAI. Эта библиотека-расширение pandas, в которую добавлена возможность выполнять задачи обработки данных без явного написания кода. Пишешь промпт – и поехали. Можно даже рисовать графики и работать с файлами.

😻 #python

Кодирование категориальных переменных: Frequency Encoding

Люди умеют разговаривать на языке категорий: мы понимаем, что такое, например, “синий” и “красный”. А машины различают только числа. Чтобы найти общий язык, нам нужен переводчик. Рассказываем про кодирование категориальных переменных и один из вариантов “перевода”.

😻 #train

Вышла статья, в которой авторы придумали, как прикрутить GPT-4 к модели генерации изображений по тексту

Идеальный мир: берём GPT-4, получаем эмбеддинги текста, отдаём их модели, которая генерирует текст. Зачем? Потому что чем круче такой энкодер, тем круче в итоге генерации. А GPT-4 – наш state of the art.

Но есть проблема: GPT-4 не открытая модель. Казалось бы, на этом моменте мечты рушатся. Но нет.

Авторы статьи предлагают подойти к проблеме с другой стороны. Они говорят: зачем нам эмбеддинги, если можно сразу генерировать с помощью GPT-4 векторную картинку формата TikZ по запросу (и при этом отличного качества)? А потом просто отправляем промпт и TikZ в ControlNet и радуемся!

Гениально, не правда ли?

😻 #news

Центральная предельная теорема и почему она так важна

Сначала объясним интуитивно, потом добавим щепотку математики, приправим примером, а на десерт объясним, почему ЦПТ так важна.

😻 #math

Препарируем TF-IDF

TF-IDF – это статистическая мера, используемая для оценки важности слова в контексте одного документа из корпуса. TF-IDF часто используют для получения эмбеддингов в поисковиках и иногда даже полномасштабных NLP задачах.

С частью TF все понятно – это отношение числа вхождений некоторого слова к общему числу слов документа. Ничего не предвещает беды, но тут появляется IDF – инверсия частоты, с которой некоторое слово встречается в документах. Что за инверсия? Откуда там логарифм? Что происходит? Объясняем.

P.S. Кстати, вот статья, где впервые был предложен IDF: "A statistical interpretation of term specificity and its application in retrieval" (Spärck Jones, 1972).

😻 #train #NN