Хардкорный вышмат для тех, кто интересуется ML, AI, DS

Начать с бесплатного демо-доступа можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/100f1763

Что будет на демо?

– Вводный урок от CPO курса

– Лекции со всеми преподавателями МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск.

– Практические задания и дополнительные материалы!

⚡️Переходите и активируйте – https://proglib.io/w/100f1763

🦄 Вышла новая Emu Video для генерации видео по тексту и картинке

Работает на базе диффузионных моделей. Представленная Meta* система может взаимодействовать с разными входными данными: только текстом, только изображением или и с тем, и с другим одновременно. Внутри Emu Video процесс делится на два этапа: сначала идёт генерация картинки на базе текстового описания, а затем генерация видео на базе созданного изображения и текста. Система способна выдавать 4-секундные ролики 512x512 с 16 fps. Качество нам нравится.

Помимо этого, Meta* анонсировала Emu Edit — модель для редактирования фотографий с помощью текстовых запросов. Можно попросить убрать что-то с изображения или добавить надпись — система будет работать только с теми пикселями, которые имеют отношение к запросу на редактирование.

👩‍💻Статья по Emu Video
👩‍💻Статья по Emu Edit

*организация, деятельность которой запрещена на территории РФ

🗞️ Небольшой обзор новостей этой недели:

🍄 Кембриджский словарь назвал «галлюцинировать» словом года. Эксперты отметили, что теперь это слово используется в переносном значении в контексте ИИ. Когда модель галлюцинирует, это значит, что она выдаёт ложную информацию.

💻 Microsoft Azure представила свой первый AI-чип — Maia 100. Он сделан по 5-нм техпроцессу и получил 105 млрд транзисторов. Процессор предназначен для обучения и использования моделей искусственного интеллекта, в том числе больших языковых моделей, в облаке.

🎶 YouTube анонсировал ИИ-сервисы для генерации музыки. Инструмент Dream Track на базе модели Lyria может сгенерировать 30-секундную композицию в стиле одного из девяти исполнителей, в числе которых Charli XCX, Sia, T-Pain и Трой Сиван.

🌧️ Google DeepMind разработала модель предсказания погоды GraphCast, которая превосходит в точности традиционные системы прогнозов. Она способна создавать точный 10-дневный прогноз менее чем за минуту.

#чтопроисходит

🐍🎨 Генерация красивых QR-кодов с помощью Python

С помощью этого руководства вы узнаете, как использовать Python и библиотеку Segno для создания красивых QR-кодов.

Читать статью

🤔 На странице Google DeepMind нашли вот такой ролик, в котором показывается «метод предсказания, используемый в больших языковых моделях». Ну как, вам стало понятнее?

А если действительно хотите разобраться с тем, как устроены такие модели, то можно посмотреть это видео. В нём объясняется, как именно языковая модель генерирует текст, а также рассказывается, какие алгоритмы она использует для выбора следующего слова (жадный, beam search, top-k и top-p сэмплирование).

Одна из самых обсуждаемых новостей выходных — сооснователя OpenAI Сэма Альтмана уволили с поста исполнительного директора

⚫ Как это произошло:
В полдень прошедшей пятницы Сэма позвали на рабочий созвон. Там ему объявили, что совет директоров принял решение об увольнении. Почти сразу после этого OpenAI опубликовала сообщение о кадровых изменениях в X.

Увольнение оказалось неожиданностью для многих. Журналисты сообщают, что даже в Microsoft никого не предупредили об этом. Вслед за Альтманом OpenAI покинули соучредитель компании Грег Брокман и ещё три старших разработчика.

⚫ Почему это произошло:
По официальной версии, которую сообщили в блоге OpenAI, Альтман «не всегда был откровенен в общении» с советом директоров. Журналистка Кара Свишер сообщила, что, по её сведениям, Альтмана могли уволить из-за финансовых разногласий внутри OpenAI.

🤔 В воскресенье появилась информация о том, что совет директоров уже обсуждает с Сэмом возможность его возвращения.

Что такое мера TF-IDF и какие у неё есть проблемы?

Это статистическая мера, используемая для оценки важности слова в документе, который является частью набора документов. Состоит, собственно, из:
🔷 TF (Частота слова). Это число, показывающее, сколько раз слово встречается в документе. Чем чаще, тем слово важнее в контексте этого документа.
🔷 IDF (Обратная частота документа). Это мера, которая уменьшает вес слов, часто встречающихся во всём корпусе документов. Чем реже слово встречается во всём корпусе, тем больше его вклад в IDF.

TF и IDF перемножаются. На основе TF-IDF значений слов можно построить векторы документов.

Проблем у этого подхода несколько. Во-первых, векторы получаются довольно разреженными, занимают много места и требуют много вычислительных ресурсов. Во-вторых, при таком подходе не учитывается контекст, в котором используются слова. Кроме того, здесь применяется фиксированный размер словаря и при изменении набора документов все векторы приходится пересчитывать.

#вопросы_с_собеседований

🧑‍🚀 Для будущих колонизаторов Марса: создан робот с ИИ для извлечения кислорода из воды

Робот использует марсианские руды для производства катализаторов, позволяющих расщеплять воду на кислород и водород. Предварительно учёные рассчитали, что существует 3 764 376 возможных формул. Для нахождения оптимальной потребовалось бы 2000 лет человеческого труда, поэтому исследователи решили использовать систему искусственного интеллекта.

🚀 За шесть недель ИИ-химик построил модель, изучив почти 30 000 наборов теоретических данных и 243 набора экспериментальных данных и используя алгоритмы машинного обучения и байесовской оптимизации. С помощью модели учёные получили многообещающую формулу катализатора. Синтезированный материал уже прошёл стресс-тест при температуре -37°С и подтвердил способность работать в суровых условиях Марса.

Статья учёных

👀 Продолжают развиваться события вокруг увольнения Сэма Альтмана из OpenAI

▪️Утром глава Microsoft Сатья Наделла сообщил, что Альтман возглавит исследовательскую группу компании в области искусственного интеллекта. Также стало известно, что пост главы OpenAI займёт сооснователь Twitch Эммет Шир.
▪️ Журналисты пишут, что большинство сотрудников OpenAI (как минимум 650 из 770) пригрозили уйти из компании и присоединиться к Microsoft. Они хотят, чтобы совет директоров восстановил Альтмана и ещё одного соучредителя Грега Брокмана, а затем ушёл в отставку. Главный научный сотрудник OpenAI Илья Суцкевер, который, как сообщается, активно участвовал в увольнении Сэма, написал, что у него есть сожаления по поводу произошедшего.

❤️ В соцсети X сотрудники OpenAI активно пишут о том, что компания — «ничто без своих людей». Многие склонны считать, что всё действительно может закончиться отставкой совета директоров.

🩺 Страховую компанию обвинили в использовании плохой ML-модели. Из-за неё многие люди, нуждающиеся в помощи, получают отказы

Речь идёт о UnitedHealth Group, крупнейшей компании США в области медицинского страхования. Иск против UnitedHealth подали родственники двух человек, умерших после того, как им отказали в страховке. Заявление подкреплено результатами журналистского расследования, которое показывает, что UnitedHealth использует ненадёжный алгоритм под названием nH Predict.

Алгоритм компания начала применять ещё в 2019 году. Он оценивает, какой объём медицинской помощи понадобится пациенту после острой травмы или заболевания. Сообщается, что алгоритм не учитывает многие важные факторы. Из-за этого престарелые пациенты, которые могли бы претендовать на 100 дней ухода в реабилитационном центре, покрываемого страховкой, остаются там не дольше чем на две недели. Это может пагубно сказываться на их здоровье.

Бывшие сотрудники UnitedHealth утверждают, что после внедрения алгоритма фокус компании сместился с защиты интересов пациентов на показатели эффективности.

Очередной #дайджест:

🟣 Практический пример использования модели детекции изображений
Автор подробно рассказывает об учебном проекте, в рамках которого прикрутил модель детекции изображений к умной кормушке.
🟣 Исследование: ChatGPT работает лучше на Julia, чем на Python и R
Перевод статьи исследователя из Массачусетского технологического института. Он, к своему удивлению, выяснил, что ChatGPT лучше справляется с задачами генерации кода на менее распространённом языке Julia.
🟣 Файн-тюнинг языковых моделей для уменьшения фактических ошибок
Авторы статьи представили метод, позволяющий увеличить процент сгенерированных правильных утверждений. Они увидели снижение количества фактических ошибок при генерации на 58% по сравнению с Llama 2 7B Chat.
🟣 Эмбеддинги и векторное хранилище с ChromaDB
Подробная статья о том, что такое векторное представление данных, как работать с эмбеддингами и использовать ChromaDB. Всё с большим количеством примеров кода.

А расскажите, как у вас обстоят дела с Kaggle?

❤️ — я активный участник соревнований
👍 — иногда захожу в поисках чего-то интересного, беру датасеты оттуда
👾 — заходил только во время обучения/в самом начале карьерного пути
🎉 — вообще никогда этим не интересовался/не сталкивался

#интерактив

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

⚡ Самый быстрый камбэк в истории — Альтмана вернули на пост CEO OpenAI

Об этом сообщил официальный аккаунт OpenAI в X. Также компания заявила об изменениях в составе совета директоров. В него войдут Брет Тейлор (председатель), Ларри Саммерс и Адам Д'Анджело. Соучредитель Грег Брокман тоже возвращается в компанию.

Сэм Альтман прокомментировал новость так:

Я люблю OpenAI, и всё, что я сделал за последние несколько дней, было ради того, чтобы сохранить эту команду и её миссию. Когда в воскресенье вечером я решил присоединиться к Microsoft, было ясно, что это лучший путь для меня и команды. C новым советом директоров и поддержкой Cатьи, я с нетерпением жду возвращения в OpenAI и продолжения нашего сильного партнёрства с Microsoft

Что такое метод главных компонент (Principal Component Analysis, PCA)

Метод используется для понижения размерности данных и выявления наиболее информативных признаков. Дело в том, что между признаками нередко может наблюдаться некоторая зависимость, тогда их можно скомбинировать и уменьшить избыточность данных.

Как использовать PCA:
🔸 Первым делом нужно стандартизировать данные, так как метод очень чувствителен к этому.
🔸 Далее нужно вычислить ковариационную матрицу по матрице признаков.
🔸 Затем следует найти собственные значения и собственные векторы получившейся матрицы. Вклад признака тем сильнее, чем больше соответствующее собственное число.
🔸 Сортируем и выбираем те собственные векторы, которые соответствуют наибольшему вкладу. Эти векторы определяют новые оси в пространстве признаков.

PCA реализован, например, в Scikit-learn. На картинке показано, как использовать метод на стандартном датасете Iris.

🔥 Создатели Stable Diffusion представили свою первую опенсорсную модель для генерации видео

Stable Video Diffusion может быть легко адаптирована к различным задачам, включая генерацию нескольких ракурсов на базе одного изображения благодаря файн-тюнингу на соответствующем датасете.

Предварительная версия Stable Video Diffusion позволяет создавать короткие видеоролики на 14 и 25 кадров с частотой от 3 до 30 кадров в секунду. Утверждается, что новая модель превосходит другие системы для генерации роликов, например, Pika.

🧑‍💻 Код модели в репозитории на GitHub
🤗 Веса для локального запуска модели на Hugging Face
📃 Статья команды Stability AI

Отличное визуальное руководство по NumPy

Также поможет уложить в голове матричные операции.

🔗 Смотреть полное руководство на сайте Solothought.com

🔥 Это мы смотрим: Андрей Карпаты опубликовал лекцию «Введение в большие языковые модели»

Андрей Карпаты — один из ведущих специалистов OpenAI и экс-разработчик автопилота Tesla. Вчера на YouTube появилась его часовая лекция о том, как работают большие языковые модели (LLM), лежащие в основе нашумевших чат-ботов. Затрагиваются темы файн-тюнинга, улучшения моделей и их взлома. Всё должно быть понятно и новичку 👌

🕛 Некоторые тайм-коды:
00:11:22 Как работают LLM
00:25:43 Законы масштабирования LLM
00:33:32 Мультимодальность моделей
00:35:00 Про перспективы LLM
00:46:14 Про взломы

Также Карпаты опубликовал слайды презентации