Свежий #дайджест по статьям и видеороликам:

✍️ Обзор методов повышения производительности LLM
Это один из роликов с конференции DevDay, которые OpenAI опубликовала только сегодня ночью. Представленные выступления шли после блока анонсов от главы компании Сэма Альтмана. В них разработчики рассказали любопытные подробности.
✍️ Влияние больших языковых моделей на научные открытия
Практически книга, в которой рассказывается, как GPT-4 применим в открытии лекарств, биологии, вычислительной химии и т.д.
✍️ Эмбеддинги слов в PyTorch + Lightning
Ролик с песнями, объясняющий, как всё это накодить и использовать в PyTorch.
✍️ Введение в архитектуру MLOps
В статье перечислены ключевые компоненты архитектуры MLOps: от хранения данных до деплоя моделей и их мониторинга.
✍️ Как научить Transformer обрабатывать длинные тексты
Обзор основных идей по оптимизации self-attention.

😒 Расскажите, вы испытывали разочарование от взаимодействия с ИИ?

Инструментов с искусственным интеллектом сейчас больше, чем когда-либо, и все пишут об их крутизне. Но что, если ваш опыт говорит об обратном? Делитесь впечатлениями от попыток внедрить ChatGPT, Midjourney и др. инструменты в работу (и не только в работу) 👇

Чем отличаются друг от друга XGBoost, CatBoost и LightGBM?

⚫ XGBoost (eXtreme Gradient Boosting):
- Строит деревья одинаковой конкретной глубины. Построение идёт послойно, а затем отсекаются листья.
- Имеет механизмы регуляризации, чтобы предотвращать переобучение.
⚫ CatBoost:
- Специализируется на работе с категориальными данными и не требует их предварительной обработки.
- Использует симметричные деревья, что делает процесс обучения быстрее.
⚫ LightGBM (Light Gradient Boosting Machine):
- Строит деревья, ориентируясь не на уровень, а на каждый конкретный лист. Добавляет лист, если разделение по нему даёт прирост в информации.
- Использует технику называемую Gradient-based One-Side Sampling (GOSS), которая уменьшает количество данных в процессе обучения. За счёт этого возрастает скорость.
- Есть механизм Exclusive Feature Bundling (EFB), который объединяет взаимоисключающие переменные в одну. Это тоже увеличивает скорость расчёта.

Для лучшего понимания можно посмотреть лекцию

🤷‍♂️ Пока без платной подписки: OpenAI приостановила покупку ChatGPT Plus

Об этом сообщил глава компании Сэм Альтман в X (бывший Twitter). Он пояснил, что после недавней конференции OpenAI перестало хватать вычислительных ресурсов из-за всплеска активности пользователей. Компания пришлёт уведомление, когда платная подписка снова станет доступна, но точная дата неизвестна.

👀 Тем временем разработчики OpenAI уже корпят над GPT-5. Альтман подтвердил это в интервью Financial Times. Сроки выхода новой модели он тоже не обозначил. GPT-5 обучают не только на открытых данных из интернета, но и на базах данных некоторых компаний. Что именно сможет делать новая модель, Альтман сказать затрудняется.

✍️ Полезное расширение для JupyterLab — Einblick. Позволяет манипулировать датафреймами с помощью запросов на естественном языке

Для работы нужно:
🔸 установить расширение командой pip install ai-einblick-prompt
🔸 создать Jupyter-блокнот в среде JupyterLab, загрузить данные
🔸 нажать справа в ячейке на логотип Einblick
🔸 в появившемся выпадающем меню выбрать генерацию и написать запрос

Примеры запросов:
- «Create a box plot of col_3.»
- «Filter for cat_1, cat_2, and cat_3.»
- «Create a new column, col_1 by splitting col_2 on „-“.»

В ответ на это в следующей ячейке появится соответствующий код.

Убедитесь, что у вас установлена последняя версия JupyterLab для корректной работы.

🐍 Страница расширения на PyPI
🧑‍💻 Сайт с примерами промптов

Хардкорный вышмат для тех, кто интересуется ML, AI, DS

Начать с бесплатного демо-доступа можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/100f1763

Что будет на демо?

– Вводный урок от CPO курса

– Лекции со всеми преподавателями МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск.

– Практические задания и дополнительные материалы!

⚡️Переходите и активируйте – https://proglib.io/w/100f1763

🦄 Вышла новая Emu Video для генерации видео по тексту и картинке

Работает на базе диффузионных моделей. Представленная Meta* система может взаимодействовать с разными входными данными: только текстом, только изображением или и с тем, и с другим одновременно. Внутри Emu Video процесс делится на два этапа: сначала идёт генерация картинки на базе текстового описания, а затем генерация видео на базе созданного изображения и текста. Система способна выдавать 4-секундные ролики 512x512 с 16 fps. Качество нам нравится.

Помимо этого, Meta* анонсировала Emu Edit — модель для редактирования фотографий с помощью текстовых запросов. Можно попросить убрать что-то с изображения или добавить надпись — система будет работать только с теми пикселями, которые имеют отношение к запросу на редактирование.

👩‍💻Статья по Emu Video
👩‍💻Статья по Emu Edit

*организация, деятельность которой запрещена на территории РФ

🗞️ Небольшой обзор новостей этой недели:

🍄 Кембриджский словарь назвал «галлюцинировать» словом года. Эксперты отметили, что теперь это слово используется в переносном значении в контексте ИИ. Когда модель галлюцинирует, это значит, что она выдаёт ложную информацию.

💻 Microsoft Azure представила свой первый AI-чип — Maia 100. Он сделан по 5-нм техпроцессу и получил 105 млрд транзисторов. Процессор предназначен для обучения и использования моделей искусственного интеллекта, в том числе больших языковых моделей, в облаке.

🎶 YouTube анонсировал ИИ-сервисы для генерации музыки. Инструмент Dream Track на базе модели Lyria может сгенерировать 30-секундную композицию в стиле одного из девяти исполнителей, в числе которых Charli XCX, Sia, T-Pain и Трой Сиван.

🌧️ Google DeepMind разработала модель предсказания погоды GraphCast, которая превосходит в точности традиционные системы прогнозов. Она способна создавать точный 10-дневный прогноз менее чем за минуту.

#чтопроисходит

🐍🎨 Генерация красивых QR-кодов с помощью Python

С помощью этого руководства вы узнаете, как использовать Python и библиотеку Segno для создания красивых QR-кодов.

Читать статью

🤔 На странице Google DeepMind нашли вот такой ролик, в котором показывается «метод предсказания, используемый в больших языковых моделях». Ну как, вам стало понятнее?

А если действительно хотите разобраться с тем, как устроены такие модели, то можно посмотреть это видео. В нём объясняется, как именно языковая модель генерирует текст, а также рассказывается, какие алгоритмы она использует для выбора следующего слова (жадный, beam search, top-k и top-p сэмплирование).

Одна из самых обсуждаемых новостей выходных — сооснователя OpenAI Сэма Альтмана уволили с поста исполнительного директора

⚫ Как это произошло:
В полдень прошедшей пятницы Сэма позвали на рабочий созвон. Там ему объявили, что совет директоров принял решение об увольнении. Почти сразу после этого OpenAI опубликовала сообщение о кадровых изменениях в X.

Увольнение оказалось неожиданностью для многих. Журналисты сообщают, что даже в Microsoft никого не предупредили об этом. Вслед за Альтманом OpenAI покинули соучредитель компании Грег Брокман и ещё три старших разработчика.

⚫ Почему это произошло:
По официальной версии, которую сообщили в блоге OpenAI, Альтман «не всегда был откровенен в общении» с советом директоров. Журналистка Кара Свишер сообщила, что, по её сведениям, Альтмана могли уволить из-за финансовых разногласий внутри OpenAI.

🤔 В воскресенье появилась информация о том, что совет директоров уже обсуждает с Сэмом возможность его возвращения.

Что такое мера TF-IDF и какие у неё есть проблемы?

Это статистическая мера, используемая для оценки важности слова в документе, который является частью набора документов. Состоит, собственно, из:
🔷 TF (Частота слова). Это число, показывающее, сколько раз слово встречается в документе. Чем чаще, тем слово важнее в контексте этого документа.
🔷 IDF (Обратная частота документа). Это мера, которая уменьшает вес слов, часто встречающихся во всём корпусе документов. Чем реже слово встречается во всём корпусе, тем больше его вклад в IDF.

TF и IDF перемножаются. На основе TF-IDF значений слов можно построить векторы документов.

Проблем у этого подхода несколько. Во-первых, векторы получаются довольно разреженными, занимают много места и требуют много вычислительных ресурсов. Во-вторых, при таком подходе не учитывается контекст, в котором используются слова. Кроме того, здесь применяется фиксированный размер словаря и при изменении набора документов все векторы приходится пересчитывать.

#вопросы_с_собеседований