Как использовать алгоритмы бинарной классификации для многоклассовой классификации

Зачем? Ради разнообразия (или когда мы не знаем других способов решения задачи).

Допустим, нам нужно классифицировать фрукты: яблоки, бананы и апельсины. Тогда мы решаем несколько задач с двумя классами: сначала яблоки и не яблоки (бананы + апельсины), затем бананы и не бананы (яблоки + апельсины) и в конце концов апельсины и не апельсины (бананы + яблоки). Это метод One vs All.

В результате мы получаем три модели. Каждая из них пытается отнести новый объект (например, 🍎) к своей категории. Так, у нас есть три выхода: «Я на 92% уверена, что это яблоко» от первой модели; «Я на 5% уверена, что это банан» от второй модели; «Я на 9% уверена, что это апельсин» от третьей модели. Выбираем вариант «яблоко».

Источник

🌦️Теперь модель Google MetNet-3 может предсказать погоду за сутки

MetNet-3 даёт прогнозы с высоким разрешением на срок до 24 часов вперёд для таких параметров, как осадки, температура поверхности, скорость и направление ветра, а также точка росы. Предыдущая версия модели MetNet-2 могла прогнозировать осадки только на 12 часов вперёд.

MetNet-3 создаёт детализированный прогноз с интервалом времени в 2 минуты и пространственным разрешением от 1 до 4 километров. Google утверждает, что новая модель превосходит традиционные методы прогнозирования, в том числе Numerical Weather Prediction (NWP). MetNet-3 использует данные прямых наблюдений за атмосферой, в частности точечные измерения с метеостанций.

На иллюстрации вверху — прогноз скорости ветра MetNet-3 на каждые 2 минуты в течение грядущих 24 часов с пространственным разрешением 4 км. Внизу — почасовой прогноз ENS с пространственным разрешением 18 км.

Google уже начала внедрять новую модель в свои продукты и сервисы.

👨‍💻 9 трендов в найме айтишников в 2023 году

Рассказываем, что интересного происходит в найме IT-специалистов.

По данным Хабр Карьеры, бэкендеры и фронтендеры испытывают трудности с поиском работы — спрос на них уменьшился на 4% и 15% соответственно.

Но сложнее всего сейчас мобильным разработчикам. А все потому, что рынок мобильной разработки рухнул на 24% по сравнению с показателями прошлого года. Но этот тренд в большей степени коснулся стажеров и джунов.

Читать статью

Раздражает ли вас, что все вокруг называют любые нейросети и другие модели машинного обучения искусственным интеллектом? Как вы думаете, искажает ли это представление о реальных возможностях современных моделей?

Это уже телепатия или ещё нет? ИИ научился реконструировать по активности мозга картинки, которые видел человек. Почти в режиме реального времени.

О новой системе искусственного интеллекта, способной на это, недавно рассказали исследователи Meta*. Для обучения использовали данные магнитоэнцефалографии (МЭГ). Система ИИ состоит из трёх частей:

- энкодера изображений,
- энкодера активности мозга,
- декодера изображений.

Первый энкодер создаёт векторные представления картинок как таковых, второй — обучается сопоставлять сигналы МЭГ с этими векторными представлениями, а третий декодер способен генерировать непрерывный поток изображений на основе активности мозга.

Пока реконструированные картинки получаются неточными и иногда даже смешными. Но, согласитесь, и это впечатляет.

Читать статью

*организация, деятельность которой запрещена на территории РФ

💌 А у нас есть еженедельная email-рассылка, и в ней мы пишем о самом интересном в индустрии ИИ

Например, о том, как:
⚡ 28 стран подписали соглашение о безопасности ИИ на саммите в Великобритании
⚡ Google DeepMind научила AlphaFold предсказывать 3D-структуры практически всех каталогизированных молекул в биологии, включая ДНК
⚡ В ChatGPT Plus появилась возможность анализировать и визуализировать данные из PDF-файлов и документов

Ещё мы рассказываем про полезные инструменты:
🔧 Palette — превращает чёрно-белые изображения в цветные
🔧 MagicPost — пишет первоклассные посты для LinkedIn
🔧 Speak — транскрибирует любые аудио- и видеоматериалы

Делаем подборки бесплатных книг:
📖 Machine Learning For Absolute Beginners
📖 Mathematics for Machine Learning

А также собираем полезные гайды и курсы. В тексте поста — часть, а если хотите всё, то подпишитесь на рассылку сегодня, чтобы получить письмо завтра.

#ИИproglib

🤖Соглашение между странами и пророчество: в Великобритании прошёл первый глобальный саммит об искусственном интеллекте

Саммит стартовал 1 ноября в Блетчли-парке и продлился два дня. В первый же день участники подписали «первое в мире соглашение» об управлении рискованными формами искусственного интеллекта (это касается и больших языковых моделей). Участвовали представители 28 стран, в том числе Китая и США.

👨‍💻Саммит не обошёлся без Илона Маска, который побеседовал с самим премьер-министром Великобритании Риши Сунаком. Предприниматель заявил, что рано или поздно настанет момент, когда необходимость работать исчезнет — всю работу сможет делать ИИ. Маск отметил, что это и хорошо, и плохо одновременно.

👑На саммите также прозвучало записанное заявление британского короля Карла III о том, что развитие искусственного интеллекта является «не менее важным, чем открытие электричества».

💷Помимо этого, Великобритания объявила, что инвестирует 225 миллионов фунтов стерлингов в новый суперкомпьютер для искусственного интеллекта Isambard-AI.

Свежий #дайджест по DS

✍️ Чем может быть полезно хеширование в рекомендательных системах
У простой модели рекомендательной системы при использовании может возникнуть проблема масштабирования. Справиться с этим позволяет следующий трюк — множество пользователей сопоставляется с одним скрытым (latent) представлением с помощью хеш-функции.
✍️ Риски и перспективы использования LLM для проверки фактов
Авторы новой статьи проверили, как большие языковые модели справляются с фактчекингом. Оказалось, что хорошо, когда у них есть контекстуальная информация. При этом GPT-4 превосходит GPT-3.
✍️ Управление рисками искусственного интеллекта в эпоху быстрого прогресса
Авторы статьи предлагают серьёзно отнестись к возможности того, что универсальные системы ИИ превзойдут способности человека во многих критически важных областях в течение этого десятилетия или следующего.
✍️ 6 способов уменьшить галлюцинации ChatGPT
Про улучшение ответов модели с помощью промптов.

👆Шпаргалка по аналогичным операциям в Pandas и SQL. Если вы знакомы с каким-то из этих инструментов лучше, чем с другим, то пригодится.

Источник

Примечание: в четвёртой строчке таблицы опечатка — df.dtypes, а не df.dtyes; в десятой строчке таблицы правильный SQL-запрос — SELECT * FROM table1
UNION ALL
SELECT * FROM table2;

🐍💼 Подготовка к собеседованию по Python: решаем 5 интересных задач

Проверяем двоичные деревья на симметричность, вычисляем расстояние Дамерау-Левенштейна и оцениваем сложность алгоритмов.

Читать статью

⚡Через полчаса начнётся OpenAI DevDay — первая онлайн-конференция для разработчиков от создателей ChatGPT

CEO компании Сэм Альтман ранее пообещал «несколько отличных новинок». По слухам, OpenAI может удешевить доступ к моделям GPT, улучшить UI в браузере и представить новые инструменты.

Трансляцию можно посмотреть по этой ссылке в 21:00 по мск. А мы обязательно расскажем о самых интересных анонсах OpenAI 😉

О чём рассказала OpenAI на DevDay

🤖 Новая GPT-4 Turbo
- Расширено контекстное окно — от 32 тысяч токенов до 128 тысяч (более 300 страниц текста). Модель научили аккуратно работать с последовательностями такой длины.
- Стало больше контроля при получении ответов через API-запросы. Теперь можно заставить модель всегда возвращать JSON и сделать ответы более стабильными через специальный seed. Также можно возвращать log probabilities.
- База знаний обновлена до апреля 2023-го.
- Стоимость входных токенов для GPT-4 Turbo снижена в 3 раза, а выходных токенов — в 2 раза по сравнению с GPT-4.

Новая модель доступна в виде gpt-4-1106-preview. Стабильную версию обещают в ближайшие недели.

🧑‍💻 Assistants API
Для создания ассистентов, которые имеют собственные инструкции, используют внешние источники информации и могут выполнять различные задачи. API поддерживает интерпретатор кода, извлечение информации из базы знаний и функции. Есть фишка для управления состояниями ассистентов — threads, в которые просто добавляются новые сообщения. Подробнее можно почитать в документации.

🪄 Доступ к DALL·E 3 через API

🎤 Text-to-speech (TTS) API для озвучания текста

👥 GPTs
Появился инструмент для создания кастомизированных версий ChatGPT. Не требует писать код: собственное приложение можно сделать в специальном редакторе с помощью команд на естественном языке. Можно дать GPT инструкции и дополнительные знания, а также выбрать, что будет делать помощник, например, искать в интернете. OpenAI запускает GPT Store, где разработчики смогут разместить собственные GPTs.

🤔 Что думаете об анонсах? Будете что-нибудь использовать в работе?

Очередной #дайджест по Data Science:

✍️ Исследование режима Copy-on-Write в Pandas
Подробный разбор в двух частях. Автор объясняет механизм работы CoW, который позволяет удобно изменять любой объект DataFrame или Series, полученный из другого объекта.
✍️ Как улучшить точность генеративных ответов LLM с помощью собственного RAG
Большие языковые модели могут галлюцинировать при ответах на вопросы по загруженным документам. Иными словами, LLM выдаёт неправильные ответы, поскольку использует устаревшие данные из «весов». Справиться с этим поможет Retrieval-augmented generation (RAG).
✍️ «ChatGPT-детектор» отличает сгенерированные ИИ научные статьи от настоящих с высокой точностью
Исследователи рассказывают о создании классификатора, который с высокой точностью определяет фальшивки.
✍️ Создание игры Angry Pumpkins с помощью нейросетей
Перевод статьи разработчика Javi Lopez, в которой он рассказывает, как создал игру только с помощью промптов к GPT-4, Midjourney и DALL-E.

💬Признавайтесь, часто используете ChatGPT (или аналоги) в работе? Действительно облегчает жизнь?

🔥 — часто, упрощает работу
🤔 — изредка
👾 — я старовер и не пользуюсь этим

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

👯 Представлена YOLO-NAS Pose — лучшая на сегодня модель для определения поз людей на видео

Ранее в этом году стартап Deci выпустил систему обнаружения объектов YOLO-NAS. Теперь на её основе создали новый инструмент. Утверждается, что M-версия YOLO-NAS Pose определяет позы на видео с задержкой на 38.85% меньше, чем у L-модели YOLOv8.

YOLO-NAS Pose выполняет две задачи одновременно: детектирует людей на видео и определяет их позы за один проход. Модель неплохо работает сразу с несколькими людьми в кадре.

Репозиторий с YOLO-NAS Pose
Колаб с примером
Колаб для файн-тюнинга

🚀 Ускоряем EDA с ydata-profiling

Разведочный анализ данных (exploratory data analysis, EDA) — первый шаг во многих проектах машинного обучения. Сделать его быстрее можно с помощью библиотеки ydata-profiling.

Одной строчкой кода можно получить подробный отчёт в формате html, включающий:
▫️основные статистики по каждой колонке (среднее, медиана, мода);
▫️распределение данных;
▫️корреляции между признаками;
▫️количество пропущенных значений и т.д.

Есть мнение, что для более хорошего понимания данных всё равно следует провести EDA вручную, но ydata-profiling позволяет сделать эффективный первичный анализ.

Репозиторий с инструкцией

Ночью прошёл GitHub Universe 2023, на котором говорили, вы не поверите, про ИИ

В декабре на платформе станет официально доступен Copilot Chat как часть подписки GitHub Copilot. В его основе лежит модель OpenAI GPT-4. Copilot Chat использует ваш открытый код для контекста, помогает находить ошибки и предлагает новые решения. Инструмент добавят и в IDE от JetBrains — предварительная версия уже доступна.

Помимо этого, GitHub намерен внедрять новую подписку Copilot корпоративного уровня. Copilot Enterprise даст возможность персонализировать Copilot Chat под кодовую базу организации.

Также анонсировали GitHub Copilot Workspace. Работать это будет так: вы открываете issue, платформа генерирует спецификацию и автоматически создаёт план, как внедрить требуемые изменения. Все предлагаемые решения можно запустить и протестировать. Если появятся какие-то ошибки, Copilot Workspace автоматически их исправит. Новый инструмент планируют выпустить в 2024 году.