🔢 LLM-ки DeepMind превзошли людей в решении математических проблем

Команда Google представила новый метод поиска решений FunSearch. Он объединяет разные большие языковые модели (в частности, PaLM 2), чтобы получать решения в форме кода. В системе также есть компонент, которые борется с галлюцинациями LLM.

⭐ В DeepMind заявляют, что это первый раз, когда языковые модели сделали открытие в области науки или математики. FunSearch предложил новые решения для cap set problem, а также нашёл более эффективные алгоритмы для задачи об упаковке в контейнеры (bin packing problem).

📖Исследовательская статья DeepMind

Вышел новый arXiv Report с самыми цитируемыми статьями по ИИ за Q1-Q3 2023 г.

1️⃣GPT-4 Technical Report
На первом месте по цитированиям, конечно, статья OpenAI про GPT-4, вышедшая в марте.
2️⃣Llama 2: Open Foundation and Fine-Tuned Chat Models
На втором месте июльская статья про одну из крупнейших опенсорсных языковых моделей LLaMa-2.
3️⃣LLaMA: Open and Efficient Foundation Language Models
А на третьем более старая LLaMA, вышедшая в феврале.
4️⃣Sparks of Artificial General Intelligence: Early experiments with GPT-4
Далее снова работа про GPT-4 (всё-таки самая важная модель для сообщества). Авторы статьи показали, что LLM способна решать новые и сложные задачи, касающиеся математики, программирования и др.
5️⃣Judging LLM-as-a-Judge with MTBench and Chatbot Arena
Авторы изучали, могут ли языковые модели служить для оценки производительности чат-ботов.

👉Весь arXiv Report можно прочесть по этой ссылке

🐍📋 F-строки в Python для интерполяции и форматирования строк

Из статьи вы узнаете, как использовать f-строки — инструмент для быстрой интерполяции и форматирования строк, который превосходит по эффективности и читабельности классические подходы с применением оператора % и метода .format().

🔗Читать статью

✏️Шпаргалка по основам машинного обучения с формулами и графиками

В шпаргалке собраны:
▫️основные алгоритмы (от линейной регрессии до нейросетей);
▫️метрики;
▫️способы валидации и регуляризации;
▫️базовые понятия из теории вероятностей и комбинаторики;
▫️матричные операции.

Всё на 16 страницах. Подойдёт, чтобы освежить память перед собеседованием.

🔗Шпаргалка находится по этой ссылке

📁💡Где программисту взять идеи для портфолио

Портфолио — это классный способ впечатлить работодателей. Поэтому оно должно состоять не только из интересных проектов, но и отражать весь стек технологий, которым вы обладаете.

Однако у большинства айтишников портфолио состоит из похожих проектов, которыми мало кого можно впечатлить. Под катом разбираемся, как собрать классное портфолио, а главное — где взять интересные идеи для пет-проектов.

🔗 Читать статью
🔗 Зеркало

⚪ Pearl — библиотека для обучения с подкреплением

На днях исследователи Meta AI* представили библиотеку, которая позволяет разрабатывать агентов. Обучаемые агенты отдают приоритет долгосрочной обратной связи над немедленной и могут адаптироваться к средам с ограниченной наблюдаемостью, редкой обратной связью и высокой стохастичностью.

Чтобы воспользоваться Pearl, нужно просто склонировать себе репозиторий и установить зависимости:

git clone https://github.com/facebookresearch/Pearl.git
cd Pearl
pip install -e .

🔗Прочесть о библиотеке подробнее можно здесь

*организация, деятельность которой запрещена на территории РФ

🌍 Вышло новое исследование о том, как ИИ вредит природе

Исследователи из Hugging Face и Университета Карнеги — Меллона пришли к выводу, что генерация одного изображения требует столько же энергии, сколько полная зарядка смартфона. А вот для генерации текста тысячу раз потребуется лишь 16% от этого количества.

🔌Вот ещё пример из исследования: создание 1000 изображений с помощью Stable Diffusion XL приводит к выбросу примерно такого же количества углекислого газа, что и прохождение 6,6 километра на среднем автомобиле с бензиновым двигателем.

Учёные также обнаружили, что использование большой генеративной модели более энергозатратно, чем применение меньшей модели, настроенной под специфическую задачу. Так, классификация отзывов к кино с помощью генеративной модели потребовала в 30 раз больше энергии, чем использование дообученной специально под эту конкретную задачу модели.

Авторы исследования надеются, что их работа поможет привлечь к ответственности компании, разрабатывающие ИИ.

🤔 Что не так с оценками моделей для распознавания изображений?

Исследователи обнаружили, что датасеты, на которых проверяют качество моделей, слишком простые. Из-за этого оценки их производительности могут быть не совсем адекватными.

Чтобы исправить ситуацию, авторы новой работы ввели понятие «минимальное время просмотра» (MVT). Оно определяет сложность распознавания изображения на основе того, как долго человеку необходимо смотреть на него, прежде чем правильно идентифицировать. Исследователи уже провели эксперимент с новой метрикой. Он подтвердил, что существующие тестовые наборы, включая ObjectNet, смещены в сторону более лёгких изображений с более коротким MVT.

Это привело к тому, что крупные модели показывают значительное улучшение на простых изображениях, но добились меньшего прогресса на более сложных изображениях. Для решения проблемы авторы работы предложили новые наборы изображений, помеченных по сложности, а также инструменты для автоматического расчёта MVT.

📖Читать статью

📈 Обзор рынка труда в ИТ: III квартал 2023 года

В этой статье обсудим зарплату программистов в III квартале 2023 года, динамику вакансий, тенденции рынка труда в ИТ и многое другое. Присоединяйтесь!

Читать статью

💬 Сколько часов в день в среднем вы посвящаете работе?

👍 — как и положено, 8 часов
❤️ — 6-7 часов
🤩 — 4-5 часов
🎉 — до четырёх часов
👾 — по ощущениям, я вообще не перестаю работать
🔥 — я не работаю

#интерактив

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🔥 Новая библиотека Tensorflow-GNN для работы с графовыми нейросетями

Вышла первая стабильная версия. Библиотека ориентирована на гетерогенные графы, то есть те, у которых узлы и рёбра могут быть различных типов. Включает:
🟠 тип tfgnn.GraphTensor для представления таких графов;
🟠 инструменты для предобработки данных, в частности, сэмплер графов для преобразования огромной базы данных в поток подграфов разумного размера для обучения и инференса;
🟠 коллекцию готовых к использованию моделей и слоёв Keras;
🟠 API для оркестровки обучения.

👩‍💻Ссылка на репозиторий библиотеки (внутри есть примеры использования на Google Colab)