🐍📋 F-строки в Python для интерполяции и форматирования строк

Из статьи вы узнаете, как использовать f-строки — инструмент для быстрой интерполяции и форматирования строк, который превосходит по эффективности и читабельности классические подходы с применением оператора % и метода .format().

🔗Читать статью

✏️Шпаргалка по основам машинного обучения с формулами и графиками

В шпаргалке собраны:
▫️основные алгоритмы (от линейной регрессии до нейросетей);
▫️метрики;
▫️способы валидации и регуляризации;
▫️базовые понятия из теории вероятностей и комбинаторики;
▫️матричные операции.

Всё на 16 страницах. Подойдёт, чтобы освежить память перед собеседованием.

🔗Шпаргалка находится по этой ссылке

📁💡Где программисту взять идеи для портфолио

Портфолио — это классный способ впечатлить работодателей. Поэтому оно должно состоять не только из интересных проектов, но и отражать весь стек технологий, которым вы обладаете.

Однако у большинства айтишников портфолио состоит из похожих проектов, которыми мало кого можно впечатлить. Под катом разбираемся, как собрать классное портфолио, а главное — где взять интересные идеи для пет-проектов.

🔗 Читать статью
🔗 Зеркало

⚪ Pearl — библиотека для обучения с подкреплением

На днях исследователи Meta AI* представили библиотеку, которая позволяет разрабатывать агентов. Обучаемые агенты отдают приоритет долгосрочной обратной связи над немедленной и могут адаптироваться к средам с ограниченной наблюдаемостью, редкой обратной связью и высокой стохастичностью.

Чтобы воспользоваться Pearl, нужно просто склонировать себе репозиторий и установить зависимости:

git clone https://github.com/facebookresearch/Pearl.git
cd Pearl
pip install -e .

🔗Прочесть о библиотеке подробнее можно здесь

*организация, деятельность которой запрещена на территории РФ

🌍 Вышло новое исследование о том, как ИИ вредит природе

Исследователи из Hugging Face и Университета Карнеги — Меллона пришли к выводу, что генерация одного изображения требует столько же энергии, сколько полная зарядка смартфона. А вот для генерации текста тысячу раз потребуется лишь 16% от этого количества.

🔌Вот ещё пример из исследования: создание 1000 изображений с помощью Stable Diffusion XL приводит к выбросу примерно такого же количества углекислого газа, что и прохождение 6,6 километра на среднем автомобиле с бензиновым двигателем.

Учёные также обнаружили, что использование большой генеративной модели более энергозатратно, чем применение меньшей модели, настроенной под специфическую задачу. Так, классификация отзывов к кино с помощью генеративной модели потребовала в 30 раз больше энергии, чем использование дообученной специально под эту конкретную задачу модели.

Авторы исследования надеются, что их работа поможет привлечь к ответственности компании, разрабатывающие ИИ.

🤔 Что не так с оценками моделей для распознавания изображений?

Исследователи обнаружили, что датасеты, на которых проверяют качество моделей, слишком простые. Из-за этого оценки их производительности могут быть не совсем адекватными.

Чтобы исправить ситуацию, авторы новой работы ввели понятие «минимальное время просмотра» (MVT). Оно определяет сложность распознавания изображения на основе того, как долго человеку необходимо смотреть на него, прежде чем правильно идентифицировать. Исследователи уже провели эксперимент с новой метрикой. Он подтвердил, что существующие тестовые наборы, включая ObjectNet, смещены в сторону более лёгких изображений с более коротким MVT.

Это привело к тому, что крупные модели показывают значительное улучшение на простых изображениях, но добились меньшего прогресса на более сложных изображениях. Для решения проблемы авторы работы предложили новые наборы изображений, помеченных по сложности, а также инструменты для автоматического расчёта MVT.

📖Читать статью

📈 Обзор рынка труда в ИТ: III квартал 2023 года

В этой статье обсудим зарплату программистов в III квартале 2023 года, динамику вакансий, тенденции рынка труда в ИТ и многое другое. Присоединяйтесь!

Читать статью

💬 Сколько часов в день в среднем вы посвящаете работе?

👍 — как и положено, 8 часов
❤️ — 6-7 часов
🤩 — 4-5 часов
🎉 — до четырёх часов
👾 — по ощущениям, я вообще не перестаю работать
🔥 — я не работаю

#интерактив

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🔥 Новая библиотека Tensorflow-GNN для работы с графовыми нейросетями

Вышла первая стабильная версия. Библиотека ориентирована на гетерогенные графы, то есть те, у которых узлы и рёбра могут быть различных типов. Включает:
🟠 тип tfgnn.GraphTensor для представления таких графов;
🟠 инструменты для предобработки данных, в частности, сэмплер графов для преобразования огромной базы данных в поток подграфов разумного размера для обучения и инференса;
🟠 коллекцию готовых к использованию моделей и слоёв Keras;
🟠 API для оркестровки обучения.

👩‍💻Ссылка на репозиторий библиотеки (внутри есть примеры использования на Google Colab)

🐍⚙️ Python или Rust: что выбрать для анализа данных и машинного обучения

Хоть Python давно стал основным языком машинного обучения и анализа данных, у него есть конкуренты. На этот раз поговорим про Rust. Он гораздо сложнее Python, но у него есть два важных преимущества — высокая производительность, сопоставимая с C/C++, и надёжный механизм обеспечения безопасности. В статье сравниваем два языка подробнее.

👉Читать статью

🧑‍💻 В Apple придумали, как в 20 раз ускорить инференс моделей на устройствах с малым объёмом оперативки

Авторы новой статьи предлагают хранить параметры модели на флеш-памяти так, чтобы DRAM получала их только по запросу. Новый способ оптимизирует две критических области: снижение объёма даных, переносимых с флеш-устройства, и чтение данных более крупными кусками.

В Apple создали два метода для решения этих проблем. Первый— «windowing'», или «оконизация», который сокращает передачу данных, переиспользуя ранее активированные нейроны. Второй — «row-column bundling», или «связывание столбца-строки», который увеличивает куски данных, считываемые с флеш-памяти.

Вместе эти методы позволяют запускать модели, размер которых в два раза превышает размер доступной DRAM, с увеличением скорости инференса в 4–5 раз и 20–25 раз по сравнению с простым использованием CPU и GPU.

📖Читать статью полностью

🌎 ТОП-10: рейтинг лучших зарубежных работодателей в IT

При составлении рейтинга учитывали различные факторы из открытых данных портала Glassdoor, включая отзывы сотрудников, уровень лояльности действующих и бывших сотрудников, зарплата, льготы, бонусы и прочие бенефиты.

1️⃣ Red Hat
2️⃣ Gainsight
3️⃣ Box
4️⃣ MathWorks
5️⃣ ServiceNow
6️⃣ Marvell Technology
7️⃣ CrowdStrike
8️⃣ Fortinet
9️⃣ NetApp
🔟 Genentech

👉 Читать статью

🚪 А давайте разберёмся с парадоксом Монти Холла

Представьте, что вы играете в игру на телевизионном шоу. Перед вами три закрытые двери: A, B, C. За одной из них спрятан приз. Ведущий предлагает вам выбрать одну из дверей. Вы выбираете дверь, например A, но её пока не открывают. Вместо этого ведущий открывает одну из двух не выбранных дверей (естественно, ту, за которой нет приза), например B. Затем ведущий предлагает вам открыть одну из двух оставшихся закрытых дверей: A или C, и забрать приз, если он за ней есть. Какую дверь вы откроете: A или C?

Если сформулировать задачу на языке теории вероятностей, то оцените, за какой дверью приз находится с большей вероятностью — за изначально выбранной вами дверью A или за дверью C?

👩‍🦰 Для тех, кто хочет понять, как устроена Stable Diffusion

Разработчик с ником naklecha написал подробный и понятный блогпост о том, что такое Latent Consistency Models (LCM). Это способ ускорить Diffusion-модели, такие как Stable Diffusion. Поэтому в посте попутно объясняется архитектура последней.

Если коротко:
👣 Сначала модели на вход подаётся вектор изображения, затем он кодируется в вектор скрытого пространства.
👣 К полученному вектору много раз добавляется шум. Этот процесс называют (прямой) диффузией.
👣 Текстовый вход тоже кодируется в скрытый вектор, который добавляется к зашумленному вектору изображения.
👣 Модель обучается расшумлять такой вектор, то есть её задача — правильно предсказывать добавленный шум.
👣 Для генерации новых изображений создаётся рандомный зашумленный вектор. Далее он расшумляется и полученный вектор декодируется в новое изображение.

👩‍💻Прочесть об этом всём подробнее и посмотреть иллюстрации с аниме-девочкой можно здесь

💌 А мы напоминаем, что у нас есть еженедельная email-рассылка про ИИ, и делимся тут некоторыми интересностями из неё

Из новостей:
🤯 Исследователи из Дании и США разработали модель Life2vec, которая с более чем 75% точностью предсказывает события в жизни людей — например, вероятность смерти в ближайшие годы.
⚡ Новая версия Midjourney стала доступна в Дискорде. Нужно добавить к промпту параметр -v 6.

Из инструментов:
👾 Scenario — генерирует иллюстрации и ассеты для игр в нужном стиле.
✍️ Study Fetch — записывает и транскрибирует учебные лекции, делает суммаризацию материалов, генерирует тесты и карточки для самопроверки.
👀 DeepSwapper — инструмент для создания мемов и иллюстраций для соцсетей: бесплатно и реалистично заменяет лица на фото.
🎼 Suno — напишет песню (музыку, текст, вокал) в нужном стиле, вот пример трека — Electric Appetite.

Ещё больше инструментов, интересных материалов, гайдов и статей — в рассылке. 👉Подписывайтесь, чтобы получить полное письмо завтра👈

#ИИproglib