🐍⚙️ Python или Rust: что выбрать для анализа данных и машинного обучения

Хоть Python давно стал основным языком машинного обучения и анализа данных, у него есть конкуренты. На этот раз поговорим про Rust. Он гораздо сложнее Python, но у него есть два важных преимущества — высокая производительность, сопоставимая с C/C++, и надёжный механизм обеспечения безопасности. В статье сравниваем два языка подробнее.

👉Читать статью

🧑‍💻 В Apple придумали, как в 20 раз ускорить инференс моделей на устройствах с малым объёмом оперативки

Авторы новой статьи предлагают хранить параметры модели на флеш-памяти так, чтобы DRAM получала их только по запросу. Новый способ оптимизирует две критических области: снижение объёма даных, переносимых с флеш-устройства, и чтение данных более крупными кусками.

В Apple создали два метода для решения этих проблем. Первый— «windowing'», или «оконизация», который сокращает передачу данных, переиспользуя ранее активированные нейроны. Второй — «row-column bundling», или «связывание столбца-строки», который увеличивает куски данных, считываемые с флеш-памяти.

Вместе эти методы позволяют запускать модели, размер которых в два раза превышает размер доступной DRAM, с увеличением скорости инференса в 4–5 раз и 20–25 раз по сравнению с простым использованием CPU и GPU.

📖Читать статью полностью

🌎 ТОП-10: рейтинг лучших зарубежных работодателей в IT

При составлении рейтинга учитывали различные факторы из открытых данных портала Glassdoor, включая отзывы сотрудников, уровень лояльности действующих и бывших сотрудников, зарплата, льготы, бонусы и прочие бенефиты.

1️⃣ Red Hat
2️⃣ Gainsight
3️⃣ Box
4️⃣ MathWorks
5️⃣ ServiceNow
6️⃣ Marvell Technology
7️⃣ CrowdStrike
8️⃣ Fortinet
9️⃣ NetApp
🔟 Genentech

👉 Читать статью

🚪 А давайте разберёмся с парадоксом Монти Холла

Представьте, что вы играете в игру на телевизионном шоу. Перед вами три закрытые двери: A, B, C. За одной из них спрятан приз. Ведущий предлагает вам выбрать одну из дверей. Вы выбираете дверь, например A, но её пока не открывают. Вместо этого ведущий открывает одну из двух не выбранных дверей (естественно, ту, за которой нет приза), например B. Затем ведущий предлагает вам открыть одну из двух оставшихся закрытых дверей: A или C, и забрать приз, если он за ней есть. Какую дверь вы откроете: A или C?

Если сформулировать задачу на языке теории вероятностей, то оцените, за какой дверью приз находится с большей вероятностью — за изначально выбранной вами дверью A или за дверью C?

👩‍🦰 Для тех, кто хочет понять, как устроена Stable Diffusion

Разработчик с ником naklecha написал подробный и понятный блогпост о том, что такое Latent Consistency Models (LCM). Это способ ускорить Diffusion-модели, такие как Stable Diffusion. Поэтому в посте попутно объясняется архитектура последней.

Если коротко:
👣 Сначала модели на вход подаётся вектор изображения, затем он кодируется в вектор скрытого пространства.
👣 К полученному вектору много раз добавляется шум. Этот процесс называют (прямой) диффузией.
👣 Текстовый вход тоже кодируется в скрытый вектор, который добавляется к зашумленному вектору изображения.
👣 Модель обучается расшумлять такой вектор, то есть её задача — правильно предсказывать добавленный шум.
👣 Для генерации новых изображений создаётся рандомный зашумленный вектор. Далее он расшумляется и полученный вектор декодируется в новое изображение.

👩‍💻Прочесть об этом всём подробнее и посмотреть иллюстрации с аниме-девочкой можно здесь

💌 А мы напоминаем, что у нас есть еженедельная email-рассылка про ИИ, и делимся тут некоторыми интересностями из неё

Из новостей:
🤯 Исследователи из Дании и США разработали модель Life2vec, которая с более чем 75% точностью предсказывает события в жизни людей — например, вероятность смерти в ближайшие годы.
⚡ Новая версия Midjourney стала доступна в Дискорде. Нужно добавить к промпту параметр -v 6.

Из инструментов:
👾 Scenario — генерирует иллюстрации и ассеты для игр в нужном стиле.
✍️ Study Fetch — записывает и транскрибирует учебные лекции, делает суммаризацию материалов, генерирует тесты и карточки для самопроверки.
👀 DeepSwapper — инструмент для создания мемов и иллюстраций для соцсетей: бесплатно и реалистично заменяет лица на фото.
🎼 Suno — напишет песню (музыку, текст, вокал) в нужном стиле, вот пример трека — Electric Appetite.

Ещё больше инструментов, интересных материалов, гайдов и статей — в рассылке. 👉Подписывайтесь, чтобы получить полное письмо завтра👈

#ИИproglib

🙌 Хардкорный вышмат для тех, кто интересуется ML, AI, DS

Начать с вводных занятий, чтобы познакомиться с преподавателями и форматом обучения можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/100f1763

Что будет на демо?

– Вводный урок от CPO курса

– Лекции со всеми преподавателями МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск.

– Практические задания и дополнительные материалы!

⚡️Переходите и начинайте учиться уже сегодня– https://proglib.io/w/100f1763

Сеньоры поймут
#memes

🔥 Прогресс text-to-image моделей за 20 месяцев в одной картинке

Для генерации этих изображений использовался один и тот же промпт.

👉А тем временем началось альфа-тестирование Midjourney v6. Чтобы опробовать новую версию модели в Дискорде, нужно выбрать V6 в выпадающем меню под /settings или набрать «--v 6» в конце промпта.

Теперь Midjourney v6 можно попросить сгенерировать более конкретное изображение, например, указать в кавычках желаемый текст, который должен присутствовать на картинке.
Пример: /imagine a photo of the text "Hello World!" written with a marker on a sticky note --ar 16:9 --v 6

Источник картинки

🚀 Вторые после SpaceX: OpenAI намерена стать одним из самых дорогих стартапов

Издание Bloomberg узнало о том, что компания-создатель ChatGPT планирует провести новый раунд финансирования при оценке не менее $100 млрд. Если всё получится, OpenAI будет уступать только SpaceX, которая оценивается в $150 млрд.

Напомним, что на сегодняшний день крупнейшим инвестором OpenAI является Microsoft. Компания вложила в стартап $13 млрд. Также, по информации Bloomberg, OpenAI ведёт переговоры о производстве собственных чипов с холдингом из Абу-Даби.

В чём суть логистической регрессии

Логистическую регрессию относят к линейным моделям и применяют для задачи классификации. Регрессией она называется потому, что предсказываются тут не сами классы, а вещественные числа — логиты.

👉 Логистическая регрессия позволяет создать такую линейную модель, которая предсказывает число, связанное с вероятностью принадлежности к определённому классу, но с диапазоном значений от минус бесконечности до плюс бесконечности. Это число и есть логит, или логарифм отношения вероятности положительного события к отрицательному. Из него нетрудно через сигмоидную функцию вывести саму вероятность — число в диапазоне от нуля до единицы.

✍️ Пример: допустим, для некоторого объекта мы получили предсказание 0.8. В зависимости от выбранного порога мы принимаем решение о том, отнести этот объект к положительному классу или нет. Если порог был равен 0.6, то мы относим объект к положительному классу.

👉 Для оптимизации используется метод максимального правдоподобия.

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

🔢 Бесплатные материалы по математике для глубокого обучения (Deep Learning)

Авторы из Amazon написали целый раздел по математике для сайта d2l.ai. Там есть про:
▪️векторы и линейные преобразования;
▪️спектральное разложение матрицы;
▪️дифференциальное исчисление;
▪️анализ функций многих переменных;
▪️интегральное исчисление;
▪️метод максимального правдоподобия;
▪️распределения;
▪️статистику;
▪️теорию информации.

Материал изложен на английском, но зато хорошо структурирован и сопровождается всеми необходимыми формулами и примерами кода.

🔗Изучить всё можно по этой ссылке

🤖 Наиболее заметные ИИ-релизы 2023 года

На Reddit поделились картинкой, которая наглядно показывает, как много всего случилось в ИИ-отрасли за прошедший год.

🌷 Март был месяцем продвинутых чат-ботов: вышли GPT-4 и Google Bard.
🐇 В апреле Илон Маск объявил о создании нового ИИ-стартапа X.AI, который в результате релизнул чат-бота Grok.
🌿 В мае стало известно о французском стартапе Mistral AI, который затем представил опенсорсные большие языковые модели.
🌤️ Июнь запомнился выходом мультимодальной Runway Gen-2, которая генерирует видео по текстовому промпту.
☀️ В июле вышла LLaMa-2 — одна из самых мощных языковых моделей в открытом доступе.
🍂 В сентябре представили третью версию DALL-E и интегрировали её с ChatGPT.
🍁 В ноябре был большой анонс OpenAI, на котором Сэм Альтман рассказал про кастомные GPT.
❄️ В декабре Google представила свою главную ИИ-модель Gemini.

С интересом ждём, что же нам покажет наступающий 2024 год✨

🌌 Можно ли предсказать хаос с помощью машинного обучения?

Этот вопрос рассматривается в новой любопытной статье. Автор провёл крупномасштабное сравнение современных методов прогнозирования на гигантском наборе данных из 135 хаотических систем.

👉Он обнаружил, что большие универсальные модели (Transformers, LSTM) могут прогнозировать хаос очень далеко в будущем (больше десятикратного времени Ляпунова системы). При достаточном обучении они превосходят другие методы.

📖Прочесть статью можно по этой ссылке
👩‍💻Репозиторий с кодом к статье и датасетом

💬 Чему бы вы хотели научиться?

Поделитесь мыслями в комментариях👇

#интерактив