Forwarded from The Devs
The first rule of machine learning: Start without machine learning.
#article #ml
@thedevs
https://kutt.it/x4CNLM
#article #ml
@thedevs
https://kutt.it/x4CNLM
Forwarded from The Devs
Forwarded from Daily Coding 🔥
📖Как учится машина
🖋Ян Лекун | 2021
Мы живем во время революции, еще 50 лет назад казавшейся невероятной, — революции в области умных машин, которые теперь обучаются самостоятельно, вместо того чтобы просто выполнять запрограммированные команды. И возможности таких машин огромны: распознавание изображений, лиц и голосов, переводы на сотни языков, беспилотное управление автомобилями, обнаружение опухолей на медицинских снимках и многое другое.
Автор книги Ян Лекун стоит у истоков этой революции. Лауреат премии Тьюринга, профессор Нью-Йоркского университета, он является одним из изобретателей глубокого обучения, применяемого к так называемым искусственным нейронным сетям, архитектура и функционирование которых вдохновлены устройством человеческого мозга. В своей книге он, не прибегая к метафорам, делится своим научным подходом на стыке компьютерных наук и нейробиологии, проливая свет на будущее искусственного интеллекта, связанные с ним проблемы и перспективы.
💾 Скачать книгу
Daily Coding #книги #ML
🖋Ян Лекун | 2021
Мы живем во время революции, еще 50 лет назад казавшейся невероятной, — революции в области умных машин, которые теперь обучаются самостоятельно, вместо того чтобы просто выполнять запрограммированные команды. И возможности таких машин огромны: распознавание изображений, лиц и голосов, переводы на сотни языков, беспилотное управление автомобилями, обнаружение опухолей на медицинских снимках и многое другое.
Автор книги Ян Лекун стоит у истоков этой революции. Лауреат премии Тьюринга, профессор Нью-Йоркского университета, он является одним из изобретателей глубокого обучения, применяемого к так называемым искусственным нейронным сетям, архитектура и функционирование которых вдохновлены устройством человеческого мозга. В своей книге он, не прибегая к метафорам, делится своим научным подходом на стыке компьютерных наук и нейробиологии, проливая свет на будущее искусственного интеллекта, связанные с ним проблемы и перспективы.
💾 Скачать книгу
Daily Coding #книги #ML
Forwarded from Daily Coding 🔥
📖Machine Learning System Design
🖋Arseny Kravchenko | 2025
Получите общую картину и важные детали с помощью этого комплексного руководства по проектированию высокоэффективных и надежных систем машинного обучения.
💾 Скачать книгу
Daily Coding #книги #ML
🖋Arseny Kravchenko | 2025
Получите общую картину и важные детали с помощью этого комплексного руководства по проектированию высокоэффективных и надежных систем машинного обучения.
💾 Скачать книгу
Daily Coding #книги #ML
Forwarded from Daily Coding 🔥
📖Антология машинного обучения
🖋Сейновски Терренс Джозеф, 2022
Масштабный труд одного из ведущих мировых ученых в области исследования искусственного интеллекта Терренса Сейновски проведет читателя по всем ключевым вехам в развитии этой технологии. Работа Сейновски охватывает промежуток в 60 лет, за которые машинное обучение шагнуло из теоретических исследований в прикладную науку. Являясь ученым-нейробиологом и заведующим лабораторией Вычислительной нейробиологии в Институте Солка (США), а также профессором в Калифорнийском Университете в Сан-Диего, автор начинал исследования нейросетей еще в 80-е годы, до «революции» глубокого обучения, выдвинувшей искусственный интеллект в ранг самых перспективных технологий современности.
💾 Скачать книгу
Daily Coding #книги #ML
🖋Сейновски Терренс Джозеф, 2022
Масштабный труд одного из ведущих мировых ученых в области исследования искусственного интеллекта Терренса Сейновски проведет читателя по всем ключевым вехам в развитии этой технологии. Работа Сейновски охватывает промежуток в 60 лет, за которые машинное обучение шагнуло из теоретических исследований в прикладную науку. Являясь ученым-нейробиологом и заведующим лабораторией Вычислительной нейробиологии в Институте Солка (США), а также профессором в Калифорнийском Университете в Сан-Диего, автор начинал исследования нейросетей еще в 80-е годы, до «революции» глубокого обучения, выдвинувшей искусственный интеллект в ранг самых перспективных технологий современности.
💾 Скачать книгу
Daily Coding #книги #ML
Forwarded from Daily Coding 🔥
📖Graph Machine Learning: Learn about the latest advancements in graph data to build robust machine learning models
🖋 Aldo Marzullo, 2025
Узнайте о последних достижениях в области графических данных для создания надежных моделей машинного обучения
💾 Скачать книгу
Daily Coding #книги #ML
🖋 Aldo Marzullo, 2025
Узнайте о последних достижениях в области графических данных для создания надежных моделей машинного обучения
💾 Скачать книгу
Daily Coding #книги #ML
Forwarded from Daily Coding 🔥
📖Machine Learning & Data Science Blueprints for Finance
🖋Brad Lookabaugh Hariom Tatsat Sahil Puri 2021
В ближайшие несколько десятилетий машинное обучение и наука о данных преобразят финансовую отрасль. Из этой практической книги аналитики, трейдеры, исследователи и разработчики узнают, как создавать алгоритмы машинного обучения, имеющие решающее значение для отрасли. Вы изучите концепции машинного обучения и более 20 примеров контролируемого, неконтролируемого обучения и обучения с подкреплением, а также обработки естественного языка (NLP).
💾 Скачать книгу
Daily Coding #книги #ML | Канал в Max
🖋Brad Lookabaugh Hariom Tatsat Sahil Puri 2021
В ближайшие несколько десятилетий машинное обучение и наука о данных преобразят финансовую отрасль. Из этой практической книги аналитики, трейдеры, исследователи и разработчики узнают, как создавать алгоритмы машинного обучения, имеющие решающее значение для отрасли. Вы изучите концепции машинного обучения и более 20 примеров контролируемого, неконтролируемого обучения и обучения с подкреплением, а также обработки естественного языка (NLP).
💾 Скачать книгу
Daily Coding #книги #ML | Канал в Max
Forwarded from Daily Coding 🔥
📖Prompt Engineering for LLMs
🖋Berryman John, Ziegler Albert 2025
Большие языковые модели (БЯМ) совершают революцию в мире, обещая автоматизировать выполнение задач и решать сложные проблемы. Новое поколение программных приложений использует эти модели в качестве строительных блоков, чтобы раскрыть потенциал практически во всех областях, но для надежного доступа к этим возможностям требуются новые навыки. Из этой книги вы узнаете об искусстве и науке промпт-инжиниринга — ключе к раскрытию истинного потенциала БЯМ.
💾 Скачать книгу
Daily Coding #книги #ML & Max
🖋Berryman John, Ziegler Albert 2025
Большие языковые модели (БЯМ) совершают революцию в мире, обещая автоматизировать выполнение задач и решать сложные проблемы. Новое поколение программных приложений использует эти модели в качестве строительных блоков, чтобы раскрыть потенциал практически во всех областях, но для надежного доступа к этим возможностям требуются новые навыки. Из этой книги вы узнаете об искусстве и науке промпт-инжиниринга — ключе к раскрытию истинного потенциала БЯМ.
💾 Скачать книгу
Daily Coding #книги #ML & Max
Forwarded from AI VK Hub
Physics-Informed Eigenfunction Features with Learnable Scaling
Для построения устойчивых, компактных и интерпретируемых нейросетевых моделей важно, чтобы компактные признаки учитывали геометрию данных, обладали спектральной структурой и оставались полезными для downstream-задачи.
Для решения этой проблемы Александр Тараканов, исследователь в AI VK, и коллеги из Высшей школы экономики предложили supervised representation learning framework.
Подход объединяет спектральные методы, physics-informed регуляризацию и обучаемую геометрию признакового пространства. Работа принята на AI4Physics Workshop @ ICML 2026.
Идея
Классические спектральные методы строят признаки через собственные функции графового лапласиана. Такие признаки хорошо отражают геометрию данных, но требуют построения графа, вычисления спектра и часто плохо масштабируются на новые точки.
В PIEFS вместо фиксированного оператора обучается набор скалярных координат:
Координаты должны быть одновременно гладкими, примерно ортогональными и полезными для supervised-задачи. Для этого мы используем стандартные штрафы за коррелированность и неточность классификации и аналог энергии Дирихле:
где
Результаты
PIEFS проверяли на пяти задачах: Two Moons, Circles, HTRU2, MNIST и ResNet-18 embeddings для CIFAR-10.
Даже компактное представление размерности K = 16 показывает конкурентоспособное качество. На Two Moons линейная модель даёт около 88.15%, тогда как PIEFS достигает 99.87–99.88%. PIEFS-off показывает точность на тесте на MNIST 95.41%, а на CIFAR-10 embeddings — 85.50%. Для сравнения, NeuralEF в наших экспериментах даёт 82.52% на MNIST и 76.05% на CIFAR-10 эмбедингах в аналогичном сценарии.
При этом более сложная обучаемая метрика не всегда улучшает качество. В ряде экспериментов простой вариант
Технические детали
PIEFS оптимизирует три компоненты:
Координаты обучаются последовательно: сначала 𝜑₁, затем 𝜑₂ и т. д. Это напоминает построение спектрального базиса, но с важным отличием: признаки строятся не для фиксированного оператора, а с supervised-смещением под конкретную задачу.
Ключевая механика метода — матрица A(x). Ошибку ортогонализации и минимизацию энергии Дирихле можно использовать и в полностью unsupervised-постановке, но supervised-компонента помогает направить построение координат в сторону признаков, полезных для классификации. Для A(x) рассматриваются три сценария:
В DIAG-варианте модель обучает анизотропное масштабирование направлений. В TROTTER-варианте дополнительно используется параметризованная матрица поворота U(x). Такая конструкция даёт компактную и численно стабильную параметризацию без QR-разложения или Gram–Schmidt на каждом шаге.
Заключение
PIEFS — не универсальный neural eigensolver и не метод восстановления спектра заранее заданного физического оператора. Это скорее supervised spectral representation learning: модель строит регуляризованные признаки, полезные для конкретной задачи.
Главные направления развития — более стабильная оптимизация, более выразительные параметризации метрики, регуляризация metric degeneracy и проверка на явных PDE/operator eigenvalue problems.
PIEFS показывает, что physics-informed функционалы полезны для построения компактных признаков в классических ML-задачах.
#aivkhub #ml
Для построения устойчивых, компактных и интерпретируемых нейросетевых моделей важно, чтобы компактные признаки учитывали геометрию данных, обладали спектральной структурой и оставались полезными для downstream-задачи.
Для решения этой проблемы Александр Тараканов, исследователь в AI VK, и коллеги из Высшей школы экономики предложили supervised representation learning framework.
Подход объединяет спектральные методы, physics-informed регуляризацию и обучаемую геометрию признакового пространства. Работа принята на AI4Physics Workshop @ ICML 2026.
Идея
Классические спектральные методы строят признаки через собственные функции графового лапласиана. Такие признаки хорошо отражают геометрию данных, но требуют построения графа, вычисления спектра и часто плохо масштабируются на новые точки.
В PIEFS вместо фиксированного оператора обучается набор скалярных координат:
𝜑₁(x), 𝜑₂(x), ..., 𝜑ₖ(x)Координаты должны быть одновременно гладкими, примерно ортогональными и полезными для supervised-задачи. Для этого мы используем стандартные штрафы за коррелированность и неточность классификации и аналог энергии Дирихле:
|| A(x) ∇φ(x) ||²где
A(x) — обучаемая метрика. Она позволяет модели адаптировать геометрию регуляризации под данные, а не сглаживать признаки одинаково во всех направлениях. По сути, A(x) учит, какие направления во входном пространстве важны для построения репрезентативных признаков.Результаты
PIEFS проверяли на пяти задачах: Two Moons, Circles, HTRU2, MNIST и ResNet-18 embeddings для CIFAR-10.
Даже компактное представление размерности K = 16 показывает конкурентоспособное качество. На Two Moons линейная модель даёт около 88.15%, тогда как PIEFS достигает 99.87–99.88%. PIEFS-off показывает точность на тесте на MNIST 95.41%, а на CIFAR-10 embeddings — 85.50%. Для сравнения, NeuralEF в наших экспериментах даёт 82.52% на MNIST и 76.05% на CIFAR-10 эмбедингах в аналогичном сценарии.
При этом более сложная обучаемая метрика не всегда улучшает качество. В ряде экспериментов простой вариант
A(x)=I иногда оказывается сильнее диагональной и rotation-scaling метрики. Вывод: дополнительная геометрическая выразительность требует аккуратной регуляризации и стабильной оптимизации.Технические детали
PIEFS оптимизирует три компоненты:
L = w_orth L_orth + w_class L_class + w_mde L_mde
L_orth отвечает за приближенную ортогональность координат или статистическую независимость, L_class — за качество линейного классификатора поверх этих координат, а L_mde — за physics-informed сглаживание через Modified Dirichlet Energy.Координаты обучаются последовательно: сначала 𝜑₁, затем 𝜑₂ и т. д. Это напоминает построение спектрального базиса, но с важным отличием: признаки строятся не для фиксированного оператора, а с supervised-смещением под конкретную задачу.
Ключевая механика метода — матрица A(x). Ошибку ортогонализации и минимизацию энергии Дирихле можно использовать и в полностью unsupervised-постановке, но supervised-компонента помогает направить построение координат в сторону признаков, полезных для классификации. Для A(x) рассматриваются три сценария:
DIAG: A(x) = Λ(x)
TROTTER: A(x) = Λ(x) U(x)
В DIAG-варианте модель обучает анизотропное масштабирование направлений. В TROTTER-варианте дополнительно используется параметризованная матрица поворота U(x). Такая конструкция даёт компактную и численно стабильную параметризацию без QR-разложения или Gram–Schmidt на каждом шаге.
Заключение
PIEFS — не универсальный neural eigensolver и не метод восстановления спектра заранее заданного физического оператора. Это скорее supervised spectral representation learning: модель строит регуляризованные признаки, полезные для конкретной задачи.
Главные направления развития — более стабильная оптимизация, более выразительные параметризации метрики, регуляризация metric degeneracy и проверка на явных PDE/operator eigenvalue problems.
PIEFS показывает, что physics-informed функционалы полезны для построения компактных признаков в классических ML-задачах.
#aivkhub #ml