«Современная математика глубокого обучения» — научная работа объёмом 111 страниц, посвящённая математическим основам современных нейронных сетей. Она находится в свободном доступе.

В работе подробно рассматриваются теория аппроксимации нейронных сетей, способность больших моделей к обобщению, избыточная параметризация, методы оптимизации и ландшафты функций потерь.

Особое внимание уделяется влиянию глубины нейронных сетей на их выразительные возможности, проблеме проклятия размерности, свёрточным и остаточным нейронным сетям, пакетной нормализации, разреженным представлениям и рекуррентным нейронным сетям.

Кроме того, авторы исследуют применение глубокого обучения к решению обратных задач и дифференциальных уравнений в частных производных.

Работа представляет собой обстоятельный обзор математических принципов, лежащих в основе глубоких нейронных сетей. В ней рассматриваются как уже доказанные теоретические положения, так и вопросы, на которые исследователям ещё предстоит найти ответы.

Для тех, кто стремится понять не только практическое применение современного искусственного интеллекта, но и математические закономерности, определяющие его работу, эта статья заслуживает внимания.

Научная работа: https://arxiv.org/pdf/2105.04026

👉 @PythonPortal

Один и тот же отчёт, подготовленный Research Agent, два эксперта могут оценить совершенно по-разному. Возникает закономерный вопрос: насколько вообще надёжны наши Evals, если в роли оценщика выступает LLM Judge?

Недавняя статья Кэмерона Р. Вулфа как раз посвящена этой проблеме. В ней разбирается, как оценивать задачи агентов, где результат по своей природе во многом субъективен: например, Deep Research или творческое письмо.

Автор предлагает довольно практичный подход.

Сначала специалисты в предметной области определяют критерии оценки, после чего несколько экспертов независимо проверяют один и тот же набор результатов. Если их оценки сильно расходятся, сначала нужно пересмотреть сами критерии, а в некоторых случаях и вовсе отказаться от метрик, которые слишком субъективны для надёжной оценки.

Затем LLM Judge калибруют на данных, уже проверенных людьми. Повторные тесты и доверительные интервалы помогают не принять случайные колебания результатов за реальное улучшение модели.

И наконец, нужно вернуться к самому продукту: с помощью A/B-тестов и обратной связи от пользователей проверить, действительно ли рост показателей в офлайн-оценках приводит к улучшению пользовательского опыта.

Мне особенно близка мысль о том, что сначала нужно проверить самого оценщика.

При разработке Research Agents мы часто слишком внимательно следим за тем, растут ли показатели Eval, и гораздо реже задаёмся вопросом, насколько вообще надёжны критерии, по которым эти показатели считаются.

Эту статью определённо стоит сохранить тем, кто занимается Agent Eval. Особенно полезны разделы о выборке данных, калибровке экспертов и статистических методах.

https://cameronrwolfe.substack.com/p/subjective-evals

👉 @PythonPortal

🚀 29 октября Arenadata проведёт техническую онлайн-конференцию ArenaTech

На ArenaTech инженеры Arenadata расскажут, как устроены продукты компании изнутри, поделятся опытом решения сложных инженерных задач и представят ключевые направления технологического развития.

🟢Основные темы конференции:

🔜СУБД: архитектура, развитие и эксплуатация. Обсудим планы развития Arenadata DB (ADB) и Greengage DB, новые возможности MPP-СУБД, включая hot standby, вопросы безопасности и устранения уязвимостей. Отдельное внимание уделим утилите ggrebalance, которая позволяет сокращать число сегментов кластера и заменять хосты с сохранением равномерного распределения данных.

🔜Платформа данных: безопасность и Kubernetes. Расскажем об управлении секретами и доступом в Arenadata Hyperwave (ADH) с использованием OpenBao. Разберём особенности переноса Impala, Trino и Spark в Kubernetes: интеграцию с Kerberos, разработку операторов, адаптацию Spark и использование Celeborn и YuniKorn.

🔜Инструменты: кластерный менеджер, документация, ИИ-поиск. Поделимся опытом организации процессов разработки технической документации и расскажем, как создавались интеллектуальный поиск и ИИ-ассистент, упрощающие поиск информации в документации многокомпонентной платформы данных. Также расскажем про развитие нашего кластерного менеджера ADCM.

После каждого доклада участники смогут задать вопросы спикерам в рамках Q&A-сессии.

Конференция будет интересна разработчикам, дата-инженерам, администраторам СУБД, архитекторам, DevOps-инженерам и техническим руководителям.

🗓 29 октября, 12:00 МСК

Формат: онлайн 🔛

Программа и регистрация

Теперь DeepSeek-V4.1-Flash можно запустить локально на одной видеокарте и с 46–64 ГБ оперативной памяти.

Благодаря технологии выгрузки данных на диск в Strata и методу квантования GSQ-RCO большую модель с архитектурой Mixture-of-Experts (MoE) стало возможно запускать на обычном пользовательском оборудовании, не прибегая к дорогостоящим серверным видеокартам.

Предусмотрены установка в один клик и локальный API, совместимый с OpenAI.

https://github.com/Niko1221/Strata

👉 @PythonPortal

Многие, вероятно, до сих пор не вполне понимают, для чего нужны модели мира. Однако, на мой взгляд, Genie 4 позволяет гораздо яснее представить, как подобные технологии могут приблизить нас к созданию общего искусственного интеллекта (AGI).

Google уже объединяет Genie с Gemini, хотя, к сожалению, в системе, работающей в реальном времени, используется Gemini 3.8 Flash. Модель способна наблюдать за происходящим в симуляции, разбивать поставленные цели на более простые задачи и корректировать свои планы по мере изменения окружающего мира.

В перспективе объединение способности больших языковых моделей к рассуждению с пониманием физических закономерностей, приобретённым моделью мира, может позволить ИИ-агентам испытывать различные действия и совершенствовать своё пространственно-временное мышление.

Нечто подобное происходит и с человеком, когда он мысленно представляет определённую ситуацию и пытается предугадать её последствия, прежде чем приступить к действию.

Таким образом, у ИИ-агентов появится возможность сравнивать различные способы решения задач и учиться на результатах собственных действий в виртуальной среде, прежде чем применять полученный опыт в действительности. Разумеется, при условии, что симуляции окажутся достаточно точными.

Полагаю, это поможет преодолеть некоторые трудности, с которыми современные модели всё ещё сталкиваются при решении задач, требующих пространственного мышления и понимания физических процессов.

Человек способен заранее мысленно воспроизвести предстоящее действие. Большие языковые модели, напротив, пока ограничены рассуждениями в текстовой форме. Они могут описывать физические явления и математические закономерности словами, но интерактивная модель мира позволит искусственному интеллекту не просто рассуждать о возможных событиях, а наблюдать, как они разворачиваются в виртуальной среде.

Разумеется, точность моделирования физических процессов и способность сохранять последовательность происходящего на протяжении длительного времени ещё требуют значительных улучшений.

Тем не менее это важный шаг к созданию более совершенных виртуальных сред, в которых искусственный интеллект сможет взаимодействовать с окружающим миром, приобретать опыт и учиться на собственных действиях.

👉 @PythonPortal

NVIDIA выпускает открытую речевую модель Nemotron 3.5 Transcribe, которая умеет расшифровывать записи совещаний, определять, кто и что сказал, переводить речь и отвечать на вопросы по содержанию записи.

Модель поддерживает:

- Распознавание речи на 40 языках.
- Перевод с английского на 31 язык.
- Распознавание до восьми собеседников с указанием говорящего на 13 языках.
- Обработку записей продолжительностью до одного часа.

Можно заранее указать имена участников и специальные термины, чтобы повысить точность расшифровки, или задавать вопросы непосредственно по аудиозаписи. Функция ответов на вопросы обучена работать на английском языке.

Модель содержит около 30 млрд параметров, из которых примерно 4 млрд активируются при обработке каждого токена. Её можно запускать на собственном оборудовании с графическим процессором NVIDIA.

По данным NVIDIA, модель занимает первое место среди моделей с открытыми весами в английском рейтинге распознавания речи Open ASR на Hugging Face. Кроме того, она лидирует в испытании VoiceArena, где сравнивали 14 систем по точности расшифровки с определением говорящих.

Важно: модель предназначена для обработки готовых аудиозаписей. Для распознавания речи в реальном времени используется отдельная модель.

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B


👉 @PythonPortal

Секрет блокировок аккаунтов Claude раскрыт 🤣

Claude записывает и анализирует каждую вашу переписку с ним. Если в разговоре появляется что-то вредоносное или связанное с высоким риском, система сообщает об этом, и всё, аккаунт заблокирован.

То есть секрет стабильного использования Claude в том, чтобы быть вежливым?

Не задавать слишком много вопросов, не болтать о всякой ерунде и в конце обязательно благодарить!

https://safeguards.anthropic.com/2026/self-assessment/

👉 @PythonPortal

Reddit сделает авторизацию обязательной по умолчанию после того, как в октябре число переходов из Google сократилось более чем на миллион в неделю.

Именно поисковый трафик обеспечивал Reddit большую часть аудитории, не вошедшей в аккаунты. Во втором квартале из 53,2 млн ежедневных пользователей Reddit в США 30,1 млн просматривали платформу без авторизации.

По мере того как AI-ответы в поисковиках заменяют переходы на сайты, ежедневная аудитория Reddit в США сократилась до 50,7 млн человек в третьем квартале. Компания также предупредила, что в следующем квартале число ежедневных пользователей может снизиться на 10–19%.

Обязательная авторизация не вернёт потерянный поисковый трафик. Reddit, по сути, смирился с этими потерями и намерен зарабатывать больше на тех пользователях, которые остаются.

Большинство посетителей без авторизации приходили из Google лишь однажды и представляли сравнительно небольшую ценность для рекламодателей. Теперь AI-ответы в поиске и вовсе лишают Reddit значительной части таких переходов.

Авторизованные пользователи, напротив, раскрывают свои интересы через подписки на сообщества и голосования. Благодаря этому Reddit может точнее таргетировать рекламу и продавать её дороже.

По оценке самой компании, авторизованные пользователи приносят примерно в три раза больше дохода, чем посетители без авторизации.

Кроме того, обязательный вход в аккаунт затрудняет скрейпинг данных Reddit, вынуждая AI-компании заключать платные соглашения на доступ к этим данным.

👉 @PythonPortal

Это действительно совершенно новый уровень развития технологий.

RL with Neural Feedback (RLNF) — обучение с подкреплением на основе нейронной обратной связи.

AI-модель для генерации изображений учится понимать, что именно вы находите привлекательным, анализируя реакцию вашего мозга во время просмотра изображения.

Затем модель изменяет изображение таким образом, чтобы оно всё больше соответствовало вашим личным предпочтениям.

И всё это без каких-либо оценок, нажатий кнопок или промптов с вашей стороны.

https://sabi.com/blog/measuring-taste

👉 @PythonPortal

Пишите код на NumPy привычным способом, а затем запускайте его на GPU и TPU. Автоматическое дифференцирование и пакетная обработка данных будут выполняться без дополнительных усилий с вашей стороны.

- Автоматически вычисляйте производные обычных функций Python и NumPy.
- Компилируйте чистые функции с помощью jit для выполнения на аппаратных ускорителях.
- Комбинируйте grad, jit и vmap в любом порядке и масштабируйте вычисления на несколько устройств.

https://github.com/jax-ml/jax

👉 @PythonPortal

«Advanced Calculus» — бесплатный учебник объёмом более 500 страниц от математического факультета Гарвардского университета, посвящённый углублённому изучению математического анализа.

В нём рассматриваются нормированные векторные пространства, компактность и полнота, многомерный математический анализ, интегрирование, дифференциальные уравнения, полилинейная алгебра, дифференцируемые многообразия, внешнее исчисление, теория потенциала, классическая механика и многое другое.

Это один из самых интересных материалов, которыми я делился за последние годы. Книгу определённо стоит добавить в личную библиотеку качественных и свободно доступных учебников по математике.

https://people.math.harvard.edu/~shlomo/docs/Advanced_Calculus.pdf

👉 @PythonPortal

Глава OpenAI Сэм Альтман считает «довольно ужасным» то, что огромные объёмы оперативной памяти (DRAM) простаивают в персональных компьютерах вместо того, чтобы использоваться в дата-центрах.

«У каждого в компьютере находится часть ограниченных мировых запасов DRAM, которая используется лишь 5% времени», — заявил Альтман.

По его мнению, облачные дата-центры могли бы гораздо эффективнее использовать ограниченные запасы памяти, чем пользователи, запускающие ИИ-модели локально.

👉 @PythonPortal

Десятилетний цикл развития архитектуры баз данных:

2015: SQL устарел. Схемы слишком жёсткие. Будем хранить всё в NoSQL-документах в формате JSON.

2018: Подождите, нам же нужно объединять пользователей и заказы. Давайте напишем вложенный цикл на 400 строк JavaScript, который будет объединять данные прямо в оперативной памяти.

2021: Подождите, если сервер упадёт посреди выполнения цикла, мы потеряем деньги. Нам нужны ACID-транзакции.

2026: Молча переносим всё обратно в PostgreSQL и больше никогда об этом не вспоминаем.

👉 @PythonPortal

Андрей Карпати устал от рекомендаций YouTube и всего за два часа навайбил собственную альтернативу.

Проект получил название HackerTube. Он собирает рекомендации видео из комментариев Hacker News за последние почти 20 лет. В результате получился каталог из 6454 видео, распределённых по 150 темам, с возможностью персонализированных рекомендаций.

https://hackertube.org/

Также по его стопам уже навайбили подборку из более чем 1000 научных работ с arXiv.

Особенно интересной получилась категория Computer Science. Публикации можно фильтровать по году и сортировать.

https://academy.dair.ai/papers/collections/hacker-papers

И проект HackerBooks.

Он собирает книги, упоминаемые в публикациях и обсуждениях на Hacker News. В каталог попало более 15 000 книг, но учитываются только те, которые упомянули как минимум два человека.

https://hackerbooks.org/

👉 @PythonPortal

Интервьюер:

Вы разрабатываете backend для онлайн-шахматной платформы с 20 миллионами игроков.

100 000 игроков одновременно нажимают кнопку «Найти соперника» в одну и ту же секунду.

Каждого игрока необходимо сопоставить с соперником, у которого:

- Разница в рейтинге Elo не превышает ±50 очков.
- Сетевой ping составляет менее 80 мс.

При этом подбор пары должен занимать менее одной секунды, а два разных сервера не должны случайно подобрать одного и того же игрока нескольким соперникам.

Как бы вы спроектировали архитектуру очереди подбора соперников?

👉 @PythonPortal

«Understanding Linear Algebra» — бесплатный университетский учебник объёмом почти 500 страниц, который предлагает всестороннее введение в линейную алгебру.

Книга охватывает системы линейных уравнений, векторы, матрицы, линейные комбинации, линейную независимость, базисы и системы координат, определители, собственные значения и собственные векторы, диагонализацию, ортогональность, метод наименьших квадратов, сингулярное разложение, метод главных компонент, а также практические применения, включая сжатие изображений и алгоритм Google PageRank.

Учебник содержит понятные объяснения, геометрические интерпретации, примеры и множество упражнений. Он будет полезен как тем, кто впервые изучает линейную алгебру, так и тем, кто хочет освежить знания её основных понятий.

https://scholarworks.gvsu.edu/cgi/viewcontent.cgi?article=1026&context=books

👉 @PythonPortal

«Распознавание образов и машинное обучение» (Pattern Recognition and Machine Learning) — бесплатный курс из 18 лекций, посвящённых математическим и вычислительным основам машинного обучения.

Программа охватывает байесовскую теорию принятия решений, генеративные и дискриминативные классификаторы, статистическую теорию обучения, линейные модели, метод опорных векторов, кластеризацию, снижение размерности, обучение с частичной разметкой данных и ансамблевые методы.

Также рассматриваются нейронные сети, обратное распространение ошибки, свёрточные нейронные сети, оптимизация глубокого обучения, механизмы внимания, модели последовательностей и генеративные модели.

Все 18 лекций доступны бесплатно.

https://chizhizhang.github.io/lecture/2026PRML/

👉 @PythonPortal