Исследователь Google DeepMind Петар Величкович сообщил о завершении полного черновика книги по геометрическому глубокому обучению.
Все главы уже доступны на сайте проекта.
https://geometricdeeplearning.com/book/
Все главы уже доступны на сайте проекта.
https://geometricdeeplearning.com/book/
Лю Чэнь, аспирант факультета компьютерных наук Йельского университета, собрал в одном репозитории скрипты для построения графиков из своих научных работ, опубликованных в Nature Machine Intelligence, NeurIPS и других изданиях. Позднее он превратил этот репозиторий в ИИ-скилл.
Сейчас проект набрал более 10 000 звёзд на GitHub.
При написании научных статей можно поручить ИИ построение столбчатых и лепестковых диаграмм.
https://github.com/ChenLiu-1996/figures4papers
Сейчас проект набрал более 10 000 звёзд на GitHub.
При написании научных статей можно поручить ИИ построение столбчатых и лепестковых диаграмм.
https://github.com/ChenLiu-1996/figures4papers
GitHub
GitHub - ChenLiu-1996/figures4papers: My Python scripts to make high-quality figures for publications in top AI conferences and…
My Python scripts to make high-quality figures for publications in top AI conferences and journals. - ChenLiu-1996/figures4papers
За последние две недели были переработаны и обновлены все статьи раздела, посвящённого комплексным числам, на платформе Algebrica.
Полный список обновлённых материалов:
1. Комплексные числа
2. Операции с комплексными числами
3. Тригонометрическая форма комплексного числа
4. Формула Эйлера
5. Показательная форма комплексного числа
6. Формула Муавра
7. Корни из единицы
8. Основные неравенства для комплексных чисел
9. Неравенство треугольника
10. Неравенство Коши — Шварца
11. Комплексные степени
12. Комплексный логарифм
Все материалы находятся в свободном доступе на Algebrica, без рекламы и платных ограничений.
Исходные файлы статей в формате Markdown также можно бесплатно скачать из репозитория на GitHub.
https://algebrica.org/complex-numbers/
Полный список обновлённых материалов:
1. Комплексные числа
2. Операции с комплексными числами
3. Тригонометрическая форма комплексного числа
4. Формула Эйлера
5. Показательная форма комплексного числа
6. Формула Муавра
7. Корни из единицы
8. Основные неравенства для комплексных чисел
9. Неравенство треугольника
10. Неравенство Коши — Шварца
11. Комплексные степени
12. Комплексный логарифм
Все материалы находятся в свободном доступе на Algebrica, без рекламы и платных ограничений.
Исходные файлы статей в формате Markdown также можно бесплатно скачать из репозитория на GitHub.
https://algebrica.org/complex-numbers/
Учитесь создавать собственные харнессы.
В этой работе Microsoft разработала харнесс, который улучшает способность моделей рассуждать в задачах с длинным контекстом без синтетических данных и дополнительного обучения.
Исследователи показали, что Llama3-8B в среднем улучшает результаты на бенчмарках с длинным контекстом на 64,18 пункта без какого-либо обучения. Весь прирост обеспечивается харнессом.
Он разбивает задачи с длинным контекстом на базовые компоненты, отвечающие за отдельные возможности модели. Затем мощный ИИ-агент многократно совершенствует эти компоненты, отслеживаемое ими состояние и логику управления, опираясь на результаты на отладочном наборе данных.
Харнесс, созданный для Llama3-8B, можно перенести на Qwen2.5-3B. На бенчмарках HELMET и RULER он превосходит NExtLong и PolicyLong, которые используют синтез данных и обучение, при этом его оценочная стоимость составляет менее половины их затрат.
Харнесс написан с помощью GPT-5.6-Sol. Когда небольшие модели пытаются создавать его самостоятельно, результаты резко ухудшаются.
Главный вывод: прежде чем дополнительно обучать небольшую модель для работы с длинным контекстом, попробуйте улучшить харнесс, который управляет её работой.
https://arxiv.org/abs/2611.10463
В этой работе Microsoft разработала харнесс, который улучшает способность моделей рассуждать в задачах с длинным контекстом без синтетических данных и дополнительного обучения.
Исследователи показали, что Llama3-8B в среднем улучшает результаты на бенчмарках с длинным контекстом на 64,18 пункта без какого-либо обучения. Весь прирост обеспечивается харнессом.
Он разбивает задачи с длинным контекстом на базовые компоненты, отвечающие за отдельные возможности модели. Затем мощный ИИ-агент многократно совершенствует эти компоненты, отслеживаемое ими состояние и логику управления, опираясь на результаты на отладочном наборе данных.
Харнесс, созданный для Llama3-8B, можно перенести на Qwen2.5-3B. На бенчмарках HELMET и RULER он превосходит NExtLong и PolicyLong, которые используют синтез данных и обучение, при этом его оценочная стоимость составляет менее половины их затрат.
Харнесс написан с помощью GPT-5.6-Sol. Когда небольшие модели пытаются создавать его самостоятельно, результаты резко ухудшаются.
Главный вывод: прежде чем дополнительно обучать небольшую модель для работы с длинным контекстом, попробуйте улучшить харнесс, который управляет её работой.
https://arxiv.org/abs/2611.10463
Крупнейший датасет по кибербезопасности уровня PhD теперь доступен бесплатно для обучения собственной модели Cyber AI.
Самая полная база знаний по кибербезопасности, когда-либо созданная для обучения ИИ.
- Более 30 направлений.
- 95 ГБ данных.
- 507 файлов.
Охватывает Red Team, Blue Team, веб-безопасность, безопасность ИИ и LLM, цифровую криминалистику, соответствие нормативным требованиям и многое другое.
Всё в одном месте:
- Полный курс PortSwigger Academy (все 31 тема), Hack The Box, MITRE ATT&CK и OWASP.
- Реальные паттерны уязвимостей из bug bounty.
- Практические руководства по защите для SOC, разработки систем обнаружения угроз и цифровой криминалистики.
- Стандарты и фреймворки NIST, CIS и MITRE D3FEND.
- Безопасность ИИ, облачных технологий, контейнеров и IoT, криптография и реверс-инжиниринг.
Идеально подходит для дообучения следующего поколения ИИ-моделей в области кибербезопасности.
Насколько я вижу, датасет уже используют для дообучения моделей.
https://huggingface.co/datasets/Vyber07/cyber-security
Самая полная база знаний по кибербезопасности, когда-либо созданная для обучения ИИ.
- Более 30 направлений.
- 95 ГБ данных.
- 507 файлов.
Охватывает Red Team, Blue Team, веб-безопасность, безопасность ИИ и LLM, цифровую криминалистику, соответствие нормативным требованиям и многое другое.
Всё в одном месте:
- Полный курс PortSwigger Academy (все 31 тема), Hack The Box, MITRE ATT&CK и OWASP.
- Реальные паттерны уязвимостей из bug bounty.
- Практические руководства по защите для SOC, разработки систем обнаружения угроз и цифровой криминалистики.
- Стандарты и фреймворки NIST, CIS и MITRE D3FEND.
- Безопасность ИИ, облачных технологий, контейнеров и IoT, криптография и реверс-инжиниринг.
Идеально подходит для дообучения следующего поколения ИИ-моделей в области кибербезопасности.
Насколько я вижу, датасет уже используют для дообучения моделей.
https://huggingface.co/datasets/Vyber07/cyber-security
huggingface.co
Vyber07/cyber-security · Datasets at Hugging Face
Dataset with 1 rows (Text). Explore, preview and download it on Hugging Face.
3
Это материалы всего за один месяц курса CS8803 в Технологическом институте Джорджии.
Подробный разбор эмбеддингов, рассуждений и выравнивания моделей, архитектуры ИИ-агентов и работы с длинным контекстом. Всё подкреплено научными публикациями.
Невероятно ценные материалы, причём все они находятся в открытом доступе:
https://cocoxu.github.io/CS8803-LLM-spring2026/
Подробный разбор эмбеддингов, рассуждений и выравнивания моделей, архитектуры ИИ-агентов и работы с длинным контекстом. Всё подкреплено научными публикациями.
Невероятно ценные материалы, причём все они находятся в открытом доступе:
https://cocoxu.github.io/CS8803-LLM-spring2026/
Графы — это всего лишь точки и линии. Но если их достаточно много, с их помощью можно смоделировать практически всё что угодно.
Например, математические выражения, где вершины представляют переменные, а рёбра — вычислительные операции.
Или геометрические фигуры, где вершины графа соответствуют вершинам фигуры, а рёбра образуют границы её граней.
Или фрагменты ДНК, которые с помощью графовых алгоритмов можно объединить в полные последовательности генома.
Графы встречаются повсюду, а теория графов даёт нам мощный математический аппарат для работы с ними.
В этой статье постепенно разберёте основные понятия теории графов и научимся применять их для анализа транспортных потоков, поиска оптимальных маршрутов, сборки геномов и решения множества других задач.
Но начнёте с самого начала. Что такое граф?
https://thepalindrome.org/p/graph-theory-for-visual-learners-320
Например, математические выражения, где вершины представляют переменные, а рёбра — вычислительные операции.
Или геометрические фигуры, где вершины графа соответствуют вершинам фигуры, а рёбра образуют границы её граней.
Или фрагменты ДНК, которые с помощью графовых алгоритмов можно объединить в полные последовательности генома.
Графы встречаются повсюду, а теория графов даёт нам мощный математический аппарат для работы с ними.
В этой статье постепенно разберёте основные понятия теории графов и научимся применять их для анализа транспортных потоков, поиска оптимальных маршрутов, сборки геномов и решения множества других задач.
Но начнёте с самого начала. Что такое граф?
https://thepalindrome.org/p/graph-theory-for-visual-learners-320
thepalindrome.org
Graph Theory For Visual Learners
A scenic tour into the heart of graph theory
CS329A: «Самосовершенствующиеся ИИ-агенты». Курс Стэнфордского университета.
Многие спрашивали, где найти хорошие лекции по самосовершенствующемуся искусственному интеллекту.
В курсе Стэнфордского университета собраны лекции и полезные материалы для изучения этой темы.
Кроме того, следить за последними научными публикациями по этой теме можно здесь.
Многие спрашивали, где найти хорошие лекции по самосовершенствующемуся искусственному интеллекту.
В курсе Стэнфордского университета собраны лекции и полезные материалы для изучения этой темы.
Кроме того, следить за последними научными публикациями по этой теме можно здесь.
«Understanding Machine Learning: From Theory to Algorithms» (Cambridge University Press, 2014) — университетский учебник объёмом 410 страниц, посвящённый математическим основам машинного обучения.
В книге подробно рассматриваются теория статистического обучения, методы оптимизации, нейронные сети, ядерные методы и алгоритмы машинного обучения.
Это ещё один полезный бесплатный источник для тех, кто хочет глубже разобраться в математике, лежащей в основе современных систем машинного обучения.
https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/copy.html
В книге подробно рассматриваются теория статистического обучения, методы оптимизации, нейронные сети, ядерные методы и алгоритмы машинного обучения.
Это ещё один полезный бесплатный источник для тех, кто хочет глубже разобраться в математике, лежащей в основе современных систем машинного обучения.
https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/copy.html
Наконец-то Сьебастьян Рашка подготовил подробный материал «Позиционные эмбеддинги в современных LLM».
В нём разобран принцип работы RoPE с нуля, а также рассмотрены подходы, используемые в современных архитектурах: NoPE, частичный RoPE и гибридные варианты.
Возможно, тема не самая эффектная, но без понимания позиционных эмбеддингов сложно разобраться в устройстве современных LLM.
https://magazine.sebastianraschka.com/p/understanding-positional-embeddings
В нём разобран принцип работы RoPE с нуля, а также рассмотрены подходы, используемые в современных архитектурах: NoPE, частичный RoPE и гибридные варианты.
Возможно, тема не самая эффектная, но без понимания позиционных эмбеддингов сложно разобраться в устройстве современных LLM.
https://magazine.sebastianraschka.com/p/understanding-positional-embeddings
EasyRead — инструмент с открытым исходным кодом для чтения и перевода научных статей в формате PDF.
Он поддерживает:
- Перевод статей непосредственно на устройстве с сохранением оригинального текста рядом.
- Обращение к ИИ прямо во время чтения.
- Параллельный просмотр оригинала и перевода.
- Выделение текста и добавление заметок.
- Управление библиографией и ссылками.
Достаточно загрузить PDF, и можно начинать чтение: перевод первого абзаца появляется ещё до обработки всей статьи.
Если встречается сложное предложение, можно развернуть оригинал, посмотреть его рядом с переводом, выделить фрагмент, добавить заметку или задать вопрос ИИ по конкретному абзацу.
Также можно читать статью непосредственно на английском языке.
https://github.com/Edwardxlai/easyread
Он поддерживает:
- Перевод статей непосредственно на устройстве с сохранением оригинального текста рядом.
- Обращение к ИИ прямо во время чтения.
- Параллельный просмотр оригинала и перевода.
- Выделение текста и добавление заметок.
- Управление библиографией и ссылками.
Достаточно загрузить PDF, и можно начинать чтение: перевод первого абзаца появляется ещё до обработки всей статьи.
Если встречается сложное предложение, можно развернуть оригинал, посмотреть его рядом с переводом, выделить фрагмент, добавить заметку или задать вопрос ИИ по конкретному абзацу.
Также можно читать статью непосредственно на английском языке.
https://github.com/Edwardxlai/easyread
Один из лучших технических университетов мира, Университет Карнеги — Меллона (CMU), открыл доступ к своим лекциям. Теперь занятия преподавателей университета можно бесплатно смотреть на YouTube.
Если вы занимаетесь разработкой с помощью ИИ, стоит обратить внимание на три курса:
1. AI Agents
Курс ведёт в том числе Грэм Нойбиг, сооснователь OpenHands. Вы научитесь создавать ИИ-агента с нуля, оценивать его работу, обучать с помощью обучения с подкреплением, а также изучите изоляцию среды выполнения и атаки на агентов.
2. Machine Learning Systems
Курс посвящён системам машинного обучения. Его ведут Тяньци Чен, создатель XGBoost и Apache TVM, и Чжихао Цзя.
3. Machine Learning in Production
Курс о практическом внедрении моделей машинного обучения: от запуска в прод до их дальнейшего обслуживания и поддержки работоспособности.
https://www.cs.cmu.edu/learn/
Если вы занимаетесь разработкой с помощью ИИ, стоит обратить внимание на три курса:
1. AI Agents
Курс ведёт в том числе Грэм Нойбиг, сооснователь OpenHands. Вы научитесь создавать ИИ-агента с нуля, оценивать его работу, обучать с помощью обучения с подкреплением, а также изучите изоляцию среды выполнения и атаки на агентов.
2. Machine Learning Systems
Курс посвящён системам машинного обучения. Его ведут Тяньци Чен, создатель XGBoost и Apache TVM, и Чжихао Цзя.
3. Machine Learning in Production
Курс о практическом внедрении моделей машинного обучения: от запуска в прод до их дальнейшего обслуживания и поддержки работоспособности.
https://www.cs.cmu.edu/learn/
CMU School of Computer Science
CS Learn
Free lectures from Carnegie Mellon's Kenneth C. Griffin School of Computer Science, now on YouTube. Self-paced courseware comes next.
⚡Чем занимается инженер данных и как войти в профессию в 2027 году?
Многие слышали про дата-инженеров, но не понимают, чем они отличаются от аналитиков и что на самом деле делают. Из-за этого новички либо боятся начинать, либо учат всё подряд и не доходят до первой работы.
Андрон Алексанян - преподаватель МИФИ, основатель и CEO Симулейтив, топ эксперт по аналитике данных в России по версии newHR проведет бесплатный урок. Он покажет, как инженер собирает данные под задачу бизнеса, и объяснит, как выглядит путь в профессию.
Вы узнаете:
Дополнительно на эфире Андрон решит реальную задачу из своей работы: найдет образовательные организации с нужной IT-специальностью, получит их ИНН и добавит данные о выручке. Весь код будет с комментариями, и вы сможете повторить разбор самостоятельно.
🎁 ПОЛУЧИТЕ 3 КУРСА (PYTHON, SQL, PANDAS) В ПОДАРОК ЗА РЕГИСТРАЦИЮ НА ВЕБИНАР!
Эти курсы помогут освоить базу и подготовиться к практике.
Если вы присматриваетесь к инженерии данных, но не уверены, ваше это или нет, этот вебинар поможет понять, подходит ли вам профессия. И не переживайте, даже если для вас Python пока просто порода змеи 🐍
🛎️Регистрируйтесь, эфир совсем скоро!
Многие слышали про дата-инженеров, но не понимают, чем они отличаются от аналитиков и что на самом деле делают. Из-за этого новички либо боятся начинать, либо учат всё подряд и не доходят до первой работы.
Андрон Алексанян - преподаватель МИФИ, основатель и CEO Симулейтив, топ эксперт по аналитике данных в России по версии newHR проведет бесплатный урок. Он покажет, как инженер собирает данные под задачу бизнеса, и объяснит, как выглядит путь в профессию.
Вы узнаете:
🔶 Где компании нужен дата-инженер и чем его работа отличается от задач аналитика;🔶 Как собрать данные из разных источников с помощью Python, API и Pandas;🔶 Что меняется с появлением ИИ и какие задачи остаются у инженера;🔶 Что нужно уметь для первой работы и как читать требования вакансий;🔶 Что показать работодателю, если коммерческого опыта пока нет;🔶 С чего начать обучение и когда переходить к собеседованиям.
Дополнительно на эфире Андрон решит реальную задачу из своей работы: найдет образовательные организации с нужной IT-специальностью, получит их ИНН и добавит данные о выручке. Весь код будет с комментариями, и вы сможете повторить разбор самостоятельно.
🎁 ПОЛУЧИТЕ 3 КУРСА (PYTHON, SQL, PANDAS) В ПОДАРОК ЗА РЕГИСТРАЦИЮ НА ВЕБИНАР!
Эти курсы помогут освоить базу и подготовиться к практике.
Если вы присматриваетесь к инженерии данных, но не уверены, ваше это или нет, этот вебинар поможет понять, подходит ли вам профессия. И не переживайте, даже если для вас Python пока просто порода змеи 🐍
🛎️Регистрируйтесь, эфир совсем скоро!
Please open Telegram to view this post
VIEW IN TELEGRAM
Экосистеме LLM с открытым исходным кодом очень не хватает универсального API для сборки моделей из отдельных компонентов.
Сейчас существует множество архитектурных компонентов для LLM, но их сложно свободно комбинировать между собой. Неважно, используете ли вы PyTorch или напрямую пишете код на C++ и CUDA: при проведении экспериментов и сравнении архитектур приходится сталкиваться с серьёзными затратами на переход между реализациями.
Например, если вы хотите:
- Заменить GQA на MLA.
- Перейти от плотных FFN к MoE.
- Заменить слои Attention на Mamba2 или Gated DeltaNet.
- Использовать Attention Residuals вместо стандартных остаточных связей.
Даже с помощью ИИ писать и адаптировать такой код пока довольно сложно.
Такой API можно было бы построить поверх PyTorch или непосредственно CUDA. Но для этого потребуется тщательно продуманная архитектура, постоянная поддержка и оптимизация производительности. Это не тот случай, когда достаточно за выходные собрать очередной проект с помощью вайбкодинга. Решение должно быть достаточно эффективным и надёжным, чтобы разработчики могли использовать его в production, а не только для демонстрационных экспериментов.
Возможно, это идея для одной из крупных лабораторий с хорошим финансированием.
Уже существуют проекты, движущиеся в этом направлении: torchtitan, torchtune, Megatron Core и OLMo-core. Однако, они пока не обеспечивают необходимый уровень абстракции.
И, как всегда, возникает проблема курицы и яйца: чтобы получить широкое распространение, инструмент должен стать популярным, но для популярности ему сначала нужно получить широкое распространение.
Сейчас существует множество архитектурных компонентов для LLM, но их сложно свободно комбинировать между собой. Неважно, используете ли вы PyTorch или напрямую пишете код на C++ и CUDA: при проведении экспериментов и сравнении архитектур приходится сталкиваться с серьёзными затратами на переход между реализациями.
Например, если вы хотите:
- Заменить GQA на MLA.
- Перейти от плотных FFN к MoE.
- Заменить слои Attention на Mamba2 или Gated DeltaNet.
- Использовать Attention Residuals вместо стандартных остаточных связей.
Даже с помощью ИИ писать и адаптировать такой код пока довольно сложно.
Такой API можно было бы построить поверх PyTorch или непосредственно CUDA. Но для этого потребуется тщательно продуманная архитектура, постоянная поддержка и оптимизация производительности. Это не тот случай, когда достаточно за выходные собрать очередной проект с помощью вайбкодинга. Решение должно быть достаточно эффективным и надёжным, чтобы разработчики могли использовать его в production, а не только для демонстрационных экспериментов.
Возможно, это идея для одной из крупных лабораторий с хорошим финансированием.
Уже существуют проекты, движущиеся в этом направлении: torchtitan, torchtune, Megatron Core и OLMo-core. Однако, они пока не обеспечивают необходимый уровень абстракции.
И, как всегда, возникает проблема курицы и яйца: чтобы получить широкое распространение, инструмент должен стать популярным, но для популярности ему сначала нужно получить широкое распространение.