City2Graph — новая библиотека на Python, которая превращает геопространственные данные вроде зданий, улиц и маршрутов общественного транспорта в гетерогенные графы.
Она связывает GeoPandas с PyTorch Geometric, чтобы такие городские данные можно было напрямую использовать в графовом машинном обучении.
https://github.com/c2g-dev/city2graph
Она связывает GeoPandas с PyTorch Geometric, чтобы такие городские данные можно было напрямую использовать в графовом машинном обучении.
https://github.com/c2g-dev/city2graph
Вышел, пожалуй, самый полный список материалов для изучения производительности GPU и ИИ.
Новая версия начинается с разбора того, как выполняется один запрос на инференс, а затем постепенно переходит к модели выполнения CUDA, Roofline, вычислительной арифметике трансформеров, TTFT, TPOT, goodput и оптимизации ядер.
Именно эти материалы мы используем, чтобы глубоко разобраться в том, как оптимизировать системы инференса.
Также добавили FlashAttention-4, Tensor Memory в Blackwell и низкоточные тензорные ядра, непрерывный батчинг, системы KV-кэша, квантизацию, спекулятивное и структурированное декодирование.
Отдельно разбираются обслуживание MoE-моделей, коллективные операции, топология, разделение prefill и decode, а также Blackwell Ultra, MI350/CDNA 4, Ironwood и Trainium3.
Ещё появились KernelBench-Verified и SOL-ExecBench, плюс отдельный список технологий, за которыми стоит следить — Rubin и CDNA 5.
https://github.com/wafer-ai/gpu-perf-engineering-resources
Новая версия начинается с разбора того, как выполняется один запрос на инференс, а затем постепенно переходит к модели выполнения CUDA, Roofline, вычислительной арифметике трансформеров, TTFT, TPOT, goodput и оптимизации ядер.
Именно эти материалы мы используем, чтобы глубоко разобраться в том, как оптимизировать системы инференса.
Также добавили FlashAttention-4, Tensor Memory в Blackwell и низкоточные тензорные ядра, непрерывный батчинг, системы KV-кэша, квантизацию, спекулятивное и структурированное декодирование.
Отдельно разбираются обслуживание MoE-моделей, коллективные операции, топология, разделение prefill и decode, а также Blackwell Ultra, MI350/CDNA 4, Ironwood и Trainium3.
Ещё появились KernelBench-Verified и SOL-ExecBench, плюс отдельный список технологий, за которыми стоит следить — Rubin и CDNA 5.
https://github.com/wafer-ai/gpu-perf-engineering-resources
«Complex Analysis» — ещё один большой открытый учебник по основам комплексного анализа объёмом более 470 страниц.
Он рассчитан на студентов математики, физики и инженерных специальностей и охватывает комплексные числа и функции, аналитические и гармонические функции, контурное интегрирование, ряды Тейлора и Лорана, теорию вычетов, конформные отображения, ряды Фурье, а также преобразования Фурье и Лапласа.
Материал начинается с базовых тем и постепенно переходит к более сложным. Для чтения желательно уже знать математический анализ, особенно функции нескольких переменных.
При этом учебник написан очень понятно, в нём много примеров, приложений и упражнений.
Я бы сохранил его как хороший справочник. Учебник полностью открыт и доступен бесплатно.
https://complexanalysis.org/howell-complex-analysis-web.pdf
Он рассчитан на студентов математики, физики и инженерных специальностей и охватывает комплексные числа и функции, аналитические и гармонические функции, контурное интегрирование, ряды Тейлора и Лорана, теорию вычетов, конформные отображения, ряды Фурье, а также преобразования Фурье и Лапласа.
Материал начинается с базовых тем и постепенно переходит к более сложным. Для чтения желательно уже знать математический анализ, особенно функции нескольких переменных.
При этом учебник написан очень понятно, в нём много примеров, приложений и упражнений.
Я бы сохранил его как хороший справочник. Учебник полностью открыт и доступен бесплатно.
https://complexanalysis.org/howell-complex-analysis-web.pdf
Лекции курса «Machine Learning & Causal Inference: A Short Course», подготовленного профессором Стэнфордского университета Сьюзан Эйти, можно посмотреть по ссылке ниже.
https://youtube.com/playlist?list=PLxq_lXOUlvQAoWZEqhRqHNezS30lI49G-&si=uwNV2GcR4yOBQA_d
https://youtube.com/playlist?list=PLxq_lXOUlvQAoWZEqhRqHNezS30lI49G-&si=uwNV2GcR4yOBQA_d
Если хотите разобраться, как обучить большую модель с нуля, рекомендую посмотреть вот это ↓
Сооснователь ARC Prize и создатель Keras Франсуа Шолле недавно посоветовал путь для изучения LLM с нуля.
Он сказал, что если вам 17 лет или вообще сколько угодно и вы хотите с нуля научиться создавать LLM, просто прочитайте главы 15 и 16 его книги *Deep Learning with Python*.
Я бегло их просмотрел, и эти две главы точно стоит сохранить.
Глава 15 начинается с самых базовых языковых моделей и постепенно доходит до
Character-level Language Model → Seq2Seq → Attention → QKV → Scaled Dot-Product Attention → Multi-Head Attention → Self-Attention → Transformer
Там даже есть отдельный раздел с объяснением того, почему вообще работает Dot-Product Attention.
Сам он говорит, что это одно из лучших объяснений этой темы.
Автор не останавливается на формулах вроде
Глава 16 ещё практичнее. В ней напрямую показывают, как обучить mini-GPT с нуля.
Разбирается, как взять почти 1 миллиард токенов из C4, собрать словарь SentencePiece на 32 тысячи токенов, настроить mini-GPT на 41 миллион параметров с 8 слоями, 8 головами внимания и размером скрытого состояния 512, а затем самостоятельно собрать конвейер данных, сделать weight tying, прогрев скорости обучения, предобучение и генерацию с temperature и top-k.
От токенизатора, конвейера данных, causal attention, weight tying и прогрева скорости обучения до предобучения, greedy decoding, temperature и top-k sampling. По сути, вас шаг за шагом проводят через полный процесс обучения GPT.
Для этого даже не нужен дорогой сервер.
В официальном примечании указано, что весь пример можно запустить на бесплатной T4 в Google Colab. Обучение займёт около 6 часов. На A100 — чуть больше часа.
Дальше в книге разбираются Gemma, SFT, RLHF, RAG и мультимодальные модели.
Поэтому если меня спросят
«Я никогда раньше не обучал большую модель. С чего начать?»
Эти две главы действительно могут быть отличной отправной точкой.
Третье издание *Deep Learning with Python* сейчас доступно для бесплатного чтения онлайн, а все сопутствующие ноутбуки полностью открыты. Их можно просто загрузить в Colab и запустить.
В 2026 году для изучения LLM уже необязательно сразу садиться и разбирать сотню научных статей.
Если один раз самостоятельно обучить GPT на 41 миллион параметров от подготовки данных до генерации текста, очень многие концепции после этого естественным образом складываются в единую картину.
Сооснователь ARC Prize и создатель Keras Франсуа Шолле недавно посоветовал путь для изучения LLM с нуля.
Он сказал, что если вам 17 лет или вообще сколько угодно и вы хотите с нуля научиться создавать LLM, просто прочитайте главы 15 и 16 его книги *Deep Learning with Python*.
Я бегло их просмотрел, и эти две главы точно стоит сохранить.
Глава 15 начинается с самых базовых языковых моделей и постепенно доходит до
Character-level Language Model → Seq2Seq → Attention → QKV → Scaled Dot-Product Attention → Multi-Head Attention → Self-Attention → Transformer
Там даже есть отдельный раздел с объяснением того, почему вообще работает Dot-Product Attention.
Сам он говорит, что это одно из лучших объяснений этой темы.
Автор не останавливается на формулах вроде
QKᵀ / √d. Он начинает с Word2Vec и пространства эмбеддингов, а затем объясняет, как Transformer слой за слоем через Attention постепенно превращает связи между токенами в отношения расстояний в векторном пространстве.Глава 16 ещё практичнее. В ней напрямую показывают, как обучить mini-GPT с нуля.
Разбирается, как взять почти 1 миллиард токенов из C4, собрать словарь SentencePiece на 32 тысячи токенов, настроить mini-GPT на 41 миллион параметров с 8 слоями, 8 головами внимания и размером скрытого состояния 512, а затем самостоятельно собрать конвейер данных, сделать weight tying, прогрев скорости обучения, предобучение и генерацию с temperature и top-k.
От токенизатора, конвейера данных, causal attention, weight tying и прогрева скорости обучения до предобучения, greedy decoding, temperature и top-k sampling. По сути, вас шаг за шагом проводят через полный процесс обучения GPT.
Для этого даже не нужен дорогой сервер.
В официальном примечании указано, что весь пример можно запустить на бесплатной T4 в Google Colab. Обучение займёт около 6 часов. На A100 — чуть больше часа.
Дальше в книге разбираются Gemma, SFT, RLHF, RAG и мультимодальные модели.
Поэтому если меня спросят
«Я никогда раньше не обучал большую модель. С чего начать?»
Эти две главы действительно могут быть отличной отправной точкой.
Третье издание *Deep Learning with Python* сейчас доступно для бесплатного чтения онлайн, а все сопутствующие ноутбуки полностью открыты. Их можно просто загрузить в Colab и запустить.
В 2026 году для изучения LLM уже необязательно сразу садиться и разбирать сотню научных статей.
Если один раз самостоятельно обучить GPT на 41 миллион параметров от подготовки данных до генерации текста, очень многие концепции после этого естественным образом складываются в единую картину.
Полный курс по Hugging Face Transformers.
Что вы изучите:
— Поймёте устройство трансформеров и LLM без отношения к ним как к «чёрному ящику»
— Разберётесь, как модели обучаются, оптимизируются и улучшаются на данных
— Научитесь работать с последовательностями, текстом и задачами языкового моделирования
— Сформируете практическое понимание этой части LLM и генеративного ИИ
— Разберётесь с последовательностными моделями вроде RNN и LSTM для задач обработки естественного языка
https://www.youtube.com/playlist?list=PLOj3JD_j8uXEsxFZGcRyjI_ZawoSvCfti
Что вы изучите:
— Поймёте устройство трансформеров и LLM без отношения к ним как к «чёрному ящику»
— Разберётесь, как модели обучаются, оптимизируются и улучшаются на данных
— Научитесь работать с последовательностями, текстом и задачами языкового моделирования
— Сформируете практическое понимание этой части LLM и генеративного ИИ
— Разберётесь с последовательностными моделями вроде RNN и LSTM для задач обработки естественного языка
https://www.youtube.com/playlist?list=PLOj3JD_j8uXEsxFZGcRyjI_ZawoSvCfti
«Learning Mathematics» — самая читаемая публикация за всю историю алгебры.
Автор очень лично рассказывает о том, что математика — не что-то, доступное только людям с особым талантом или врождённым даром.
Ей может научиться каждый — постепенно, шаг за шагом, с практикой, временем и упорством.
Если вы хотя бы раз думали «математика просто не для меня», возможно, эту статью стоит прочитать.
https://algebrica.org/learning-mathematics/
Автор очень лично рассказывает о том, что математика — не что-то, доступное только людям с особым талантом или врождённым даром.
Ей может научиться каждый — постепенно, шаг за шагом, с практикой, временем и упорством.
Если вы хотя бы раз думали «математика просто не для меня», возможно, эту статью стоит прочитать.
https://algebrica.org/learning-mathematics/
Algebrica
Learning Mathematics | Algebrica
Why Memory, Practice, and Technique Matter More Than Talent
❗️ Распространите ❗️
Найден ИИ-ассистент, который реально экономит рабочее время и не сливает корпоративные данные
Сотрудникам не придется тратить время на поиск информации по разрозненным документам, регламентам и ссылкам. С корпоративным ИИ-ассистентом от Selectel и KTS все собрано в единой базе знаний с умным поиском.
С вас — запросы на естественном языке, с ассистента — мгновенные структурированные ответы, краткие выжимки и ключевые тезисы по внутренним файлам, черновики документов и многое другое.
Решение подойдет компаниям даже со строгими требованиями к безопасности:
✨ Ассистент автоматически маскирует чувствительные данные в запросах и проверяет их на соответствие политикам безопасности.
✨ Продукт можно интегрировать с корпоративными системами управления доступом и разграничить права пользователей при работе с информацией.
✨ Решение можно развернуть как в облаке Selectel, так и в вашем контуре – в этом случае Selectel предоставляет серверы с GPU в аренду на вашей площадке.
Корпоративного ИИ-ассистента можно внедрить всего за 2 недели, включая настройку решения под данные и процессы компании.
Протестируйте и убедитесь сами✨ клик
Найден ИИ-ассистент, который реально экономит рабочее время и не сливает корпоративные данные
Сотрудникам не придется тратить время на поиск информации по разрозненным документам, регламентам и ссылкам. С корпоративным ИИ-ассистентом от Selectel и KTS все собрано в единой базе знаний с умным поиском.
С вас — запросы на естественном языке, с ассистента — мгновенные структурированные ответы, краткие выжимки и ключевые тезисы по внутренним файлам, черновики документов и многое другое.
Решение подойдет компаниям даже со строгими требованиями к безопасности:
Корпоративного ИИ-ассистента можно внедрить всего за 2 недели, включая настройку решения под данные и процессы компании.
Протестируйте и убедитесь сами
Please open Telegram to view this post
VIEW IN TELEGRAM
Нашёл отличный открытый курс от Zhejiang University — Large Model Basics.
У проекта уже больше 16 тысяч звёзд на GitHub, и это не просто один учебник.
Внутри последовательно разобраны Transformer, архитектуры больших моделей, промпты, цепочки рассуждений, LoRA, редактирование моделей, RAG и другие базовые темы.
Но самое полезное здесь — структура.
К каждой главе приложен список оригинальных научных работ. Отдельно собраны классические статьи и еженедельные подборки с arXiv.
То есть можно сначала разобраться в теме по учебнику, а потом сразу идти в первоисточники.
Сейчас многие изучают LLM очень фрагментарно. Сегодня агенты, завтра обучение с подкреплением, послезавтра Harness.
В итоге знаний становится много, но между ними остаются огромные дыры.
А этот репозиторий как раз выглядит как нормальная карта, по которой можно системно закрыть фундамент.
https://github.com/ZJU-LLMs/Foundations-of-LLMs
У проекта уже больше 16 тысяч звёзд на GitHub, и это не просто один учебник.
Внутри последовательно разобраны Transformer, архитектуры больших моделей, промпты, цепочки рассуждений, LoRA, редактирование моделей, RAG и другие базовые темы.
Но самое полезное здесь — структура.
К каждой главе приложен список оригинальных научных работ. Отдельно собраны классические статьи и еженедельные подборки с arXiv.
То есть можно сначала разобраться в теме по учебнику, а потом сразу идти в первоисточники.
Сейчас многие изучают LLM очень фрагментарно. Сегодня агенты, завтра обучение с подкреплением, послезавтра Harness.
В итоге знаний становится много, но между ними остаются огромные дыры.
А этот репозиторий как раз выглядит как нормальная карта, по которой можно системно закрыть фундамент.
https://github.com/ZJU-LLMs/Foundations-of-LLMs
GitHub
GitHub - ZJU-LLMs/Foundations-of-LLMs: A book for Learning the Foundations of LLMs
A book for Learning the Foundations of LLMs. Contribute to ZJU-LLMs/Foundations-of-LLMs development by creating an account on GitHub.
Бесплатный курс по современной робототехнике.
Учебник Modern Robotics Кевина Линча и Фрэнка Парка теперь доступен в формате полноценного курса на YouTube.
В программе шесть частей. Основы движения роботов, кинематика, динамика, планирование и управление движением, манипуляция и колёсные мобильные роботы, а в конце итоговый проект по мобильной манипуляции.
Разбираются пространство конфигураций, движения твёрдых тел, прямая и обратная кинематика, динамика, построение траекторий, планирование движения, управление роботами, захват объектов и мобильные роботы.
Вместе с курсом доступны задачи с решениями, экзамены Seoul National University за 2017–2020 годы, видеолекции и код на Python, MATLAB и Mathematica.
Курс можно пройти бесплатно на YouTube.
Учебник Modern Robotics Кевина Линча и Фрэнка Парка теперь доступен в формате полноценного курса на YouTube.
В программе шесть частей. Основы движения роботов, кинематика, динамика, планирование и управление движением, манипуляция и колёсные мобильные роботы, а в конце итоговый проект по мобильной манипуляции.
Разбираются пространство конфигураций, движения твёрдых тел, прямая и обратная кинематика, динамика, построение траекторий, планирование движения, управление роботами, захват объектов и мобильные роботы.
Вместе с курсом доступны задачи с решениями, экзамены Seoul National University за 2017–2020 годы, видеолекции и код на Python, MATLAB и Mathematica.
Курс можно пройти бесплатно на YouTube.
Использование искусственного интеллекта как полноценного участника команды при анализе данных.
Курс Габора Бекеша «Data Analysis with AI», обновлённый летом 2026 года, больше ориентирован на практику, чем на теорию.
И при этом он полностью бесплатный и с открытым исходным кодом.
https://gabors-data-analysis.com/ai-course/
Курс Габора Бекеша «Data Analysis with AI», обновлённый летом 2026 года, больше ориентирован на практику, чем на теорию.
И при этом он полностью бесплатный и с открытым исходным кодом.
https://gabors-data-analysis.com/ai-course/