Разбор собеседований по проектированию систем, разделённый на 28 глав. Рассматриваются масштабирование, ограничение частоты запросов и распределённые системы.

https://github.com/liquidslr/system-design-notes

👉 @PythonPortal

«Graph Theory with Applications» — бесплатный учебник, который даёт всестороннее введение в теорию графов и её практическое применение.

Книга начинается с базовых понятий: графов, подграфов, путей, циклов, деревьев и связности. Затем переходит к более сложным темам: эйлеровым и гамильтоновым графам, паросочетаниям, раскраске графов, планарным и ориентированным графам, сетевым потокам и экстремальной теории графов.

Особенно полезно то, что авторы сочетают наглядное, геометрическое и топологическое понимание графов со строгим изложением математических основ.

Это делает книгу ценным ресурсом для изучения теории, лежащей в основе многих современных приложений графов в информатике, компьютерных сетях, оптимизации, анализе данных и смежных областях.

Книга: https://book.huihoo.com/pdf/graph-theory-with-applications.pdf

👉 @PythonPortal

Можно буквально ввести предложение и посмотреть, как Transformer обрабатывает его.

Этот интерактивный тренажёр запускает GPT-подобную модель прямо в браузере и позволяет проследить весь процесс:

Токенизация → эмбеддинги → Q/K/V → механизм внимания → MLP → логиты → вероятности следующего токена.

Можно изучать карты внимания, промежуточные значения и менять параметры temperature, top-k и top-p, чтобы увидеть, как они влияют на генерацию.

Если для вас трансформеры до сих пор выглядят как набор блоков, соединённых стрелками, стоит попробовать.

https://poloclub.github.io/transformer-explainer/

👉 @PythonPortal

«Матричное дифференциальное исчисление для машинного обучения и не только» — бесплатный курс лекционных материалов MIT, посвящённый математике производных векторов и матриц.

Материалы охватывают градиенты, якобианы, производные матричных функций, дифференциалы, производные произведений матриц, обратных матриц и определителей, произведения Кронекера, оптимизацию и автоматическое дифференцирование. Также рассматривается применение этих методов в машинном обучении.

На мой взгляд, это полезный ресурс для тех, кто уже знаком с основами линейной алгебры и математического анализа и хочет разобраться, как дифференцирование обобщается на векторы и матрицы и применяется в современных задачах оптимизации.

https://ocw.mit.edu/courses/18-s096-matrix-calculus-for-machine-learning-and-beyond-january-iap-2023/mit18_s096iap23_lec_full.pdf

👉 @PythonPortal

NVIDIA действительно устранила одно из главных ограничений голосового ИИ.

Компания открыла исходный код PersonaPlex-7B — разговорной модели с полнодуплексным режимом, которая умеет одновременно слушать и говорить.

Вместо того чтобы ждать, пока пользователь закончит говорить, модель использует двухпоточную архитектуру для обработки речи и ответа в реальном времени.

Полностью открытый исходный код и бесплатное использование.

https://github.com/NVIDIA/personaplex

👉 @PythonPortal

Если ищете хороший видеокурс по 3D-математике для игр, в котором сочетаются теория и практика, вот он: https://wojtsterna.com/math-for-3d-programmers/

Первая часть курса длится 14 часов и доступна БЕСПЛАТНО. Недавно я разбил её на разделы, чтобы было проще проходить. Каждый — не дольше примерно 30 минут.

Весь курс — это внушительные 50 часов. Осилить его будет непросто, но, думаю, оно того стоит, если вы всерьёз хотите разобраться в 3D-математике.

👉 @PythonPortal

5 архитектур RAG

Большинство RAG-систем ломаются в одном и том же месте. Проблема не в модели, а в том, как находится контекст.

Базовый RAG строит эмбеддинги документов, находит ближайшие фрагменты и надеется, что в них есть ответ. Для простых вопросов это работает. Системам в продакшене нужно больше, и этот пробел заполняют пять архитектур.

Гибридный RAG выполняет два поиска одновременно. Плотные векторы улавливают смысл, а индекс ключевых слов BM25 находит точные термины, которые эмбеддинги часто упускают: коды товаров, имена, аббревиатуры. Метод Reciprocal Rank Fusion объединяет два ранжированных списка в один.

GraphRAG перестаёт рассматривать знания как изолированные фрагменты. Он извлекает сущности и связи между ними в граф знаний, затем находит релевантный подграф и сводки связанных кластеров. Он рассчитан на вопросы, ответы на которые охватывают несколько связанных фактов.

Агентный RAG превращает поиск в план действий. Агент-планировщик решает, какие инструменты использовать: векторный поиск, поиск в интернете или SQL-базу. Агент, отвечающий за рассуждения, объединяет результаты. Если подтверждений недостаточно, система возвращается к поиску.

Корректирующий RAG проверяет результаты собственного поиска. Агент-оценщик оценивает найденное до передачи модели. Релевантные результаты проходят дальше, нерелевантные запускают поиск в интернете, а при неоднозначной оценке запрос отправляется на переформулирование.

Мультимодальный RAG воспринимает документ не только как текст. Текст, изображения, графики и таблицы преобразуются в эмбеддинги и помещаются в общий индекс с помощью моделей вроде CLIP или ColPali. Так один запрос может найти абзац, схему или отсканированную таблицу.

Каждая архитектура устраняет свой тип сбоя:

Пропущенные ключевые слова → гибридный RAG
Недостающие связи → GraphRAG
Вопросы, требующие нескольких источников → агентный RAG
Ненадёжный поиск → корректирующий RAG
Знания в визуальных материалах → мультимодальный RAG

👉 @PythonPortal

Основатели ElevenLabs сейчас, должно быть, дрожат от страха…

Эти ребята только что выпустили голосовую ИИ-модель, которой можно управлять как настоящим актёром.

Больше не нужно вставлять странные специальные коды в текст. Просто пишете «произнеси это так, будто ты окончательно разочаровался в жизни», и модель делает именно это.

Почему это настолько круто:

- Одно слово прозвучало неправильно? Можно изменить только его, оставив всю остальную озвучку без изменений.
- Модель умеет переключаться между голосами прямо посреди предложения.
- Может озвучить целую сцену с несколькими персонажами по одному сценарию.
- Клонирует ваш голос и сохраняет его характер и манеру речи на других языках.

Модель поддерживает 83 языка, а её веса доступны для скачивания по лицензии Fish Audio Community License.

А чтобы продемонстрировать возможности модели, разработчики клонировали голос Uncle Roger и заставили его на протяжении всего ролика разносить собственный жареный рис.

Ахах, это просто прекрасно.

👉 @PythonPortal

Теперь можно просто загрузить изображение и посмотреть, как нейросеть определяет, что на нём изображено.

CNN Explainer позволяет проследить весь процесс обработки:

Пиксели → свёртка → ReLU → пулинг → карты признаков → softmax → предсказание.

Можно переходить между слоями нейросети и изучать фильтры, активации и вычисления, на основе которых формируется результат.

Отличный способ наглядно разобраться в работе свёрточных нейросетей (CNN).

https://poloclub.github.io/cnn-explainer/

👉 @PythonPortal

Найти все субдомены сайта можно с помощью одного URL.

Этот трюк с CRT позволяет получить список субдоменов, связанных с основным доменом, используя публичные данные сертификатов.

Просто откройте:
https://crt.name/v1/search?apex=[domain-name-here]

Замените [domain-name-here] на домен, который хотите проверить, и сервис покажет соответствующие субдомены.

👉 @PythonPortal