Вот один из лучших материалов для начала, если хотите понять, что процессор на самом деле делает.

https://youtu.be/GU8MnZI0snA

✈️ Python Ninja

НАШ ОСНОВНОЙ КАНАЛ, БУДЕМ РАДЫ ВАШЕЙ ПОДПИСКЕ

Проект «TERMINAL» стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков:

• Практические курсы и задания
• Книги и статьи известных авторов
• Полезные инструменты и ресурсы
• IT-новости и инсайды

Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go, Git, Linux, QA, Java, Vibe-coding, InfoSec и др.

⌨️ подписаться

Очень рекомендую сохранить осенний курс Стэнфорда MS&E 319 — Efficient Generative Language Models.

Курс идёт от предобучения до инференса и постобучения. Материалы и записи лекций обещают выкладывать позже.

Мне особенно нравится его исходная идея: модели становятся всё больше, но бюджет всегда ограничен. Если есть конкретная задача и ограниченные вычислительные ресурсы, как выбрать цель обучения, архитектуру модели и способ инференса так, чтобы получить максимум за свои деньги и не запускать GPT-6 на каждой задаче.

«Просто купить ещё GPU» тоже вариант — и сейчас это фактически основной подход рынка.

В курсе будут MoE, attention, сжатие KV Cache, квантизация, speculative decoding, а также LoRA, RLHF, DPO и дистилляция. Все эти обычно разрозненные техники рассматриваются через один вопрос: какую именно часть вычислений, памяти или времени они экономят и чем за это приходится платить.

Например, если нужно снизить стоимость использования модели, один подход позволяет на каждом запросе задействовать только часть параметров, другой уменьшает объём данных, которые нужно хранить и перемещать, третий ускоряет генерацию ответа. Сначала нужно понять, какую именно проблему решает каждый метод, и только потом выбирать подходящий для своей задачи и смотреть, какие из них можно сочетать.

Мне самому при оценке ИИ-компаний особенно интересен именно этот уровень: можно ли на тот же бюджет обучить более сильную модель или обслужить больше пользователей. Когда понимаешь компромиссы этих методов, релизы моделей и изменения их стоимости становятся намного понятнее.

У курса есть определённый порог входа, но если тема интересна, точно стоит следить:

https://web.stanford.edu/class/msande319/

✈️ Python Ninja

Вышла открытая альтернатива Jev — Kev. Модель доступна в трёх размерах.

Она работает локально, поэтому данные остаются на вашем компьютере. Kev может отвечать «да» или «нет», выбирать один из вариантов и добавлять примечание. Подходит для задач классификации.

✈️ Python Ninja

Слили в телеграмм тонны инфы

🔥 Всё, что нужно для прогресса — в одном месте:

|- - 🗂 Курсы & Git — 1526ГБ
|
|- - 🗂 Хакинг & ИБ — 573ГБ
|
|- - 🗂 Python — 428ГБ
|
|- - 🗂 Linux & Bash — 652ГБ
|
|- - 🗂 OSINT — 352ГБ
|
|- - 🗂 Работа IT — 356ГБ
|
|- - 🗂 Общее IT — 2575ГБ


📌Гайды, шпаргалки, книги, задачи и ресурсы для каждого.

Исследователь OpenAI Алиса Лю прошла 57 собеседований перед тем, как попасть в компанию, а затем открыто опубликовала весь свой путь подготовки и поиска работы.

Если вы готовитесь к позициям Research Scientist или MTS, это один из самых насыщенных практических материалов, которые сейчас можно найти.

Можно использовать её конспекты напрямую или просто взять список тем и пройти их самостоятельно. Такое публикуют редко.

Конспекты по LLM:
https://alisawuffles.notion.site/alisa-s-book-of-llms

Математика:
https://alisawuffles.notion.site/math-notes

Разбор поиска работы и собеседований:
https://alisawuffles.github.io/blog/job-search/

✈️ Python Ninja