#champinshipkz

ЧРК қатысушыларына мерч сыйлаймыз 🏆

Қатысу үшін:
— 29 мамыр, 16:00-ге дейін 3-кезеңге тіркел
— 31 мамырдағы контестке қатыс
— белсенді бол

Кездейсоқ таңдалған қатысушыларға мерч сыйлаймыз 🎁

Әлі тіркелмедің бе? Тіркелу 🔗

—

Дарим фирменный мерч участникам ЧРК 🏆

Что нужно сделать?
— зарегистрироваться на 3-й этап ЧРК до 29 мая, 16:00
— участвовать на контесте 31 мая
— быть активным участником контеста

Несколько рандомных участников получат фирменный мерч 🎁

Еще не зарегистрировался?
Самое время это исправить — регистрация 🔗

#Andrej_Karpathy #tweet_discussion

1. Что такое "Код" в понимании Карпатого?

Карпатый утверждает, что веса нейронной сети (миллиарды чисел) — это тоже код. Просто этот код написан не на языке Python, а на языке математических матриц.

* Software 1.0: Код пишет человек (инструкция за инструкцией).

* Software 2.0: Код "пишет" градиентный спуск (Gradient Descent), подбирая такие веса, которые решают задачу лучше, чем любой алгоритм, написанный вручную.

2. Разница между "пространством текста" и "пространством представлений"

* Распределенное пространство представлений (Distributed Representation Space): Это то, о чем был твит 2017 года. Градиентный спуск "программирует" внутренние связи нейросети. Он находит такие сложные зависимости в данных, которые человек никогда не смог бы описать правилами (hard-code). В этом смысле градиентный спуск — более эффективный "программист", чем человек.

* Пространство текста (Regular Text Space): Это то, что делают современные LLM (ChatGPT, Claude). Они буквально пишут код на Python или С++, имитируя человека. Карпатый иронизирует, что в 2017 году он имел в виду математику, а теперь ИИ реально пишет текстовый код 😅

~ Разбор сделан при помощи Gemini Flash (очень круто по полочкам разобрал - мне понравилось) :)

Kind reminder (ods.ai event): https://ods.ai/events/fest2026-almaty-30may

👀 Iris germanica - тот самый цветок из классического датасета для классификации на табличных данных.

Локация: ботанический сад в Алмате.

2nd part: https://youtu.be/v_jDvpEGTIg?si=5A1UhrJh7h4EZTL6

🧠 Time to Trivia!

If you love random facts, history deep-dives, or just want to test your trivia-skills -> Encyclopædia Britannica has a massive repository of trivia quizzes covering absolutely everything:

🎬 Pop Culture & Movies
🏛️ World History & Mythology
🧬 Science & Tech
🌍 Geography & Nature

👉 Tap here to test your knowledge: https://www.britannica.com/quiz/browse

Calculate Number of Parameters in Neural Network:

For ML engineers knowing the parameter count is vital because it determines a model's memory footprint and computational requirements, ensuring it can actually run on target hardware like GPUs or mobile devices.

Trainable parameters in a neural network are the internal variables (primarily weights and biases) that the model automatically adjusts during training to learn from data and improve its accuracy.

It serves as a direct measure of model capacity, helping engineers balance the complexity of the architecture to prevent overfitting while maintaining efficient training and inference speeds.

> Problem link (implement using numpy ~ recommended): https://www.deep-ml.com/problems/291

Dense layer:

trainable_params = input_size * out_size + out_size * int(use_bias)

CNN layer:

trainable_params = kernel_width * kernel_height * in_channels * out_channels + out_channels * int(use_bias)

Embedding layer:

trainable_params = num_embeddings * embedding_dim