#book@dm_projects_log

В последний день прошлого года закончил в очередной (5) раз перечитывать свою любимую книгу: "Глубокое обучение на Python" за авторством Франсуа Шолле.

О втором издании
Все предыдущие разы я читал первое издание, но когда вышло второе на русском языке, я сразу же её заказал. Второе издание на 2/3 переработано, и в 2 раза объемнее. Надо сказать, что содержательно и качественно она стала гораздо лучше.

Содержание
Несмотря на то, что книга предназначена для новичков в области глубокого обучения, в ней заложены так же глубокие рассуждения на тему. В книге подробно разобраны основы и довольно поверхностно (скорее с ознакомительной точки зрения) продвинутые темы.

Особенность книги
Особенностью этой книги является то, что в ней только необходимый математический минимум и ни одной формулы. Математические формулы есть, но они написаны кодом. Упор делается на практику. Все примере на фреймворке Karas, создателем которого является автор книги.

Личные итоги
Мои личные итоги прочтения:
* Повторил основы глубокого обучения и углубил свое понимание темы
* Наконец понял, как устроены рекурентные нейронки, и чем они отличаются от трансформеров.
* Переосмыслил свой взгляд на жизнь.
* Получил новые интересные интерпретации машинного обучения.
* Дополнил свой план написания книги несколькими пунктами
* Переосмыслил значимость разных способов обучения
* Осознал часть проблем создания ИИ

Личное отношение
Эта книга является моим главным ориентиром того, как надо популярно писать о машинном обучении, хотя в своей книге я намерен раскрывать тему более глубоко и всесторонне. Эта книга была моей первой книгой по машинному обучению и являлась проводником в профессию.

Моё отношение к нейронкам
Я в своей работе редко использую нейронки. После этого прочтения я окончательно определился в границах интересного для меня применения нейронных сетей. Мне интереснее всего они в контексте RL и UL, хотя эти темы практически не затрагиваются в книге.

О чтении
Надо сказать, что чтение книг - это хорошая регуляризация сложившихся представлений. Для меня это еще и способ медитации. Чтение позволяет развивать способность более конструктивно строить свои мысли и держать свой разум в тонусе. Сейчас я понял более глубоко пользу от этого процесса и намерен хотя-бы 3 часа в неделю уделять чтению. Книг у меня много, а бэклог глубокий.

Мониитог прочтения
Новое слово: многообразие - эффективное в рамках задачи подпространство.
Ключевая идея: иерархическое представление.


P. S. В ходе чтения я делал конспект и думал им поделиться здесь, но Шолле сам законспектировал её в последней главе, что очень круто. Так что свой конспект я переработаю для базы знаний.

P. P. S. Забавно, что прошлый год я тоже закончил так же 5 раз перечитывая ещё одну из моих любимых книг. В тот раз это была "Ветер и сталь" Алексея Бессонова. Это фантастический боевик. Можно сказать, что это первая книга, которую я прочитал самостоятельно с удовольствием ещё в 14 лет. Хотя книга совсем не подростковая.

#quote

Чтобы иметь дело с гиперпланами в 14-мерном пространстве, визуализируйте 3D-пространство и очень громко говорите "четырнадцать". Все это делают.

Джеффри Хинтон

#life
#review

Обновил телефончик с Samsung Galaxy Fold 5 до Samsung Galaxy S24 Ultra.

Пока я ходил с раскладушкой, многие спрашивали меня о нём, и вот, пропользовавшись им 15 месяцев, и поменяв, я готов сделать большой обзор и заодно объяснить почему поменял.

🔋 У него довольно маленькая батарея при большом энергопотреблении. Первые полгода это было не особо заметно, но потом мне перестало хватать зарядки на весь день.

💁‍♂ Эргономика требует привыкания, но она не плохая. Кто-то считает, что это минус, кто-то, что плюс, но в сложеном состоянии телефон узкий. На мой взгляд оба правы, но в разных аспектах. Мне нравится идея с тем, что он узкий в сложенном состоянии. В таком виде он удобно лежит в кармане и по нему очень удобно разговаривать, как по мобилам начала 2000. Минусы такого решения...

🖥 Экраны. Они не стандартного размера. Некоторые приложения не могут нормально работать в обоих форматах. В сложенном виде экран слишком узкий, а в разложенном - широкий. Сами по себе они отличные.

💥 Хрупкость. Это контринтуитивно, но он совсем не хрупкий. Много раз у меня падали в сложеном и в разложеном состоянии, и ему норм.

🧹 Уход. Телефончик весьма капризный. На него не большое разнообразие чехлов, плёнка клеется только га внешний экран, а внутренняя плёнка специальная. По идее на неё гарантия год и вот через год и месяц мне надо её менять.

✏️ Стилус. Краеугольный камень. То из-за чего я по большей части решил сменить телефончик. По пунктам:
1. Он дорогой. Годится только фирменный, чтобы это было удобно, нужен фирменный чехол. Это 11к. Половина чехла за год у меня сломался, а стилус стерся. В общем, дорого.
2. Пользоваться им, как на планшете неудобно. Если положить телефон на стол, то он будет шататься в чехле хуже, чем без него, но все равно неоч.
3. Линия сгиба. В ней стилус работает плохо и сигнал искажается.
4. Стилус не работает полноценно с телефоном (не связывается по блютузу). Чтобы его хранить нужен специальный чехол (по опыту только фирменный).

В общем, телефончик специфический, но классный. Под мои задачи подходит, не идеально. Когда стал много работать со стилусом, было не комфортно. Привлекает много внимания и необычный. Рекомендую только тем, кому хочется чего-то необычного, нового, нравится привлекать внимания, не жалко денег и не в лом за ним ухаживать. Я его оставлю в коллекцию, поэтому сменил, пока он не убит. Думаю, что вложусь в уход за ним и положу на полку. Это были классные 15 месяцев, но пора вернуться к классике.

Новые книги. Левую начал читать.

#life
#book

Немного ночного флуда...

Нашёл банальный способ обоготить преобзоры на книги. Раньше я читал оглавление и описание, и немного листал книги. Вы могли заметить, что все они от издательства Питер. Я заказываю книги напрямую от издательства. Причины:
1. У меня уже скопилось приличная скидка
2. Покупая бумажную версию, становится доступна электронная, которую можно начать читать, пока ждёшь доставку.
3. Удобная доставка за 4 дня (в среднем)

Собственно подписался на их тележку, где они пишут TL;DR на некоторые книги. Это повод делать больше книжного контента, обогощая его.

Теперь расскажу о книге, которую сейчас читаю (фото). Книга хардкорная. Читать тяжело. Но она позволяет достаточно глубоко понять, как работает Python под копотом. Конспектировать её не просто, так как она во многом практическая, а такие вещи не добавить нормально в конспект. Нужно брать и пробовать лапками.

Спят корова, конь и хрюшка,
Спит полярная звезда,
Но не спит твоя видюшка,
Ни за что и никогда
Без особенного смысла
Вычисляет чудо-числа
Числа редкой простоты,
Вычисляет... Эх мечты
Засыпай скорей и ты

#open_source@dm_projects_log

Наверное все уже слышали о том, что модели от китайских исследователей DeepSeek-R1 и DeepSeek-R1-Zero выложены в открытый доступ и показывают результаты на уровне o1.

Мини обзор

Попробовать: полная R1 доступна на официальном сайте в режиме DeepThink. Насколько мне известно, есть ограничения на количество запросов/токенов, но с ходу не нашел об этом конкеретной информации.

Приложение: мобильное приложение работает бесплатно, ссылки есть тут.

Я в свою очередь пробую развернуть на Neil II дистиллированную версию на 32B параметров. Я не особо часто пользуюсь LLM, но потестить интересно.