Data&Knowledge
130 subscribers
25 photos
21 files
160 links
Работаем с данными
Download Telegram
Кстати, я скоро ведь собираюсь снова взяться за математику. Нашел интересную книжку:
No Bullshit Guide to Linear Algebra by Ivan Savov

https://github.com/iamyifan/COMP6670_Introduction_to_Machine_Learning/blob/main/No%20Bullshit%20Guide%20to%20Linear%20Algebra.pdf

А еще нашел такую книжку:
Mathematics for Machine Learning by M. P. Deisenroth, A. A. Faisal, C. S. Ong

https://annas-archive.org/md5/9f54f0970d1b181eaf21529c1f47a8e3

С изучением математики есть две загвоздки. Первая - в чем вести конспекты, чтобы к ним потом можно было сравнительно легко вернуться (пока что вариант: Obsidian + Ink Plugin). Вторая - составить план изучения математики, чтобы с упражнениями и доказательством теорем.
👍3
Как я учу немецкий или минимизация страданий

Мне не нравится учить немецкий. Мне не интересны немецкие шоу, с людьми я общаюсь на английском, моя мотивация примерно около нуля. Поэтому я для себя выработал суперсистему изучения языка, которая подойдет и для английского.

Итак, во-первых, я выделил, что я хочу учить: грамматику, погружение в язык и производство языка (говорение/письмо). Во-вторых, необходим принцип интервального повторения. Я почитал литературу по преподаванию языка и узнал, что длина этих интервалов не сильно-то и важна. Важнее, чтобы повторение было.

1. Грамматика. По грамматике я скачал учебник. В учебнике сначала идет объяснение теории, а потом идут упражнения.

Лайфхак 1. Я купил планшет и теперь я могу выполнять упражнения прямо в пдфке (использую приложение xournal++). Это мегаудобно: не надо постоянно переключаться между учебником и тетрадкой, переписывать ненужные предложения - я просто заполняю пробелы в учебнике. Важно: к учебнику должны быть ответы, чтобы была возможность самопроверки.

Лайфхак 2. У меня есть табличка интервального повторения. К примеру, сегодня я читаю теорию по 1 теме и выполняю из неё часть упражнений. Через неделю я возвращаюсь к этой теме, повторяю теорию, делаю еще немного упражнений. И это работает! Через неделю я лучше понимаю материал, замечаю, что что-то не усвоилось, лучше делаю упражнения.

Лайфхак 3. У меня в учебнике короткие темы и упражнения. Это важно, потому что тогда на прохождение одной темы можно выделить всего 15 минут. Есть свободных 15 минут? Можно быстренько пройти очередную тему или повторить уже пройденное.

2. Погружение в язык. Мне неинтересны немецкие шоу. Многие блогеры мне тоже неинтересны, да и говорят они слишком быстро. Я решил смотреть мультфильмы.

Лайфхак 1. Я смотрю мультфильмы, которые мне были интересны в детстве или которые я недавно смотрел будучи взрослым (аниме): Скуби-Ду, Черепашки Ниндзя, Инспектор Гаджет, K-On!. Их можно смотреть в свободное время, улавливая общий смысл и лишь временами останавливаясь перевести непонятное слово.

3. Генерация языка. Здесь все просто - я скачал учебник для своего уровня, прохожу управжнения, а тексты даю на проверку ChatGPT. Он мне даёт какие-то исправления, так потихоньку и учу.

А какие лайфхаки используете вы? 😀
Так выглядит моя табличка изучения тем по грамматике. Я хочу проходить каждую тему по три раза. В первый период я первично прохожу тему, во второй и третий - повторяю уже пройденные темы (планировалось, что я смогу делать три периода в день - я был юн и наивен!). К примеру, сегодня (20 марта) я прошел тему 40 и повторил тему 17. Следующими моими шагами будет повторение тем 29 и 18.
А так выглядит учебник в моем приложении для работы с пдф. Сверху можно увидеть кусок теории. Синим я вписывал свои ответы и перевод незнакомых слов. Красным я исправлял ответы по ответам для учебника. Снизу видно упражнение, к которому я вернусь когда-нибудь позже.
О прохождении математики

Я собираюсь потихоньку начинать проходить матанализ и алгебру. У меня есть ощущение, что мне будет трудно составить расписание прохождения конкретных тем или курсов на степике. Я думаю, что я буду просто объявлять очередную тему и делиться по ней материалами. Я надеюсь, что вы не возлагали больших планов на совместное прохождение 😀

P. S. Кажется, что канал стал неким дневником моих хаотичных похождений в мире математики, логики и обучения.

P. P. S. Кстати, о хаотичности - а вы слышали о числах Чёрча? Недавно узнал о них, и мне они прямо понравились!
О хакатонах

Я тут потихоньку стал записываться на всякие хакатоны, чтобы развивать свой скилл. И тут есть две сложности. Первая - хакатоны часто проводятся для студентов. Вчера я был на одном околохакатоне, и там были только пара человек моего возраста. Большая же часть - студенты 20-22 года. Мероприятие было посвящено основанию стартапа мигрантами, а студентам за участие в нем давались баллы. В общем, было приятно сходить туда, пообщаться, но мне не хватало людей с опытом.
Вторая же сложность была для меня довольно неожиданной - в Германии мне пока что довольно трудно находить хакатоны по реальным кейсам. Их просто мало. Я нашел несколько сайтов, где можно мониторить хакатоны (https://www.eventbrite.de, https://www.meetup.com, https://events.ccc.de/en/calendar/), но я ожидал от Германии большего.
В общем, я буду продолжать свое погружение в хакатоны. Если вы хотите поучаствовать в хакатонах вместе (к примеру, онлайн), то можете смело звать меня, я могу исследовать юзеров, работать над концептуализацией и немного быть дата аналитиком.
Стартап-тусовка и "реальные проблемы"

Итак, я сходил на одну стартап-тусовку, где реальные компании рассказывали о своих реальных проблема. Была выпивка и было общение. Единственное, чего не хватало, так это реальных перспективных проблем, которые было бы интересно порешать. Ну, давайте я вам перечислю представленные проблемы компаний.

1. Создать цифрового клона уходящего на пенсию сотрудника. У компании есть опытный сотрудник-эксперт и она надеется, что можно будет вытянуть его знания в некую цифровую модель на основе ЛЛМ так, что позже её можно будет спрашивать вместо этого сотрудника. Понятное дело, эту систему хотят распространить на всех сотрудников. Мне эта проблема не особо понравилась, кажется, что невозможно вытянуть экспертные знания из сотрудника, да и продавать такую систему будет сложно, ведь она не генерирует прибыли компаниям.
2. Создать систему мониторинга характеристик труб. Трубы расширяются, ходят вверх-вниз, а потом и лопаются. Компания хочет, чтобы ей создали и датчики, и систему аналитики и мониторинга, чтобы она могла продавать трубы дороже. Мне показалось, что задача довольно прямолинейная и не очень интересная.
3. Создать мониторчики для почтовых ящиков.
Компания создает домофоны, где сразу высвечиваются имена жильцов (в Германии имена жильцов обычно написаны на дверных звонках у подъезда и на почтовых ящиках у подъезда). Компания считает, что было бы круто сделать и мониторчики для почтовых ящиков, мол, при выезде будет легко поменять фамилию на мониторчике. Мне кажется, что приклеить новую бумажку и сейчас довольно легко, перспектив не вижу.
4. Придумать способ утилизации тканевых обрезков (хе-хе).
Компания производит что-то большое и тканевое, у неё остаются обрезки, она хочет их как-то использовать (продавать и меньше платить за утилизацию). Придумайте сами, что с этим делать.
5. Придумать, что делать с собранными данными о потреблении электричества фермерами.
Компания установила измерители потребления электроэнергии у фермеров, чтобы помочь им тратить меньше. У них есть данные. Они могут ими поделиться. Что хотите с этими данными, то и делайте. Я не очень понял, как сделать решение, которое позволит фермерам получать больше прибыли на основе таких данных, нужно глубоко погружаться в общение с фермерами.
6. Предотвращение фрода.
У банка много фрода, банк хочет систему антифрода. Мне кажется, они пришли туда для галочки, потому что у них точно есть антифрод отделы.

П.С. Следующее стартап мероприятие пройдет через 2 недели, там в командах будем думать, как решать всякие проблемы. Интересно посмотреть, будут ли представлены там какие-либо из этих проблем.
Еще одна стартап-сходка и правила посещения таковых

В общем, я снова сходил на стартап-ивент. В этом посте я коротко опишу свой опыт и подытожу все уроками на будущее. Я был два дня из трех, и наша команда заняла второе место. Почему только два дня, а не три? Потому что это была пустая трата времени, но обо всем по порядку.

В ходе этого ивента нам было предложено разработать идеи для стартапов, составить некий бизнес-план. Сначала самые отважные участники предлагали свои идеи для будущих стартапов, потом за идеи голосовали, а затем капитаны с победившими идеями формировали команды. После трех дней был конкурс презентаций. Я съездил на мероприятие, чтобы посмотреть, что там происходит, поэтому своих идей не предлагал, а присоединился к команде.

Первое, что бросилось в глаза - большая часть идей крайне слабы: приложение для откладывания на пенсию, доставка стирки в/из прачечной, смарт-часы без привязки к облаку, но с ИИ. Я кое-как смог выбрать себе идею для работы над ней - изготовление автоматически подстраиваемых очков для пожилых людей. Кстати, тот, кто идею предложил, тоже оказался русским.

Работа над бизнес-планом для изготовления очков была довольно странной. Во-первых, в команде люди не особо понимали, что такое пресбиопия (потеря эластичности хрусталика и, как следствие, ухудшение зрения). Во-вторых, никто из нас никогда не работал ни с линзами, ни с электроникой для линз. В общем, без особой экспертизы в очкостроении мы пытались придумать, какую проблему и для кого мы будем решать. Под конец второго дня выяснилось, что уже существует, как минимум два производителя решений с подходом, который хотели предложить мы. В общем, второй день я досидел до ужина и покинул мероприятие.

Вынесенные уроки.

1. Идти надо с четким пониманием того, зачем идешь.
Если идешь как лидер группы, то надо понимать, что ты предлагаешь и кого ты ищешь. Нужно делать так, что и участники понимали, какую проблему они решают, как они станут богатыми и/или изменят мир, если присоединятся к тебе.

2. Идея должна быть уже достаточно исследованной.
Нужно предлагать уже проверенную идея, неплохо иметь и прототип. Такое мероприятие должно быть, вероятно, нацелено на раскрытие слабых сторон в идее, чтобы её можно было лучше подготовить для презентаций инвесторам.
А вот так, кстати, выглядит канва бизнес-модели, которую мы заполняли. Подробнее о ней можно почитать на вики:
https://en.wikipedia.org/wiki/Business_model_canvas
Я думаю, я должен поделиться этим и здесь: я вчера защитил свою диссертацию. Осталось получить сертификат, и можно будет официально получить статус PhD.
🎉9
Что дальше?

Итак, я защитил диссертацию, скоро я получу сертификат, и можно будет делать что-то великое и интересное. И чем же заняться? У меня есть следующие требования: решать реальную проблему, решать сложную проблему, заработать на этом денег. Давайте посмотрим на два варианта.

Академическая наука.
Я долго думал над этим вариантом. К сожалению, есть несколько препятствий. Самое главное: академия очень часто это не про науку. В академии ты должен публиковаться и строить связи. Если ты берешь более сложный и рисковый проект, то у тебя меньше публикаций. Если ты берешь не хайповый проект, то у тебя меньше цитирований. Если ты не выстраиваешь связи, то тебе будет сложно найти следующую работу. Если у тебя мало публикаций, мало цитирований и малый круг знакомств, то ты практически обречен. Даже если ты делал более глубокую науку, чем твои коллеги. Несложно заметить, что академическая наука не поощеряет рисковые сложные проекты.

Некоммерческие образования. Этот вариант мне сильно нравился раньше. Я мечтал, что приеду в Россию, сделаю исследовательское НКО и буду делать науку и учебные материалы по статистике, математике и программированию. К сожалению, возвращение в Россию сейчас не видится возможным. Сделать подобное в Германии кажется довольно сложным: я не сильно привязан к этому месте, у меня нет понимания немецкой аудитории и её проблем, у меня нет даже первичной аудитории, подобной моей тг-группе Учим Питон.

Стартап. Сейчас это выглядит перспективным вариантом: если ты хочешь решить проблему, делай стартап. Но как и у любой идеи, здесь есть ограничения. Во-первых, довольно сложно найти достойную стартап идею. Во-вторых, стартапы — это не про обдуманные действия и глубокие исследования. Стартапы это про реализацию и поиск рынка. Найти идею, которая требовала и поощеряла бы глубокие исследования, задача довольно сложная.

Найм. Это одна из наименее интересных опций. Да, найм позволяет оплачивать счета. Но для этого ли я учился 12 лет? Для этого ли я осваивал научный метод? Найм пока выглядит наименее привлекательной опцией, хотя и наиболее вероятной.

Итог.
Итак, что же мы имеет в итоге? Вот, что я хочу делать:
1. Податься на академический грант. Академическая позиция на 2-4 года позволит установить прочный задел на стартап: найти нужных людей для команды, прокачать софт и хард скилы, найти хорошую монетизируемую идею.

2. Податься на некоммерческий индивидуальный грант. Такой грант позволит сделать некоммерческий продукт и позволит получить немного денег. Если повезет, то можно будет создать НКО, поддерживающее этот продукт.

3. Ходить на стартап движухи в поисках хорошей идеи. А почему бы и нет?

Идеальная траектория для меня была бы:

Академическая позиция (2-4 года) → Стартап (3-5 лет) → Исследовательское НКО (...).

При этом я понимаю, что наиболее вероятный вариант выглядит так:

Страдания (1 год) → Поиск работы (0.5 года) → Найм (…).

Как-то вот так. Чуть позже я напишу про пару своих идей и чем конкретно я буду заниматься.
О грядущих проектах.

Так получилось, что все мои проекты как-то не особо-то и монетизируемы. Поэтому с легкой душой я делюсь основными планами здесь.

Хардкорные проекты.

1. Операционная система для эффективной работы с информацией. Мне не хватает существующих операционных систем. Я хочу ставить теги, хочу создавать заметки, связывать все между собой, иметь эффективный поиск, иметь отдельные воркспейсы для разных типов активностей, иметь удобную систему защиты и бэкапирования данных, и чтобы это все было с открытым исходным кодом.
Идея моего проекта в том, чтобы все это реализовать. Сейчас я работаю над парой статей, где пытаюсь обозреть, а что же уже было сделано на сегодняшний день, какие решения оказались успешными, а какие провалились.

2. Система представления научных знаний
. На моем прошлом месте работы мы делали систему, в которой людям надо было извлекать информацию из научный статей. К примеру, если в научной статье обнаружили, что масса Солнца 1,9885⋅10^30 кг, то человек должен был бы извлечь информацию вида: Солнце — иметь массу — 1,9885⋅10^30 кг. Иными словами система бы давала структурированную выжимку научных знаний: есть концепция Солнце, у нее есть характеристики. Основной проблемой нашего подхода было то, что мы заставляли людей вручную извлекать это информацию без какой-либо структуры. Иными словами, каждому надо было структурировать информацию (а это сложно), у каждой выжимки была своя структура. И мы не полагались на автоматическое извлечение информации (извлечься могло бы что угодно).
Основная идея моего проекта — дать людям некую крайне простую структуру для извлечения информации. Не просто говорить извлечь любые концепции из текста, а предлагать находить ограниченный набор концепций типа «субъект исследования», «тип воздействия», «среда» и т. д. Кроме этого, изначально автоматически извлекать данные из статей в эту же простую структуру. Основная идея — иметь простую фиксированную структуру, чтобы человеку надо было лишь найти или подтвердить информацию (а не думать, как структурировать знания из статьи). Такая система могла бы стать большой базой знаний, на которую в будущем могли бы полагаться, к примеру, чатботы.

3. Система поиска места для жизни. В этом проекте я бы хотел на основе открытых данных предоставить людям возможность искать наиболее комфортное место для жизни. В рамках этого проекта я бы хотел научиться работать с гетерогенными данными, с картами и с JavaScript.

Софткорные проекты.

1. Youtube-канал про Linux. Мне бы хотелось попробовать сделать канал на английском про то, как всё устроено, как работает эта система. Мне нравится Linux и open-source, а канал мог быть неплохим местом для создания некого сообщества. Периодичность выпусков: раз в месяц.

2. Youtube-канал про знания, мотивацию и продуктивность. В этом канале я бы хотел обозревать на английском (и русском?) основные научные идеи о том, как быть продуктивным: как эффективно учиться и работать с информацией, как быть мотивированным и как эффективно отдыхать. Периодичность выпусков: раз в месяц.

Вместо итога.

В общем, у меня есть год, чтобы все это попробовать. В этом канале я буду потихоньку делиться своим прогрессом и текущими учебными материалами (NLP, semantic technologies, LLMs). Всем до связи, буду рад любым комментариям :)
👍3
Эксперимент: погружение в немецкий

В общем, я решил попробовать на месяц полностью погрузиться в немецкий. Я замерил знание немецкого на начало периода, а через месяц проверю успешность метода, сделав замеры снова. А так как немецкий я не очень-то люблю, будет интересно посмотреть.

Вводные данные:

Словарный запас:
4562 слова (https://www.arealme.com/german-vocabulary-size-test/en/)
~3000 слов (https://www.17-minute-languages.com/en/learn-german/placement-test/)

Письмо:
~60/100 для теста на уровень B1 согласно оценке ChatGPT и Gemini.

Что я буду делать:


У меня низкая мотивация учить немецкий, поэтому я буду просто делать на немецком то, что мне интересно:

- смотреть мультфильмы детства на немецком (Скуби Ду, Черепашки Ниндзя, Инспектор Гаджет)
- проходить учебник по грамматике (от Buscha, A-Grammatik) + нарешивать упражнения на артикли и времена
- читать новости о стартапах на немецком (https://www.deutsche-startups.de) + немецкий реддит
- смотреть стримы на немецком
- играть в игры на немецком (Mafia III, Ведьмак 3)
- тренировать разговорные фразы (видимо, с chatGPT)
- заучивать неправильные глаголы
- прорешивать учебник по немецкому для моего уровня (Anne Buscha, Szilvia Szita - Spektrum Deutsch B1+).

Через месяц планирую заново измерить показатели. Буду рад любым советам, как эффективно и без учителей улучшить уровень языка 😊
Мозг пугающе хорош в адаптации

Меня пугает, насколько мозг хорошо адаптируется. Мозг пугающе хорош в адаптации. Хочу поделиться парой примеров.

Свою карьеру я начал программистом встраиваемых систем — писал код для всяких железок, думал, что буду и дальше этим заниматься. Жизнь рассудила по-другому: я поступил в аспирантуру, начал углубляться в науку. Теперь железки стали казаться скучной ерундой, а наука — чем-то достойным, тем, чему можно всю жизнь посвятить. А недавно я получил PhD сертификат, стал подумывать податься в стартапы. И что вы думаете? Теперь мне кажется, что написание статей — пустая трата времени, а стартапы являются чем-то важным и способным изменить этот мир. Ну а научный аспект уже не кажется таким серьезным, максимум, неплохое хобби, чтобы мозг размять. Получается, трижды за десять лет я полностью поменял представление о своем месте в жизни без какого-либо заметного усилия: мозг просто адаптировался.

Но это еще не все: мозг пугающе быстро адаптируется практически на ходу. Недавно, мне пришлось перейти с контактных линз на очки. Было крайне неудобно: в очках казалось, что вот-вот упадешь, а параллельные прямые слегка расходились! Я не знал, как я вообще буду передвигаться. Каково же было мое удивление, когда через несколько дней я заметил, что я не испытываю никаких трудностей с передвижением и часто даже забываю, что очки существуют. Мозг просто адаптировался к новому типу сигнала. Но и это не всё! Самое удивительное — фокус с параллельными линиями. Несмотря на то, что вначале очки вносили некое искажение, я заметил, что теперь это искажение практически исчезло: мозг просто взял и исправил его в постобработке!

И самое страшное тут то, что не очень понятно, насколько эта способность к адаптации влияет на нас. Что было бы, если бы я попал случайно в хорошую школу с химическим уклоном? Я бы просто стал врачом, только потому что мозг хорошо адаптировался к новой реальности? А является ли мой выбор профессии моим выбором или это просто череда адаптаций: к хорошему учителю математики, к товарищу-программисту, к физмат. лицею? Что первостепенно: воля или адаптация? Так мы постепенно и подходим к вопросу о смысле жизни и возможности определения себя.
👍1
Как стать популярным стримером.

Я хочу заняться ведением видеоблога, поэтому решил тут просуммировать некоторые свои наблюдения. Может быть кому-то будет полезно, а чуть позже попробую сделать нормальный ресерч на эту тему.

1. Стримы надо вести.
Очень часто я наблюдал, как чатеры перехватывают инициативу у стримера и задают свою тему. Часто стример пытается давать развернутые ответы, стример перестает успевать читать чат, чатеры скучают в ожидании. Но стримы надо вести, надо самому задавать тему, самому регулировать выступления чатеров, не давать перехватывать кому-то инициативу.

2. Вымученный вопрос. Вымученным вопросом я называю ситуацию, когда стример с еле скрываемым безразличием спрашивает, как же дела у очередного чатера. Во-первых, когда такой вопрос становится формальностью, то возникает ощущение, что чатера просто используют. Во-вторых, такие вопросы отдают инициативу чату, но ведь чат (см. Правило 1) надо вести.

3. Армия клонов. Нельзя стать уникальным чатером. Каким бы хорошим чатером ты не был, если ты перестаешь регулярно появляться, то о тебе постепенно начнут забывать. Если ты начинаешь реже заходить, то и отношение к тебе начинает ухудшаться. У успешных стримеров это еще более выражено: они ведут чат, им все равно кто там пишет - главное, чтобы писали, индивидуальностей там нет.

4. Правила. Правила не работают, пока не касаются комфорта стримера. Кто-то начал поддевать и оскорблять чатера? Даже если чатер активен, помогает стримеру раскрыться, то это не значит, что чатера кто-то защитит, когда его обольют помоями. Я видел это много раз и несколько раз испытывал сам.

5. Парадокс твитча. Расти и оставаться приятным собеседником ты можешь только до какого-то предела. Если ты хочешь расти дальше 10-20-50 зрителей, ты должен брать инициативу в свои руки, вести чат, развлекать зрителей. Если ты не успеваешь читать чат - начинаешь отвечать поверхностно и пропускать сообщения. Индивидуальностей в чате быть не должно, чат - это толпа, которая пришла посмотреть на твое выступление. Ты не собеседник, ты артист. Единственные твои более-менее близкие друзья - модераторы, другие стримеры и партнеры.

В любом случае, ведение стримов должно быть основано на рефлексии. Я видел десятки стримеров, которые очень хотели вырасти, но которые из раза в раз продолжали вести стримы в одном и том же формате. Надо постоянно рефлексировать, искать эффективные техники вовлечения аудитории, экспериментировать.
Отчет о немецком или почему прохождению математики быть

Все помнят мои грандиозные планы (https://t.me/datascienceforfun/237) прохождения немецкого? Так вот, совершенно внезапно ко мне приехали гости, поэтому догадайтесь, кто больше недели был занят? 😭

А теперь о хорошем: за эти дни я смог допройти учебник по грамматике (A1-A2) и просмотреть кучу мультифльмов на немецком. Но самое важное тут не это — посмотрите на приложенную картинку. Это моя история прохождения немецкой грамматики: я начал проходить её более девяти (!) месяцев назад. И благодаря своему расписанию, я знаю, где я закончил, откуда должен продолжить прохождение.

И почему же это важно? А я подумал: если я могу пройти таким образом немецкую грамматику, то почему бы не начать потихоньку проходить таким же образом высшую математику/статистику/NLP? Да, это будет нерегулярно, да, это займет годы, но ведь всё это для меня — просто крутое хобби. В общем, прохождению математики быть, и первые на очереди с октября — матанализ и линейная алгебра.
👍4