Abekek Notes
1.14K subscribers
141 photos
16 videos
12 files
269 links
Канал с моими заметками.

Обо мне: abekek.github.io
Download Telegram
Pretty crazy how well AI can generate music:

https://cdn1.suno.ai/5f126c60-5e0e-4c5c-b48d-2a01995b4450.mp3

Generated it using Suno. Sounds like BB King
David Hume конечно умный чел, но я должен размусолить эту идею на 2500 слов
The next time you visit any website, check its console log. You may find something interesting, and potentially useful/rewarding.

For example, some companies/people forget to remove logging an API token (I don’t know why would you do it tho) 👀
Midterm Assignment v2.pdf
136.5 KB
Наконец-то сдал paper по философии. Проф в этот раз сказал "very good paper", после того провала в субботу. Кому интересно, можете почитать. Кстати, Berkeley про которого пишу в эссе, этот тот же чел в честь которого назвали город и UC Berkeley.

В целом, все же странное чувство брать Humanities в последний семестр. Будто бы "играюсь в детском саду в песочнице, когда через месяц уже идти в школу."
https://x.com/bryanrbeal/status/1781454698136109380?s=46&t=Xqv-8tHUNkdwwhoJQlQOjQ

Also, easy to guess which company will be able to effectively scale it to millions of customers
New type of neural networks just dropped. Authors say KANs are both accurate and interpretable.

Compared to MLPs, where weights are just a scalar value, in KANs they are learnable univariate functions. This adds to its better interpretability since activation functions can be now visualized more effectively.

Just a main takeaway, I guess we will see more research on them in the coming weeks.

https://arxiv.org/abs/2404.19756
Please open Telegram to view this post
VIEW IN TELEGRAM
What a great interview. I haven’t finished watching it yet but from beginning I have a thought: right now is probably the worst time to do PhD/research in AI. It is probably an unpopular opinion.

Why? When I was applying for PhD last semester (I ended up not applying anywhere), I saw bunch of labs doing research in LLMs. I agree with Yann LeCun that LLMs have a huge problem: they lack essential capabilities for intelligent beings, such as understanding and reasoning about the physical world.

Yes, they can be great for replacing people in low stakes situations like customer assistance, or generating emails, etc. – that’s where bunch of startup ideas come from. But they rely solely on language as a medium for reasoning.

Think about your reasoning. Is everything you think about contains language? When you fill out your water bottle, and try not to overflow it, are you producing any language to guide this process? There is more vision and understanding of physics involved, rather than language. In fact, you would be able to do that even before you learn how to speak and understand language.

And there are more such problems with LLMs.

So going back to my take on doing PhD. If you do PhD in AI, I think it should be something in fundamentals of AI, physics informed neural networks, AI in science, etc. That’s where hype of LLMs is avoided (mostly), and that’s where the next step to AGI is.

https://youtu.be/5t1vTLU7s40?si=jYx-S0J1WWjGlluA
Большой респект моему профу по философии - классы уже давно закончились, а он продолжает нас обучать ... через email. Кстати, почитайте. Он очень грамотно всё объясняет.

В целом этот класс очень интересный, но настолько annoyingly painful, что ни любой CS курс который я брал настолько меня не з**бывал. Надеюсь проф меня не завалит в понедельник, и я смогу выпуститься.
Everything great is open source: https://fleuret.org/francois/lbdl.html
Одно из самых классных чувств – это не спеша просыпаться без будильника (rest day in gym), делать себе чашку кофе, открывать окно, и начинать работать. Целый день впереди на осуществление своих целей.
Кстати, вчера узнал, что Lehigh alumni могут присоединиться к Penn Club: https://www.pennclub.org/lehigh
Вау, первое впечатление: GPT-4o реально крутая модель. Больше всего удивляет скорость ответа.

https://openai.com/index/hello-gpt-4o/