مقاله خوبی هستش
Instruction Tuning
رو یه جا جمع کرده و دیتاست هایی که استفاده شده و همچنین بنچ مارک هایی که وجود داره!

https://arxiv.org/pdf/2308.10792

@css_nlp

یه آپدیتی از ترنزیشنی که گفته بودم بهتون بدم!

من برای فال امسال اپلای کرده بودم برای مقطع دکتری تو امریکا.
و من اینجا (سابانجی) همچنان داشتم دکترام رو ادامه میدادم‌ و ریسرچم رو

اتفاقی که افتاد این بود که ترامپ اومد و زحمت هام برای اپلای به باد رفت.
برای دانشگاه های
Michigan Ann Arbor
USC
Indiana Bloomington
و چند تا دانشگاه دیگه اینترویو شدم و همه فیدبک ها عالی بود
و اینم بگم که درنهایت اتفاقی که رخ داد به خاطر funding cuts ها پوزیشنی که بهم داده بودن رو ابطال کردن
اگر خبر ندارید میتونید یه سرچی کنید که چه بلایی به فاند های NIH, NSF
اومد


در نهایت تصمیم بر این شد که همینجا در سابانجی دکترام رو ادامه بدم.
این تصمیم سخت بود و شاید بپرسین که چرا اروپا نرفتی و فلان
و حقیقتش اینکه من اینجا بیشتر راضیم و بیشتر میتونم کارهای خوبی انجام بدم.

امیدوارم که بتونم کارهای بزرگی انجام بدم تو حوزه آکادمی و ریسرچ
و سعی میکنم که بیشتر فعال باشم تو کانال :‌)
@css_nlp

تویت جالب اندرو کارپاسی درمورد

LLMs and code generation


https://x.com/karpathy/status/1930305209747812559

You could see it as there being two modes in creation. Borrowing GAN terminology:
1) generation and
2) discrimination.
e.g. painting - you make a brush stroke (1) and then you look for a while to see if you improved the painting (2). these two stages are interspersed in pretty much all creative work.

Second point. Discrimination can be computationally very hard.
- images are by far the easiest. e.g. image generator teams can create giant grids of results to decide if one image is better than the other. thank you to the giant GPU in your brain built for processing images very fast.
- text is much harder. it is skimmable, but you have to read, it is semantic, discrete and precise so you also have to reason (esp in e.g. code).
- audio is maybe even harder still imo, because it force a time axis so it's not even skimmable. you're forced to spend serial compute and can't parallelize it at all.

You could say that in coding LLMs have collapsed (1) to ~instant, but have done very little to address (2). A person still has to stare at the results and discriminate if they are good. This is my major criticism of LLM coding in that they casually spit out *way* too much code per query at arbitrary complexity, pretending there is no stage 2. Getting that much code is bad and scary. Instead, the LLM has to actively work with you to break down problems into little incremental steps, each more easily verifiable. It has to anticipate the computational work of (2) and reduce it as much as possible. It has to really care.

This leads me to probably the biggest misunderstanding non-coders have about coding. They think that coding is about writing the code (1). It's not. It's about staring at the code (2). Loading it all into your working memory. Pacing back and forth. Thinking through all the edge cases. If you catch me at a random point while I'm "programming", I'm probably just staring at the screen and, if interrupted, really mad because it is so computationally strenuous. If we only get much faster 1, but we don't also reduce 2 (which is most of the time!), then clearly the overall speed of coding won't improve (see Amdahl's law).

@css_nlp

Please RT to reach those concerned and impacted.

To my dear Iranian International Students:

The crisis unfolding in Iran right now is heartbreaking. Many of you are watching from afar worried for your families, overwhelmed by the news, trying to focus on your studies while carrying a weight that’s hard to put into words.

If you’re feeling anxious, distracted, helpless, or just not yourself, please know that these are real, human responses to an unbearable situation. You are not alone. You are not invisible. And there are people here who see you, who care about you, and who want to walk alongside you through this.

My top priority, and I am sure many other Iranian Faculty members, right now is to do what can be done to support you. Please don’t hesitate to reach out. Whether you just need to talk, need help navigating something, or simply want someone to listen. You are always welcome to contact me: ebrahim.bagheri@utoronto.ca

If you'd like to help support the community, please sign up here and we'll see how we can support each other: https://lnkd.in/gb8yZBX8

Even in the darkest of times, our strength lies in one another. Let’s hold on to that strength, keep each other close, and move forward together and with hope.

Human beings are members of one another,
In creation they are of one essence.
When one member is afflicted with pain,
The other members cannot remain at peace.

دانشجویان ایرانی عزیز خارج از میهن
،
دل همه‌ٔ ما پیش شماست. این روزها بحران در ایران قلب همه‌ٔ ما را فشرده. بسیاری از شما از راه دور، با دل‌نگرانی برای خانواده‌ها، زیر فشار اخبار تلخ و سنگین، و در حالی‌که تلاش می‌کنید تمرکز خود را در دانشگاه حفظ کنید، بار سنگینی را به دوش می‌کشید
.
اگر این روزها دل‌نگران، آشفته یا بی‌تاب هستید، بدانید این احساس‌ها کاملاً طبیعی‌اند. شما تنها نیستید. ما شما را می‌بینیم، رنجتان را درک می‌کنیم، و کسانی هستند که دل‌شان با شماست و در کنار شما ایستاده‌اند.

در این روزها، برای من و بسیاری از اعضای هیئت علمی ایرانی در دانشگاه‌های خارج از کشور، هیچ دغدغه‌ای مهم‌تر از این نیست که ببینیم چگونه می‌توانیم در کنار شما باشیم و به شما کمک کنیم. اگر نیازی داشتید، در هر زمانی و بدون هیچ تردیدی با من تماس بگیرید؛ چه برای گفتگو، هم‌فکری، یا حتی فقط شنیده شدن.

ایمیل من اینجاست: ebrahim.bagheri@utoronto.ca

اگر تمایل دارید با دیگران در ارتباط باشید و فضای کوچکی از حمایت و هم‌دلی بسازیم، لطفاً در این فرم کوتاه ثبت‌نام کنید:
https://lnkd.in/gb8yZBX8

حتی در تاریک‌ترین لحظات، امید و تاب‌آوری ما از کنار هم بودن معنا می‌گیرد. بیایید این همدلی را زنده نگه داریم، پشتیبان یکدیگر باشیم و با امید، راه را ادامه دهیم.

بنی‌آدم اعضای یک پیکرند
که در آفرینش ز یک گوهرند
چو عضوی به درد آورد روزگار
دگر عضوها را نماند قرار

با مهر و همراهی،
ابراهیم باقری


@css_nlp