Ali's Notes
997 subscribers
8 photos
2 videos
57 links
من علی نجفی ام.
اینجا برای خودم نوت برداری میکنم
شاید به درد شما هم بخوره :‌)


Website: www.najafi-ali.com
BlueSky: https://bsky.app/profile/najafialiai.bsky.social
Linkedin: www.linkedin.com/in/najafi-ali1998
Download Telegram
RAG
🔹
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
🔹

✔️مدل های RAG، ساختار جدیدی برای مدل های Retrieval هستن که با knowledge سرو کار دارن و تلاش میکنند وقتی جنریت میکنن نالج محور باشن!
✔️ منظور از knowledge، هر دیتابیسی که شامل اطلاعاتی هستش مثل ویکی پدیا، البته فقط ویکی پدیا نیست لزوما
✔️ همونطور که گفتم این یک ساختار جدید هستش، Seq2Seq و نسبت به ساختار های E2E عادی و همچنین کاندیدا محور بهتر کار کرده.
✔️به خاطر محبوبیت و کاراییش، Huggingface هم این ساختار رو به کتابخونه ترنسفورمر ها اضافه کرده.

🌐 Link 🌐


@css_nlp
Please open Telegram to view this post
VIEW IN TELEGRAM
مقاله جدیدی که ازش لذت بردم.

🔹
Your spouse needs professional help: Determining the Contextual Appropriateness of Messages through Modeling Social Relationships
🔹

✔️ تو این مقاله سعی شده با مدل کردن روابط اجتماعی، مناسب بودن یا نبودن گزاره هایی که افراد به یک دیگر می نویسند رو بررسی کنند.
✔️ شیوه ساخت دیتاست جامع توضیح داده شده.
✔️ از LLM ها برای مناسب بودن یا نبودن استفاده کردن.
(Prompting , Finetuning)
✔️ این کار تو فیلد Sociology و AI قرار میگیره.

🌐 Link 🌐

پ.ن: شرمنده که خیلی مدت بود که پست نگذاشتم. یکمی درگیرم این روزا D :

@css_nlp
Please open Telegram to view this post
VIEW IN TELEGRAM
Ali's Notes
مقاله جدیدی که ازش لذت بردم. 🔹 Your spouse needs professional help: Determining the Contextual Appropriateness of Messages through Modeling Social Relationships 🔹 ✔️ تو این مقاله سعی شده با مدل کردن روابط اجتماعی، مناسب بودن یا نبودن گزاره هایی که افراد…
🔹
TurkishBERTweet: Fast and Reliable Large Language Model for Social Media Analysis
🔹

✔️ بالاخره این پروژه رو هم به اتمام رساندم. 🥵😆

✔️ تو این پروژه، یک مدل BERT-BASE رو از صفر روی TPU های گوگل، روی دیتای تویتر برای زبان ترکی استانبولی که تقریبا دیتایی از سال 2010 تا 2021 از پلتفورم Twitter/X رو شامل میشه ترین کردم.
✔️ روی دیتاست هایی که دردسترس بود برای این زبان، benchmark هایی انجام دادیم.
✔️ علاوه بر این مدل ChatGPT-turbo رو فاین تون کردیم روی دیتا و به صورت OOD مقایسه کردیم که مدل ما تقریبا برابری میکنه در پرفورمنس
✔️ این مدل به صورت اوپن سورس روی هاگین فیس دردسترس عموم قرار داره.
✔️ توکنایزر خاصی هم ساختیم تو این پروژه که میتونه Hashtag, Emoji, Cashtag, Http رو Unmask بکنه.
✔️ روش های فاین تونینگ LoRA هم در این پروژه استفاده شده.
✔️ از روش Distributed Training استفاده شد روی TPU های V3-8 گوگل.

🌐 Paper 🌐
🌐 HuggingFace 🌐

@css_nlp
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
اگه تازه تصمیم گرفتید که وارد فیلد NLP بشید.
یکی از جاهایی که میتونید استارت بزنید این playlist هستش!


🔥Umass NLP

@css_nlp
Please open Telegram to view this post
VIEW IN TELEGRAM
🔹
The Rise and Potential of Large Language Model Based Agents
🔹
یک survey واقعا ترتمیز نوشته شده برای agent ها

🌐 Paper 🌐
Please open Telegram to view this post
VIEW IN TELEGRAM
سلام
از من دعوت شده تو این ایونت کار LLM ام رو ارایه بدم.
ایونت خوبی هستش که قراره از دانشگاه های مختلف کارهای خودشون رو ارایه بدند.
برای شرکت میتونید با فرم زیر ثبت نام کنید(رایگان هستش)





https://docs.google.com/forms/d/e/1FAIpQLSdBqTEt4e8pMpowKEnJUbS665yOu4pwi6G9zqcno2nt7ujl5g/viewform

@css_nlp
Ali's Notes
سلام از من دعوت شده تو این ایونت کار LLM ام رو ارایه بدم. ایونت خوبی هستش که قراره از دانشگاه های مختلف کارهای خودشون رو ارایه بدند. برای شرکت میتونید با فرم زیر ثبت نام کنید(رایگان هستش) https://docs.google.com/forms/d/e/1FAIpQLSdBqTEt4e8pMpowKEnJU…
PROGRAM:

Monday, March 4 2024 (6-9 PM Turkey Time*)
1. Tolga Kurtuluş (Turkish Airlines): "Quantization of large language models"

2. Karahan Şahin (Index Network): "Understanding Sign Language in the age of LLMs: Pretrained models for Sign Language Recognition and Translation"

3. Onur Güngör (Boğaziçi University): "TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation"

Tuesday, March 5 2024 (6-9 PM Turkey Time*)
4. Güldeniz Bektaş (Turknet): "Make Your Chatbots Smarter with LLMs"

5. Reshmi Ghosh (Microsoft): "Ensuring Safety in LLMs: Tackling Responsible AI Harms and Prompt Injections"

6. Julie Kallini (Stanford University): "Mission: Impossible Language Models"

Wednesday, March 6 2024 (5-8 PM Turkey Time*)
7. Vadim Kimmelman (Bergen University): "Investigating the structure of nonmanual markers in sign languages with Computer Vision: the first step"

8. Allison Dods (University of Maryland): "Using language models to study language acquisition: (What) can they tell us about filler-gap dependencies?"

9. Büşra Marşan (Stanford University): "Fixing benchmarking in Turkish: Can benchmarks lie?"

Thursday, March 7 2024 (5-8 PM Turkey Time*)
10. Mert İnan (Northeastern University): "Equitable and Accessible Multimodal Task-Oriented Dialogue Systems: Lessons from Alexa Prize Challenge"

11. Uzay Çetin (Galatasaray University, Summarify): "Introduction to Language Modeling with word2vec"

12. Yunus Emre Gündoğmuş (Summarify): "Data intensive scaleable application development"

Friday, March 8 2024 (6-9 PM Turkey Time*)
13. Ali Najafi (Sabancı University): "TurkishBERTweet: Fast and Reliable Large Language Model for Social Media Analysis"

14. Duygu Altınok (Deepgram): "From vectors to decoder-only models: How Generative models reached to the top"

15. Ali Hürriyetoğlu (Koç University): "Text Processing Unveiled: From Foundations to Frontiers"

@css_nlp
من میخوام یه موردی رو اشاره کنم در مورد شرایط دانشگاه های ایران در مقایسه با دانشگاه های ترکیه:

یکی از چیز هایی که خیلی اذیتم میکنه این روزها، دیدن فضای بسته آکادمی ایران هستش.
معمولا دانشگاه های ترکیه (حداقل دانشگاه های top ترکیه) با سایر دانشگاه های اروپا یا حتی امریکا، توسط اساتید خودشون تحت عنوان کنفرانس، استاد ها و boardممبر های سازمان های مختلف رو دعوت میکنند و حتی بهترین امکانات رو براشون آماده میکنند که در طول زمان حضورشون تو ترکیه، از بودن تو کشور لذت ببرند.
اما در عوض چه نفعی میبرند؟؟؟؟؟؟؟؟؟؟
شخص مقابل میاد و ارایه میده و به به و چه چه میکنند و بعدش با شخص مقابل چونه میزنند یا به کارهای مشترکی که میتونند تو آینده انجام بدند مشغول به حرف زدن میکنن.
مثلا برای پروژه ERC یا هر نوع پروژه و گرنت های دیگه از شخص مقابل قول مشارکت میگیرند یا قول کانکشن با استاد فلان دانشگاه تو کشور فلان رو میگیرند و حدس بزنید که چی میشه؟
واقعا این مشارکت ها انجام میشه( استاد دانشگاه هوشش میرسه که چجوری برخورد کنه که این مشارکت واقعا رخ بده) و این گرنت ها و مشارکت ها به دانشگاه inject میشه و در حداقل ترین خروجی، دانشجوی grad حداقل حداقل براش یه stipend در میاد یا اون گرنت صرف خرید دستگاه یا هر تکنولوژی لازم روز میشه و اینطوری دانشگاه ها رشد میکنند. دانشجو جذب میکنند. وکار با کیفیت بیرون میدند.

حالا من از سمت دانشگاه های تاپ ایران مثل شریف چی دیدم؟
هیچی
کلا فضایی که تو ایران میبینم یه فضای سمی بسته هستش که مجال نفس کشیدن برای دانشجو های حتی دانشگاه های دیگه هم نمیده مثل تبریز یا هر دانشگاه دیگه ای
در حالی که من مثلا دیگه چی میبینم اینجا؟
اینجا دانشگاه ها بهم کمک میکنند.
طرف خودش دانشگاه ITU هستش
میاد Sabanci تست میزنه چون دستگاهه اینجا هستش
و خب مشخصا استادی که تو سابانجی بهش access داده
affliation
تو ریسرچ رو هم میبره

چقدر اینجا باهم راحتن و بهم حتی دوست دارن نفع برسونند چون اینطوری نگاه میکنند که اگر من الان بهش کمک کنم تو آینده تو یه ریسرچی اون ها هم به من کمک میکنند.


اینم بگم که مهربونی رو اینجا بیشتر دیدم نسبت به ایران.
هیچ وقت یادم نمیره چجوری استاد های دانشگاه تبریز باهام رفتار کردند.
اینجا با اینکه یه ایرانیم
استادم جلوی اون یکی دانشگاه ها طرفم رو نگه میداره! میگه از بچه های خودمون این بشر.
تو ایران به جای اینکه اینطوری نگاه کنند از بچه های خودمونه بزار کمکش کنم رشد کنه، تازه مثل یه دزد با ادم برخورد میکنند.

این حرفام حرف دل بود.
زیاد سیاسیش نکنید.

@css_nlp
Ali's Notes pinned a photo
مقاله ما که تو وورکشاپ کنفرانس EACL2024 چاپ شد!
خواستید یه نگاه بندازید.

تسک تشخیص تکست های نفرت پراکنی هستش
تو کانکتست نفرت پراکنی نسبت به سوریه ای ها/یونانی ها/اسراییل و...
تو زبان ترکیه ای استانبولی

با مدل TurkishBERTweet که شخصا ترین کرده بودم از صفر
تونستم این سیستم دیتکتشن رو ایجاد کنم و تو مسابقه این چلنچ هم برنده شدم!
جزیات بیشتر رو تو مقاله دادم میتونید مطالعه کنید


کنفرانس تو کشور Malta قرار هستش باشه. متاسفانه به دلیل ویزا نمیتونم حضور فیزیکی داشته باشم اونجا و برای همین آنلاین قراره ارایه بدم.
ایرانی و مشکلاتش :)

https://aclanthology.org/2024.case-1.25/


@css_nlp
سلام
عید رو بهتون تبریک میگم!🌿

من آدم موفق یا شخصی نیستم که به جای بزرگی رسیده باشه و بشینم در مورد شیوه موفق شدن براتون کورس بزارم.
اما میخوام بهتون بگم که آدم یه بازه ای تو زندگیش خیلی تلاش میکنه
و خیلی خیلی خیلی بالا پایین میشه
میخوام بهتون بگم که تو هر لحظه زندگیتون به خودتون ایمان داشته باشید
به هدفتون ایمان داشته باشید
اگه شکست خوردید تو چیزی، ادامه بدید.
و این بین هم خودتون رو با کسی مقایسه نکنید: دغدغه ها و شرایط زندگی افراد خیلی فرق داره!
شاید برای یکی موفقیت مراقبت کردن از خونواده اش باشه مثل خواهر کوچیکترش.

اگه ادامه بدید تبدیل به شجاع ترین فرد دنیا میشید!
ادامه دادن کار هر کسی نیست جرات میخواد، اراده میخواد
اینکه 100 بار تلاش کنی نشه، و باز امید داشته باشی به خودت و دوباره تلاش کنی
(اینجا وقتی میگم دوباره تلاش کردن، منظورم کلی هستش)

شما مردم ایران، مثل خودم شخصی پشتش نبوده که بهش امید بده، بهش بگه تو میتونی، بهش بگه عیب نداره، خیلی مواقع هم پشتمون رو خالی کردن، و خیلی مواقع فقط فقط خودمون رو داشتیم. ادامه بدید!
یه روز خوب میاد!

و به دنیا نشون بدید ما مردم ایران، شریف، بزرگ و توانمند هستیم!

@css_nlp
Please open Telegram to view this post
VIEW IN TELEGRAM
حقیقتا
Andrej Karpathy
یکی از خفن ترین آدم هایی هستش که میتونه به زبانی صریح منظورش رو برسونه.

تو این تویت در مورد اینکه چرا llm.c رو زده توضیح داده!

https://twitter.com/karpathy/status/1778153659106533806?t=2L2URBvpMRv3wm2sG5otHQ&s=19


@css_nlp
بعد از 1.5 سال موندن تو مرحله چاپ
بالاخره به چاپ رسید :)
میتونید از طریق لینک زیر بهش دسترسی داشته باشید.

https://link.springer.com/article/10.1038/s41598-024-58006-w

@css_nlp
به نظرم فیچر نایسی هستش!
@css_nlp
meta-llama/Meta-Llama-3-8B-Instruct

خیلی راضی کننده اس این مدلشون
راحت میتونید رو تسک فارسی هم فاین تون کنید و ازش لذت ببرید : )


من روی یدونه 4090 بالا آوردم!


@css_nlp