Ali's Notes

برای فاین تون کردن مدل اصلی خام هم روی دیتای 23 هزار سمپلی
به صورت CLM با Accelerate که DDP زده بودم
تقریبا 50 ساعت برای 20 ایپوک زمان برد!

@css_nlp

2.5K viewsAli Najafi, edited 14:48

Ali's Notes

https://github.com/KindXiaoming/pykan?tab=readme-ov-file
(Activation functions on edges not on Nodes)

@css_nlp

GitHub

GitHub - KindXiaoming/pykan: Kolmogorov Arnold Networks

Kolmogorov Arnold Networks. Contribute to KindXiaoming/pykan development by creating an account on GitHub.

3.1K viewsAli Najafi, edited 11:47

Ali's Notes

Research is something different from Engineering!

این متن رو اینجا مینویسم بعدا توضیح میدم و به نظرم مبحث مهمی هستش که طی دو سال اخیر تجربش کردم!

@css_nlp

2.4K viewsAli Najafi, 21:27

Ali's Notes

Research is something different from Engineering! این متن رو اینجا مینویسم بعدا توضیح میدم و به نظرم مبحث مهمی هستش که طی دو سال اخیر تجربش کردم! @css_nlp

خب سلامی دوباره!

Engineer
یا همون مهندس خودمون، یک شخص practitioner هستش
یعنی اینکه ایده رو به عمل میرسونه!
مثلا ساخت و تولید یک چیزی!
حالا شاید شما بپرسید که خب طرف نمیشینه این رو فکر کنه که چطوری بسازه و فلان؟!
جواب اینکه فکر میکنه که چطوری بسازه و به عمل برسونه اما! سوال نمیپرسه!!!!!!!!!!!!!
سوال پرسیدن سخته!
قاضی بودن سخته!

بزارید با یه مثالی این قضیه رو براتون بشکنم.
مثالم میشه همین ChatGPT که یهو ترکید و همه ازش حرف زدن.
تکنولوژی و علم ساخت ChatGPT از سال 2015 بوده، اما ما ChatGPT رو اون موقع ندیدیم
Engineer
های محترم اومدن و با داشتن ایده و علم که بوده( نه شاید متمرکز) با گرفتن Consulting از researcher های محترم
تونستن تحت عنوان شرکت OpenAI این محصول(ChatGPT) رو بسازن و ما شاهد این زیبایی باشیم.

ریسرچر فقط به رسیدن جواب بسنده نمیکنه!
میشینه فکر میکنه که چرا این جواب ها بیرون اومدن
یا اصلا چرا جواب درست شد
سوال میپرسه و از سوال پرسیدن دست نمیکشه و اینطوری هستش که دنیای علم بزرگ و بزرگ تر میشه

یه مثال دیگه میشه هم این باشه که یه دولوپر وبسایت میاد میسازه یه محصولی رو بلی روی ساختش فکر میکنه
اما تکنولوژی ساخت وبسایت رو ایشون پیدا نکرده. بلکه توسط اشخاصی(ریسرچر های حوزه وب) بالا اومده و این دولوپر از نتیجه کار اون ها استفاده میکنه
و یک وبسایت رو ایجاد میکنه.

من فارسیم زیاد خوب نیست اگر غلط املایی بوده باشه از قبل عذرخواهی میکنم.

@css_nlp

7.3K viewsAli Najafi, edited 11:16

Ali's Notes

سلام
این اکستنشن رو خیلی دوست داشتم برای همین خواستم با شما هم به اشتراک بزارم.

توسط خود گوگل اسکولار ساخته شده و میشه حین خوندن مقاله تم بک گراند رو به سیاه مثلا تغییر داد، روی سایتیشن که کلیک میکنی مقاله رو بالا میاره.
و چندین کاربرد دیگه.
این اکستنشن رو من روی کروم نصب کردم، احتمال زیاد برای براوزر های دیگه هم موجود باشه.

🔗

Link

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

7.7K viewsAli Najafi, edited 10:43

Ali's Notes

🔹

LLMs Simulation

🔹

سلام.
این کتابخونه رو برای شبیه سازی محیط اینترکتیو LLM ها ساختن.
چیز تمیزی هستش.

🔗

Link

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

4.8K viewsAli Najafi, edited 14:38

Ali's Notes

استک اورفلو هم این بین عقب نمونده : )
حتی اکستنشن vscode هم براش زدن

🔗

Overflow AI

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

4.4K viewsAli Najafi, edited 15:01

Ali's Notes

این یک وبسایت عالی برای دیدن کارهای مهم که هر هفته انجام میشه هستش
که توسط Sebastian Raschka مدیریت میشه.
همونجوری که میدونین هر روز یه عالمه مقاله در مورد LLM ها میاد بیرون و نمیشه این ها رو دنبال کرد به راحتی.
برای همین میتونید از این وبسایت استفاده کنید تا نالج خودتون رو آپدیت نگه دارید.

🔗

Link

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

Sebastianraschka

Ahead of AI | Sebastian Raschka, PhD | Substack

Ahead of AI specializes in Machine Learning & AI research and is read by tens of thousands of researchers and practitioners who want to stay ahead in the ever-evolving field. Click to read Ahead of AI, by Sebastian Raschka, PhD, a Substack publication with…

5.8K viewsAli Najafi, 11:37

Ali's Notes

یک survey عالی برای کسانی که به Coordinated Online Behaviour علاقه دارند.

🔗

Link

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

5.6K viewsAli Najafi, 08:41

Ali's Notes

24 دقیقه لذت ببرید.
در مورد polarization در سوشال مدیا

🔗

YouTube Link

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

YouTube

Why Wikipedia Works; and Social Media Not So Much - Taha Yasseri

The paradox of openness on the modern Web. The open Web was supposed to be inherently amazing and a force that would improve all of humanity. However, has technology actually made us dumber and led us to devalue the truth? What can we learn from the relative…

4.2K viewsAli Najafi, edited 13:35

Ali's Notes

🔹

Cuda DataFrame

🔹

https://github.com/rapidsai/cudf

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

GitHub

GitHub - rapidsai/cudf: cuDF - GPU DataFrame Library

cuDF - GPU DataFrame Library . Contribute to rapidsai/cudf development by creating an account on GitHub.

5.5K viewsAli Najafi, edited 06:39

Ali's Notes

🔹

System Design Resources

🔹

🔗

https://github.com/NirmalSilwal/system-design-resources

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

GitHub

GitHub - NirmalSilwal/system-design-resources: Contains system design materials to prepare for system design interviews 🚩👨‍💻👨‍💻👨‍💻

Contains system design materials to prepare for system design interviews 🚩👨‍💻👨‍💻👨‍💻 - GitHub - NirmalSilwal/system-design-resources: Contains system design materials to prepare for system design i...

6.0K views14:04

Ali's Notes

🔹

Awesome Math Books

🔹

🔗

https://github.com/valeman/Awesome_Math_Books

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

GitHub

GitHub - valeman/Awesome_Math_Books

Contribute to valeman/Awesome_Math_Books development by creating an account on GitHub.

4.5K views17:53

Ali's Notes

🔹

TGI Multi-LoRA: Deploy Once, Serve 30 models

🔹

🔗

https://huggingface.co/blog/multi-lora-serving

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

huggingface.co

TGI Multi-LoRA: Deploy Once, Serve 30 Models

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

5.4K views08:22

Ali's Notes

🔹

Statistics for Applications

🔹

🔗

https://www.youtube.com/playlist?list=PLUl4u3cNGP60uVBMaoNERc6knT_MgPKS0

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

YouTube

MIT 18.650 Statistics for Applications, Fall 2016

MIT 18.650 Statistics for Applications, Fall 2016 View the complete course: http://ocw.mit.edu/18-650F16 Instructor: Philippe Rigollet This course offers an ...

4.1K views17:03

Ali's Notes

🔹

Popular sources of data

🔹

✔️

Data.gov: Datasets generated by the executive branch of the
US government http://www.data.gov/
✔️ IPUMS : censuses from the US and many more!
https://www.ipums.org/
✔️ International IPUMS
https://international.ipums.org/international/
✔️ ICPSR http://www.icpsr.umich.edu/icpsrweb/ICPSR/:
A data repository with many data sets on lots of subjects
✔️ Harvard-MIT Data center and Harvard Data verse
https://dataverse.harvard.edu/ where many researchers
archive their data
✔️ Amazon dataverse
http://aws.amazon.com/public-data-sets/
✔️ Demographic and Health surveys
http://www.dhsprogram.com/
✔️ World bank http://data.worldbank.org/
✔️ LSMS (search for LSMS on the world bank data page)
✔️ Rand public-use databases
http://www.rand.org/labor/data.html
✔️ Randomized control trials

✔️

https://dataverse.harvard.edu/dataverse/jpal

✔️

https://dataverse.harvard.edu/dataverse/socialsciencercts
✔️ Many websites that are data intensive are making that data
directly available to people
✔️ 538
✔️ Yahoo data dump : “a sample of anonymized user interactions
on the news feeds of several Yahoo properties”.
http://webscope.sandbox.yahoo.com/catalog.php?datatype=r&did=75
✔️ Uber movement (to come)
https://movement.uber.com/cities
✔️ Some sites are specializing in aggregating data
✔️ Sports data sets http://www.opensourcesports.com/,
http://nbasavant.com/
✔️ Web pages: Way back machine https://archive.org/web/

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

2.1K viewsedited 11:27

Ali's Notes

🔹

EVERY PROGRAMMER SHOULD KNOW

🔹

🔗

https://github.com/mtdvio/every-programmer-should-know?tab=readme-ov-file

@css_nlp

Please open Telegram to view this post

VIEW IN TELEGRAM

GitHub