پردازش متن در پایتون

اگر پروژه‌ای در زمینه پردازش زبان طبیعی انجام داده باشید، می‌دانید که مراحل پیش‌پردازش چقدر خسته‌کننده است. قبل از شروع آموزش مدل باید:
• داده‌ها را از دیسک بخوانید.
• جملات را Tokenize کنید.
• یک نگاشت از هر کلمه به یک عدد صحیح و منحصر‌به‌فرد ایجاد کنید.
• متن را به لیستی از اعداد صحیح تبدیل کنید.
• داده‌ها را به هر شکلی که فریمورک یادگیری عمیق شما نیاز دارد load کنید.
• متن را pad کنید تا تمامی دنباله‌ها به یک اندازه باشند، تا بتوانید آنها را به صورت یک batch پردازش کنید.


Torchtext در پایتورچ، کتابخانه‌ای است که پروسه‌های بالا را بسیار ساده‌تر می‌کند. اگرچه این کتابخانه نسبتا جدید است. اما عملکرد آسان آن، خصوصاً در Batching و Loading، آن را به کتابخانه‌ای ارزشمند تبدیل کرده‌است. 


#nlp
#python
@datalook_ir

همه ی این داده ها میانگین، انحراف معیار و همبستگی یکسانی دارند اما الگوی تصویری آنها زمین تا آسمان متفاوت است

قبل از تحلیل داده حتما نگاه تصویری به داده هایتان داشته باشید


منبع مطالب دیتاساینس، یادگیری ماشین و یادگیری عمیق
@datalook_ir
@minarabti

تفاوت هوش مصنوعی با یادگیری ماشین چیست؟

این روزها این سوال بسیار پرسیده می شود

واقعا نمی توان هیچ مرز خشک و خالی برای این تفاوت ها به کار برد
همه ی این مفاهیم از مدل های ریاضی برای توصیف داده ها به منظور یک هدف خاص استفاده می کنند

حالا شما می خواهی اسم های جورواجور برای آن بگذار
اصل مسئله همین است که بیان شد

کار یادگیری ماشین و هوش مصنوعی از مرزبندی گذشته است
هر ایده ای - ولو در حوزه ای مثل بهینه سازی، تحقیق در عملیات، رباتیک، بیولوژیک و ...- می تواند در ارائه یک مدل ریاضی برای اهداف و کاربردهایی که مد نظر یادگیری ماشین و هوش مصنوعی است، به کار رود.

با این حال بهتر است زمانی که با افرادی از حوزه کسب و کار صحبت می کنید، بیشتر از واژه ی هوش مصنوعی استفاده کنید (چون واژه ملموس تر و جا افتاده تر است) و زمانی که با فنی ها گفتگو می کنید، از مفهوم هرس شده و شاخ و برگ زده شده ی «یادگیری ماشین» استفاده کنید.

@minarabti
@datalook_ir

برای کار به عنوان داده کاو یا دانشمند داده در یک شرکت‌‌، باید مصاحبه فنی مربوطه را با موفقیت پشت سر گذاشت. اما چه سوالهایی معمولا برای این مصاحبه پرسیده می شوند؟ چند نمونه از این سوالات را که خودم در مصاحبه ها با آنها مواجه شده ام را در اینجا مطرح می کنم. با توجه به اینکه سابقه کار در این زمینه را در ایران ندارم، لذا سوالات مربوطه از مصاحبه های فنی موسسات و شرکتهای واقع در خارج از ایران نظیر IBM, ANZ bank, Sportsbet, iSelect
می باشد.
(صحبت های یک دیتا ساینتیست در خارج ایران)
۱- تعریف و توضیح در مورد
P-value

۲- رگولاریزاسیون چیست و برای حل چه مشکلی استفاده میشود؟ تفاوت بین نرم L1 و L2 چیست؟

۳- تبدیل Box-Cox چیست؟

۴- توضیح در مورد MultiCollinearity
و چگونگی حل آن؟

۵- آیا الگوریتم Gradient descent همیشه به نقطه یکسانی همگرا میشود؟

۶- چگونه در الگوریتم K-means تعداد کلاسترهای بهینه را می توان مشخص کرد؟

۷- بردار ویژه و مقدار ویژه چیست؟

۸- با چه کتابخانه های داده کاوی از زبان پایتون آشنایی دارید؟ همچنین سوالاتی که توانایی شما را در کدنویسی ارزیابی میکند که معمولا این کدها را باید بر روی تخته وایت بردی که در اختیار شما قرار می گیرد، بنویسید

۹- نفرین بعدیت چیست؟

۱۰- چرا خطای کمترین مربعات همیشه متریک مناسبی برای ارزیابی خطا نیست؟ چه متریک دیگری را پیشنهاد می کنید؟

۱۱- آیا استفاده از ۵۰ درخت تصمیم کوچک به جای یک درخت تصمیم بزرگ اولویت دارد؟ چرا؟

۱۲- تعامل بین بایاس و واریانس به چه معناست؟






۱۳- منحنی
ROC
چیست؟

۱۴- کدام را ترجیح می دهید؟ داشتن تعداد زیادی جواب منفی کاذب و یا داشتن تعداد زیادی جواب مثبت کاذب؟

۱۵- چرا دسته بندی کننده نایو بیز، الگوریتم مناسبی نیست؟ برای مسئله تشخیص اسپم در ایمیل، چه روشی را برای بهبود نایو بیز پیشنهاد می کنید؟

۱۶ در بعضی مواقع یک سناریو به داوطلب داده می شود و از او خواسته می شود که برای آن سناریو راه حل پیشنهاد کند. به عنوان مثال: مدیر یک موسسه انتشاراتی که پنج مجله در آن به چاپ می رسد از شما ( به عنوان داده کاو) می خواهد روشی ارائه دهید برای طراحی یک سیستم توصیه به خواننده که بر اساس سلیقه خواننده مجله مورد علاقه اش را به او پیشنهاد می کند.




الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

علاقه مندان #داده_کاوی و #تحلیل_داده

بسیار خوشحالم که فرصتی به وجود آمد مجددا یک کارگاه پروژه محور دیگه این بار با پایتون با نام:
دوره جامع پروژه محور دیتا ساینس در پایتون

با محوریت داده کاوی+یادگیری ماشین+یادگیری عمیق را برای تابستان (اواخر تیرماه) داشته باشیم.

🎥فیلم کارگاه ضبط خواهد شد🎙

👇🏻ویژگی این دوره؟

از آنجا که سرعت پیشرفت الگوریتم ها، فریمورک های دیتا ساینس خصوصا در پایتون بسیار زیاد است، در این دوره سعی کردم براساس سرفصل چند دوره udemy و مباحث پردازش متن و کتابخانه های ترنسفورمر و مدلهای bert و gpt جلو بریم.👩🏻‍🏫. با spacy جذاب، کتابخانه پردازش زبان فارسی و gensim هم آشنا میشیم.

قیمت دوره داده کاوی+یادگیری ماشین:۸۰۰ تومن بلیط اول
قیمت دوره پردازش متن ۱.۵۰۰.۰۰۰ تومان
(❌برای این دوره چند کد تخفیف nlp24 ۲۰ درصدی اضافه شده است❌❌

قیمت بلیط سوم: در صورتیکه دو کارگاه را شرکت کنید: پکیج دوره جامع با تخفیف
فقط ۱.۹۰۰.۰۰۰ برای ۶۰ ساعت

📌🔎 پایتون مقدماتی پیش نیاز این دوره است✅

صفحه ثبت نام ایسمینار:
https://eseminar.tv/wb107083

مهاجرت کاری | سوئد | مهندس داده

⏰ ساعت ۹ شب به وقت ایران
🗓 روز جمعه ۱۶ تیر
میزبان: سحر

🔗 لینک وبینار:
https://www.youtube.com/live/xDuCxF2K_3s?feature=share

📽 How to Build a Compelling Data Science Portfolio & Resume | Kaggle
چطور برای پوزیشن دیتاساینس رزومه و پورتفولیو خوب بنویسیم! مدیر کوئرا یکسری نکات رو برای نوشتن رزومه‌ها می‌گه و چندتا رزومه رو هم بررسی می‌کنه.

🔗 https://www.youtube.com/watch?v=xrhPjE7wHas

خلاصه مصاحبه با هومن بهمنش

۱. معرفی
۲. آیا از زندگی در آلمان راضی هستی؟
۳. برای کسی که از آلمان آفر گرفته چه مدارکی برای سفارت لازم هست؟
۴. آیا شرکت شما هم جاب آفر داره؟
۵. مصاحبه سافت اسکیلز شرکت‌های آلمانی به چه زبانی هست؟
۶. یک نفر که بخواد زبان آلمانی رو شروع کنه چقدر زمان می‌بره تا مسلط بشه؟
۷. شرکتتون توی چه استک‌هایی نیرو می‌گیره؟
۸. مردم آلمان چطور آدم‌هایی هستند؟
۹. آیا آلمانی‌ها واقعا نژادپرست هستند؟
۱۰. آیا پیدا کردن خونه توی آلمان سخت هست؟
۱۱. هزینه‌های ثابت ماهیانه در آلمان چقدر هست؟
۱۲. حدود اجاره توی چه رنج قیمتی هست؟
۱۳. میشه راجع به میانگین درآمد برنامه‌نویس‌ها هم بگید؟
۱۴. واکنش درست به رفتار نژادپرستانه چی هست؟
۱۵. آیا رفتن سمت زبان‌هایی که تازه وارد بازارکار شدن، شانس‌مون رو بیشتر می‌کنه؟
۱۶. بازارکار پی‌اچ‌پی و لاراول در آلمان چطوری هست؟
۱۷. بهترین جواب در مصاحبه، برای علت انتخاب کشور آلمان چی هست؟
۱۸. بایدها و نبایدها در محیط‌های کاری آلمان
۱۹. مزیت‌های آلمان نسبت به هلند چیه؟
۲۰. از تکنیک‌های مصاحبه که خودتون تجربه کردید هم میشه بگید؟
۲۱. دست‌آوردها چطوری توی مصاحبه باید پرزنت بشند؟
۲۲. در مورد دوره‌های آزمایشی شرکت‌ها هم میشه توضیح بدید؟
۲۳. ممکن هست توی قرارداد شرایط سختی رو برای ما اعمال کنند؟
۲۴. جواب درست برای حقوق درخواستی چی هست؟
۲۵. با حقوق برنامه‌نویسی توی چه سطحی از رفاه میشه زندگی کرد؟
۲۶. آیا شرکت‌های آلمانی هم مثل ایران، از برنامه‌نویس‌ها انتظارات نابه‌جا دارند؟
۲۷. داشتن سابقه بیمه برای مهاجرت به آلمان اجباری هست؟
۲۸. میشه در مورد معافیت مالی مهاجرین هم توضیح بدید؟
۲۹. آینده اقتصاد دیجیتال آلمان رو چطوری می‌بینید؟
۳۰. ممنون می‌شم اگر توصیه‌ای داری حتما به بچه‌ها بگی

کتابخانه pandas به نظر خیلی کوچولو و دم دستی میاد، اما خیلی خفنتر از اونه که در نگاه اول به نظر میاد. 🤩با استفاده از کتابخانه پانداز ما میتونیم هر بلایی که دوست داریم سر دیتا بیاریم. انواع اصلاحات رو روی داده اعمال کنیم،‌ محاسباتی که میخوایم رو روی داده انجام بدیم، و کلی کار دیگه.

تو این هشت صفحه تقریبا هر چیزی که از پانداز میخوای رو می تونی یاد بگیری



الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

💙JOB OPENING UPDATE💙

Company: Koru UX Design
Role: Data Analyst
Exp: 0-2 years
Apply Now:
https://www.linkedin.com/jobs/view/3656874370

Company: Vireza Onfilling
Role: Data Engineer
Exp: 3-5 Years
Apply Now
https://hirect.in/webhirect/?type=1&p=NzU5NDY5ODczNjAzNzAyNzg0&t=1688713472419&name=Vireza%20Onfilling&category=Data%20Engineer&uid=ZTNiOTVjYTE1OTIyNDY5YzhlZTMyMmM5NzljNg==

Company: PW
Role:Data Engineer
Exp: 0-5 years
Apply Now
https://hirect.in/webhirect/?type=1&p=NzIxODM3ODM2MTAxMzk4NTI4&t=1688713759958&name=PW&category=Data%20Engineer&uid=ZTNiOTVjYTE1OTIyNDY5YzhlZTMyMmM5NzljNg==

Company: Accenture in India
Role: Data Analyst
Exp: 3-5 Years
Apply Now: https://www.linkedin.com/jobs/view/3657603007

Company: Boxtonium Group
Role: Data Scientist
Exp: 1-3 Years
Apply Now
https://hirect.in/webhirect/?type=1&p=NzU1NDExODQyNTc0MjI5NTA0&t=1688713561144&name=Boxtonium%20Group&category=Data%20Scientist&uid=ZTNiOTVjYTE1OTIyNDY5YzhlZTMyMmM5NzljNg==

Company: lttiam
Role: Data Scientist Exp: 0-1 Year
Apply Now
https://hirect.in/webhirect/?type=1&p=ODQwNjM1NTAwMTIwMzkxNjgw&t=1688714297093&name=lttiam&category=Data%20Scientist&uid=ZTNiOTVjYTE1OTIyNDY5YzhlZTMyMmM5NzljNg==

ALL THE BEST💙

جزوه یادگیری عمیق
خیلی کامل
و به زبان روان انگلیسی
توصیه میکنم


الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

بدون نوشتن کد، داده‌هاتُ توی پایتون تحلیل کن

🔶 کتابخونه Bamboolib از اون کتابخونه‌هایی هست که آدم افسوس میخوره چرا زودتر دربارش نمیدونستم. با این کتابخونه هر کسی میتونه بدون برنامه‌نویسی، داده‌هاش رو با پایتون تحلیل کنه.

🔶 این کتابخونه خودش کدهارو به صورت خودکار تولید میکنه که با خوندن این کدها، میتونیم حتی کدنویسی رو یاد بگیریم.

🔶 در اصل کتابخونه Bamboolib یک GUI برای Pandas هست که با Jupyter Notebook میشه ازش استفاده کرد.

✅ با لینک زیر این کتابخونه مفید رو نصب کنین:
https://pypi.org/project/bamboolib/

✅ توی لینک‌های زیر کار با این کتابخونه رو یاد بگیرین:

https://towardsdatascience.com/bamboolib-one-of-the-most-useful-python-libraries-you-have-ever-seen-6ce331685bb7

https://medium.com/analytics-vidhya/bamboolib-a-gui-for-pandas-e5109f7bccff

سلام ب همه دوستان

عرض کنم شرکتی ک من باهاشون همکاری میکنم نیازمند یکنفر ادیتور برای ساخت ویدئوهایی برای سایت و پیج اینستاگرامشون هستن
کار کاملا بصورت دورکاری هست چون شرکت داخل ایران نیست
اگر خودتون یا اطرافیانتون ادیتور و مایل ب همکاری هستید ب من پیام بدین تا لینکتون کنم ب مدیریت

@Najmedastoorani

یک کاراموزی پنج ماهه در دانشگاه آمستردام هست که تلفیقی از بیزنس و طراحی محصوله. ویزای تحصیلی میده و بعد از دوره هم امکان اپلای برای ویزای جستجوی کار داره. (zoekjaar visa)
شهریه دوره ۳۵۰۰ یورو که بعدش ماهی ۴۰۰ یورو کمک هزینه زندگی بهتون میده.
اطلاعات بیشتر در لینک زیر:
https://digitalsocietyschool.org/traineeship

ممنون از فرشید بابت معرفی🔥
@curly_product

• با هوش مصنوعی زبان انگلیسیتو تقویت کن :

- هم بازی کن هم زبان یاد بگیر :
1- Funbrain
2- Digital Dialects
3- Language Zen
- برات رزومه انگلیسی مینویسه :
1- LinkedIn
2- Monster
3- Canva
4- VisualCV
5- Indeed
- رایتینگ تصحیح میکنه :
1- ProWritingAid
2- LanguageTool
3- Grammarly
- تلفظتو تقویت میکنه :
1- Forvo
2- Speak method
3- Pronunciation coach
- دایره لغاتت بیشتر میکنه :
1- Memrise
2- Anki
3- Lingodo
4- Quizlet
- داستان انگلیسی گوش کن :
1- ESL Fast
2- Listen and Read Along


الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان

What do you do as a data scientist?


1_Clean data.
2_Clean data.
3_Clean data.
4_Clean data.
5_Clean data.
6_Clean data.
7_Clean data.
8_Clean data.

9_Clean data.
10_Clean data.
11_Clean data.
12-Clean data.
13_Do some math.
14_y to get everyone to understand my findings.

15_Try to get everyone to understand my findings.
16_Try to get everyone to understand my findings.
17-T9ry to get everyone to understand my findings.
18-Try to get everyone to understand my findings.
19-Try to get everyone to understand my findings.

Try to get everyone to understand my findings.

Try to get everyone to understand my findings.

Try to get everyone to understand my findings.

Try to get everyone to understand my findings.

Try to get everyone to understand my findings.

Try to get everyone to understand my findings.

Repeat.

😁😁😁😁

پاسخ هوش مصنوعی بینگ وقتی ازش خواستن یک عکس از خودش بدهد😄😁