مهندسین داده، درواقع زیر ساخت های اطلاعاتی ای را میسازند که پروژه های دیتاساینس به آنها وابسته است. این افراد مسئول طراحی و مدیریت جریان داده هایی هستند که از منابع مختلف جمع آوری شده و در یک مخزن، مانند data warehouse یکپارچه میشوند تا بعدا توسط دیتاساینتیست ها تحلیل شوند. بطور کلی، مهندسین داده براساس مدل ETL کار میکنند.

ETL: Extract, Transform, Load

نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.

- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.

- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.

ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده

Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.

Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ

SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای

زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia

#data #engineer #machinelearning #hadoop #kafka #scala #python #julia

@pythonicAI

برخی منابع مفید یادگیری مهندسی داده:
📙 مهندسی داده:
لینک۱
لینک۲
لینک۳

📕 پایتون
لینک۱
لینک۲
لینک۳

📗 سیستم عامل
لینک۱
لینک۲

📘 دیتابیس
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰

📙 data warehouse / big data
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
لینک۱۱
لینک۱۲

📕 یادگیری ماشین
لینک۱
لینک۲
لینک۳


#hadoop #spark #python #machinelearning #data #engineer #resource

@pythonicAI

تعدادی از منابع خوب در زمینه پردازش زبان طبیعی و پردازش متن:

1. Natural Language Processing with Python. by Steven Bird, Ewan Klein and Edward Loper.

2. Foundations of Statistical Natural Language Processing. by Christopher Manning and Hinrich Schütze.

3. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. by Dan Jurafsky and James H. Martin

4. The Oxford Handbook of Computational Linguistics. by Ruslan Mitkov

5. Text Mining with R. by Julia Silge and David Robinson.

6. Neural Network Methods in Natural Language Processing (Synthesis Lectures on Human Language Technologies). by Yoav Goldberg , Graeme Hirst

7. Taming Text. by Grant Ingersoll, Thomas Morton and Drew Farris.

8. Deep Learning in Natural Language Processing. by Li Deng, Yang Liu

9. Applied Text Analysis with Python: Enabling Language-Aware Data Products with Machine Learning. by Benjamin Bengfort , Rebecca Bilbro , Tony Ojeda

10. Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build

#nlp #natural #language #process #machinelearning #deeplearning #text

@pythonicAI

چند وبسایت جهت دریافت رایگان پایان نامه های خارجی:

http://oaktrust.library.tamu.edu

http://www.diva-portal.org

http://dspace.mit.edu

http://www.essays.se

http://www.dart-europe.eu

@pythonicAI

#معرفی_اعضای_کانال
#آموزش
#پروژه_دیپ_لرنینگ
#دیپ_لرنینگ

اعضا: سروش معاضد، دانشجوی ترم آخر کارشناسی ارشد، دانشکده مهندسی پزشکی دانشگاه امیرکبیر
@Machinelearning_Kartal
تشریح کار و پروژه ای که انجام داده اند.
🌿🌿🌿💭💭💭🌹🌹🌹
اگر بخواهید چهره کسی را برای دوست خود توصیف کنید، از کنار هم قرار دادن برخی ویژگیها استفاده میکنید تا دوست شما بتواند آن چهره را مجسم کند: “مرد” “جوان”ی با “موهای سیاه” و “بینی نوک تیز” و ... آیا میتوان مدلی داشت که بتواند تصاویر چهره را توسط این ویژگی‌های ظاهری بازنمایی کند؟
@Machinelearning_Kartal
مدل‌های معروف به Variational Auto-Encoder یا به اصطلاح VAE مدلهایی هستند که توزیع آماری داده را مدل میکنند. در تصاویر، برای مدلسازی توزیع آماری پیکسلها و پیوستگی بینشان، از شبکه های عصبی کانوولوشنال استفاده میشود. مدلهای ابتدایی VAE به عنوان تابع هزینه از اختلاف دو به دو بین تصاویر تولید شده در خروجی و تصاویر اصلی استفاده میکردند که به همین علت کیفیت تصاویر تولیدی چشمگیر نبود. در شبکه Deep Feature Consistent VAE به جای محاسبه اختلاف دو به دو بین پیکسلها، اختلاف بین بازنمایی تولید شده توسط یک شبکه از پیش تعلیم داده شده مانند VGG19 از تصویر تولید شده و تصویر اصلی به عنوان تابع هزینه در نظر گرفته میشود. در این صورت کیفیت تصاویر تولیدی به مراتب افزایش می یابد و از طرفی به خاطر مدلسازی دقیقتر توزیع داده ها، میتوان بردارهایی برای برخی ویژگیها استخراج نمود.
@Machinelearning_Kartal
به عنوان مثال، اگر تصاویر چهره “خندان” توسط قسمت انکودر مدل کدگذاری شوند و از این بردارها میانگین بگیریم، به یک بردار “خنده” میرسیم که با اضافه کردن این بردار به بردار تولید شده برای یک چهره و سپس بازسازی توسط قسمت دیکودر مدل، خنده به چهره اضافه خواهد شد.
@Machinelearning_Kartal
میتوانید با باز کردن نوتبوک قرار داده شده در مخزن مورد نظر، و اجرای خط به خط کدها، به سادگی طی چندین ساعت مدل خود را تعلیم داده و به دستکاری چهره دوستان خود بپردازید :)
منبع نوشته: ارسالی از خود عضو محترم.
لینک پروژه :

https://github.com/iamsoroush/face_vae/blob/master/README.md

کانال
@Machinelearning_Kartal

تحلیلگر داده کسی است که اعداد و دیتا را به زبان آدمیزاد تبدیل میکند تا کسب و کارها بتوانند به کمک انها تصمیم بگیرند. خواه دیتای مربوط به مارکتینگ باشد، یا اَشکال فروش یا هزینه های حمل و نقل و... تحلیلگر داده این دیتاها را گرفته و از دل آنها اطلاعاتی بیرون میکشد. مثلا اینکه قیمت مواد جدید چقدر باشد؟ یا چطور هزینه حمل و نقل را کاهش دهند؟

انها وضعیت فعلی را تحلیل میکنند و پیشبینی هایی از اینده ارائه میدهند. دیتا باید مرتب، نرمالیزه و کالیبره بشه تا بشه ازش اطلاعات استخراج کرد یا به تنهایی ازش استفاده کرد یا درکنار اعداد دیگر قرارش داد و همچنان یکپارچگی خودش را حفظ کند.

تحلیلگر داده علاوه بر توانایی رمزگشایی داده، لازم است که بتواند معانی تغییرات اعداد در یک بازه زمانی یا ساختارهای مختلف را توضیح دهد. چون انها تنها افرادی هستند که درک خوبی از داده پیدا کرده اند و معمولا باید به مدیران پروژه یا سرپرست بخش توصیه هایی درخصوص نقاط خاص دیتا و همچنین نحوه بهبود داده ها در یک بازه زمانی، بدهند.

وظایف یک تحلیلگر داده:
- کار کردن با تیم های مدیریتی و دیتاساینتیست ها
- جمع اوری دیتا از منابع اولیه و ثانویه
- تمیز کردن داده ها جهت حذف اطلاعات نامرتبط
- تحلیل و تفسیر نتایج به کمک ابزارهای اماری
- تعیین الگوهای موجود در داده ها
- شناسایی موقعیت های بهبود پروسه ها و رویه ها
- ارائه گزارش داده ها به مدیر
- طراحی، ساخت و نگهداری دیتابیس ها
- رفع ایرادات کدها و مسائل مربوط به داده ها

اهداف تحلیلگر داده و دیتاساینتیست خیلی بهم نزدیک است. گاهی اوقات به تحلیلگر داده، junior data scientist گفته میشود.

#data #analyst #scientist #artificialintelligence

@pythonicAI

📕 یادگیری ماشین با متلب | نسخه دوم
📅سال چاپ: 2019
📝چاپ کننده: Apress
🧷لینک دانلود:
https://bit.ly/2M7S0hS

#machin_learning #Matlab
#یادگیری_ماشین #متلب

@pythonicAI

متفاوت ترین جلسه #مصاحبه شغلی در #مرسدس_بنز
مصاحبه با بیش از 100 دولوپر در محیطی متفاوت

نهایت #خلاقیت رو همیشه از شرکت های مطرح دنیا مشاهده میکنیم. در اتاق های فکر آنها چه میگذرد؟ حتی برای مصاحبه هم برنامه ای خاص و تبلیغاتی دارند ولی ما همچنان درگیر استخدامی با مزایایی از قبیل حقوق به موقع و بیمه تامین اجتماعی هستیم.

@pythonicAI

#معرفی_اعضای_کانال
#آموزش
#پروژه_دیپ_لرنینگ
#دیپ_لرنینگ

اعضا: سروش معاضد، دانشجوی ترم آخر کارشناسی ارشد، دانشکده مهندسی پزشکی دانشگاه امیرکبیر
@Machinelearning_Kartal
تشریح کار و پروژه ای که انجام داده اند.
🌿🌿🌿💭💭💭🌹🌹🌹
اگر بخواهید چهره کسی را برای دوست خود توصیف کنید، از کنار هم قرار دادن برخی ویژگیها استفاده میکنید تا دوست شما بتواند آن چهره را مجسم کند: “مرد” “جوان”ی با “موهای سیاه” و “بینی نوک تیز” و ... آیا میتوان مدلی داشت که بتواند تصاویر چهره را توسط این ویژگی‌های ظاهری بازنمایی کند؟
@Machinelearning_Kartal
مدل‌های معروف به Variational Auto-Encoder یا به اصطلاح VAE مدلهایی هستند که توزیع آماری داده را مدل میکنند. در تصاویر، برای مدلسازی توزیع آماری پیکسلها و پیوستگی بینشان، از شبکه های عصبی کانوولوشنال استفاده میشود. مدلهای ابتدایی VAE به عنوان تابع هزینه از اختلاف دو به دو بین تصاویر تولید شده در خروجی و تصاویر اصلی استفاده میکردند که به همین علت کیفیت تصاویر تولیدی چشمگیر نبود. در شبکه Deep Feature Consistent VAE به جای محاسبه اختلاف دو به دو بین پیکسلها، اختلاف بین بازنمایی تولید شده توسط یک شبکه از پیش تعلیم داده شده مانند VGG19 از تصویر تولید شده و تصویر اصلی به عنوان تابع هزینه در نظر گرفته میشود. در این صورت کیفیت تصاویر تولیدی به مراتب افزایش می یابد و از طرفی به خاطر مدلسازی دقیقتر توزیع داده ها، میتوان بردارهایی برای برخی ویژگیها استخراج نمود.
@Machinelearning_Kartal
به عنوان مثال، اگر تصاویر چهره “خندان” توسط قسمت انکودر مدل کدگذاری شوند و از این بردارها میانگین بگیریم، به یک بردار “خنده” میرسیم که با اضافه کردن این بردار به بردار تولید شده برای یک چهره و سپس بازسازی توسط قسمت دیکودر مدل، خنده به چهره اضافه خواهد شد.
@Machinelearning_Kartal
میتوانید با باز کردن نوتبوک قرار داده شده در مخزن مورد نظر، و اجرای خط به خط کدها، به سادگی طی چندین ساعت مدل خود را تعلیم داده و به دستکاری چهره دوستان خود بپردازید :)
منبع نوشته: ارسالی از خود عضو محترم.
لینک پروژه :

https://github.com/iamsoroush/face_vae/blob/master/README.md

کانال
@Machinelearning_Kartal

"A machine capable of learning? That sounds wonderful." Learn how heroes of #deeplearning Yann LeCun and Ruslan Salakhutdinov first became interested in #AI:

✴️ @AI_Python_EN

For Who Have a Passion For:

1. Artificial Intelligence
2. Machine Learning
3. Deep Learning
4. Data Science
5. Computer vision
6. Image Processing
7. Cognitive Neuroscience
8. Research Papers and Related Courses

https://t.me/DeepLearningML

We Are Available in Engilsh Please Ask Your Question in English

قانونی به نام hr1044 در خانه ملت به رای گذاشته شد و رای آورد
این قانون سقف کشوری گرین کار‌ (۷ درصد) رو برمیداره

یعنی اینکه کشورهایی که جمعیت زیادی دارند مثل هند همه گرین کارت ها رو میگیرن و هر ملیت دیگری باید بیش از ۱۵ سال منتظر بمونه

ما داریم فعالیت می‌کنیم که این طرح قانون نشه

دوستان چینی هم به‌راه افتادن
به ۱۰۰ هزار امضا نیاز داریم
این رو همه جا پخش کنید و امضا کنید
لینک تایید امضا به ایمیلها میفرسته ، لطفا چک کنید بدون تایید امضاتون بی اثر خواهد شد .
https://petitions.whitehouse.gov/petition/do-not-pass-bills-s386-or-hr1044-do-not-pass-bills-s386-or-hr1044-us-worker-and-racial-diversity

#خبر
شرکت IBM بالاخره نتیجه‌ی تلاش‌هایش برای تصاحب Red Hat را گرفت و با پرداخت ۳۴ میلیارد دلار، آن را به زیرمجموعه‌ی خود افزود.
#redhat
#ibm
@pythonicAI

2008 Feature Engineering for Machine Learning

2015 Feature Selection for High-Dimensional Data

#مقاله چگونه دانشمند داده شویم؟

https://towardsdatascience.com/a-long-term-data-science-roadmap-which-wont-help-you-become-an-expert-in-only-several-months-4436733e63ff

#machinelearning #data #science

@pythonicAI

آماری از میانگین قیمت ۱ گیگابایت اینترنت همراه در کشورهای مختلف در سال ۲۰۱۹
@pythonicAI

📒GPU Computing with Python
📒کتاب محاسبات GPU با پایتون
انتشارات :Packt
سال 2019

کانال هوش مصنوعی؛ یادگیری عمیق و یادگیری ماشین
@machin_learning

خبر خوب برای گیک‌ها و برنامه نویس‌ها: تصویر تورینگ روی اسکناس‌های ۵۰ پوندی انگلیس


https://jadi.net/2019/07/50notes-turing/

به نظر می‌رسه که بالاخره درخواست‌ها و پتیشن‌ها و پیشنهادها جواب داده و مردم انگلیس از ۲۰۲۱، شاهد اسکناس‌های ۵۰ پوندی پلمیری با تصویر آلن تورینگ خواهند بود! باورش سخته ولی سایت بانک انگلستان هم همین رو می گه. پروسه انتخاب دانشمندی که قراره روی پول باشه از ۲۰۱۸ شروع شد. اول مردم بیشتر از ۲۲۷هزار نفر رو نامزد این افتخار کردن که بعدش به ۹۸۹ نفر تقلیل پیدا کرد و در نهایت یک لیست ۱۲ نفره ازش بیرون امد و به مدیر بانک انگلستان پیشنهاد شد.

مدیر بانک انگلستان می گه «آلن تورینگ ریاضی دانی برجسته بود که کارش تاثیری بزرگ بر روی زندگی امروز ما داره. تورینگ به عنوان پدر علوم کامپیوتر و هوش مصنوعی و همینطور به عنوان یک قهرمان، غولی است که حالا خیلی ها [برای به اوج رسیدن] روی دوش‌های اون ایستادن».

از دلایل انتخاب آلن تورینگ منطقا می شه به پایه گذاری اصول کامپیوترهای امروزی (ماشین های تورینگ)، پایه گذاری هوش مصنوعی (تست تورینگ) و همکاری موثر در ساخت ماشینی برای شکستن رمزنگاری آلمانی ها در جنگ جهانی دوم (انیگما) نام برد.

تورینگ به خاطر گرایش جنسی اش در دوران خودش متحمل فشارهای زیادی شد و سال‌ها پس از مرگش، ملکه به خاطر اون رفتار ازش معذرت خواهی کرد. حداقل نمایشی از اینکه «می دونیم اشتباه کردیم».

طرح ابتدایی اسکناس که نشون داده شده حاوی عناصر زیر است:

- تصویر تورینگ که در ۱۹۵۱ گرفته شده
- جدول و فرمول ریاضی مقاله ای از تورینگ که پایه های علوم کامپیوتر امروزی رو بنیان گذاشت (On Computable Numbers, with an application to the Entscheidungsproblem) و توش مفهوم ماشین‌های تورینگ توضیح داده شدن
- تصویر پایلوت ماشین محاسبه اتوماتیک که اولین دستگاهی بود که برنامه اش رو به شکل الکترونیک ذخیره می کرد
- طراحی فنی British Bombe که دستگاهی بود برای کمک به رمزشکنی انیگما در طول جنگ جهانی دوم
- نقل قولی از تورینگ در ۱۹۴۹ که می گه «این تنها مزه مزه کردن چیزی است که قرار است به وجود بیاد، تنها سایه ای از آنچه خواهد آمد».
- امضای تورینگ
- نوار تیپ حاوی تاریخ تولد تورینگ به باینری. تورینگ در مقاله ۱۹۳۶، مفهوم نوار تیپ و کامپیوتری را که از روی آن برنامه ای را اجرا می کند، مطرح کرده بود

مطمئنا دنیایی که عکس دانشمندها روی پول‌ها باشه، بهتر از دنیایی است که عکس سیاستمدارها و بخصوص دیکتاتورها روی پول ها باشه (:

کانال @jadinet

خبر خوب برای دیتاساینتیست ها 💻

دیتاک، پلتفرم پردازش داده هست که مجموعه ابزارهای بازیابی اطلاعات، پردازش زبان طبیعی و یادگیری ماشینی برای استخراج دانش از داده رو ارائه میده.

این پلتفرم به مناسبت نمایشگاه الکامپ هدیه ای به شرح زیر درنظر گرفته برای علاقمندان به دیتاساینس و پردازش داده:

شما می‌توانید در هر موضوعی که مدنظرتان است تا سقف 10 هزار رکورد از پست‌های رسانه‌های اجتماعی شامل خبر، توئیتر، اینستاگرام، تلگرام، فیس‌بوک و … دیتاست سفارشی خود را از سکو دریافت نمائید.

http://bit.ly/Dk2Sko

#سکو #دیتاک
#datamining #data #science #dataset

@pythonicAI