فرآیندکاوی و مدل‌های زبانی بزرگ (LLMs)🔎

فرآیندکاوی ابزارهای متنوعی برای کشف فرآیندها، انطباق سنجی، سازمان کاوی و پیش‌بینی ارائه می‌دهد. استفاده از دانش تخصصی در این زمینه‌ها، مثل شناسایی الگوهای غیرعادی، برای سازمان بسیار مفید است.

مدل‌های زبانی بزرگ (LLMs) می‌توانند این دانش را فراهم کنند و به این سوالات پاسخ دهند.

در این وبینار به ارتباط بین مدل‌های زبانی بزرگ و فرآیندکاوی از جمله وظایفی مانند مدل‌سازی و شناسایی فرآیند می‌پردازیم. همچنین به مزایا و محدودیت‌های استفاده از این مدل‌ها در فرآیندکاوی اشاره می‌کنیم.



سخنران وبینار 🗣:
🔹Alessandro Berti
🔸پژوهشگر گروه PADS در دانشگاه RWTH Aachen

موضوع وبینار 🗒:
نقش مدل‌های زبانی بزرگ در توسعه، تسریع و دسترسی پذیری فرآیندکاوی

زمان 📅:
چهارشنبه ۳۰ خرداد ۱۴۰۳ ساعت ۱۸ - ۲۰

پلتفرم 🖥:
اسکای روم

وبینار کاملا رایگان و به زبان انگلیسی می‌باشد.



همین حالا ثبت نام کنید:
🔗 https://evand.com/events/llms-increasing-the-scope-of-process-mining



🧠 بهفالب، سامانه فرایندکاوی مبتنی بر هوش مصنوعی

---------------

🌐 Behfalab.com

◀️ استفاده از ابزارهای هوش مصنوعی در Google Colab

✅ ویدیو زیر یه ویدیو خوب و سر راست از روش های استفاده از Gemini در Google Colab هست. نکته جالبی که من نمیدونستم ، پیشنهاد رسم نمودار بود که خیلی مفید میتونه باشه.


https://www.youtube.com/watch?v=V7RXyqFUR98

[دوره مرتبط : پایتون ویژه یادگیری ماشین]

#هوش_مصنوعی #یادگیری_ماشین #یادگیری_عمیق
➖➖➖➖➖➖➖➖➖

🔴 آکادمی ربوتک: آموزش هوش مصنوعی به زبان واقعا ساده
@robotech_academy

راهنمای تصمیم درباره Tune کردن یا Tune نکردن داده ها

https://cloud.google.com/blog/products/ai-machine-learning/to-tune-or-not-to-tune-a-guide-to-leveraging-your-data-with-llms

#LLM
#Google

مدتی هست که Lightning.ai سرویسی بنام Studio معرفی کرده که میشه رقیب گوگل کولب هست.

اما مزایای این سرویس چی هست:
* می‌تونید به‌صورت لوکال هم کد بزنید. یعنی توی VSCode یا پایچارم روی سیستم خودتون کد بزنید، ولی از سخت‌افزار استودیو استفاده کنید.
* داده‌هاتون حفظ میشه و حذف نمیشه.
* می‌تونید Web App بالا بیارید یا وزن مدل‌هایی که ساختید رو به اشتراک بذارید.
* 22 ساعت GPU رایگان برای یک ماه هم میده.

بعضی از مزایاش جالب هستن ولی خب مثلا مدت زمان GPU آنچنان زیاد نیست. بد نیست ویدئوی بالا رو ببینید.

به‌هرصورت، رفتیم که تستش کنیم؛ درخواست فرستادیم و بعد از سه روز درخواست تایید شد. وارد فاز بعدی شدیم که باید دوباره چند مرحله ثبت نام رو پشت سر میذاشتیم. رفتیم جلو و رسیدیم به شماره تلفن برای Verification! اول، خیلی سرخوش شماره ایران رو زدیم که خب هیچی! بعدش، رفتیم یه شماره مجازی گرفتیم که اونم هیچی! 😢 بعدشم که دیگه کلا Mission Failed! 😭 خلاصه اینکه، به قول بانو هایده: تا میخواستیم لب معشوقو ببوسیم. پریدیم که...

حالا شما اگه تجربه کردی به ما بگو که اینجا به اشتراک بذاریم...
link

@pytorch_howsam

دیروز شرکت OpenAI جدیدترین مدل خود را که پیش‌نمایشی از مدل o1 است معرفی کرد. این مدل که قبلا با نام‌های *Q و توت‌فرنگی در رسانه‌ها مطرح شده بود، قدرت استنتاج و استدلال پیشرفته‌تری از مدل‌های قبلی ارائه می‌دهد. البته این فرآیند استدلال باعث کندتر بودن تولید پاسخ شده است. برای بررسی این مدل، یک سوال ساده‌ی استدلالی را از دو مدل ChatGPT o1-preview و ChatGPT 4o پرسیدیم. همانطور که مشاهده می‌کنید مدل جدید برخلاف مدل قبلی توانسته است به این سوال به درستی پاسخ دهد. البته این یک تست ساده برای یک بررسی اولیه است، درحالی‌که ادعا شده است که این مدل برای حل مسائل پیچیده‌ی ریاضی، کدینگ و علوم توانمندی قابل توجهی دارد. بعنوان نمونه، مدل 4o برای مسائل المپیاد ریاضی دقت ۱۳٪ را به‌دست آورده است، درحالی‌که نسل جدید به دقت ۸۳٪ رسیده است.

مدل o1 و معرفی پارادایم جدید برای مقیاس Inference


تا الان روال این بوده که بودجه محاسباتی و پردازشی LLM ها، عمدتا صرف مرحله Pre-train یا همون ساخت LLM ها می‌شه و بودجه عجیبی برای Inference در نظر گرفته نمیشه. چرا که به ازای هر پرامپتی که سمت LLM میاد، یک بار یک جنریشن رخ می‌ده و پاسخ تحویل کاربر داده می‌شه. این روال فعلی تمام LLM ها چه Open و چه Close source هست. هرچند که خود جنریت کردن رو اگر بعنوان تسک پیش‌بینی توکن بعدی ببینیم، استراتژی‌های زیادی براش وجود داره و اتفاقا استفاده از استراتژی‌های متفاوت منجر به نتایج متفاوت می‌شه. مثال معروفش Temperature است که بهتره برای تسک‌هایی که خلاقیت نیاز داره (مثل نوشتن شعر)، بالا باشه. ولی با این وجود در هرحال عرف تا الان این بوده که برای یک پرامپت، یک پاسخ جنریت می‌شده ولو با استراتژی‌های مختلف.

حالا بطور خلاصه اتفاق بزرگی که در o1 رخ داده، تغییر همین رواله. یعنی به ازای یک پرامپت لزوما یک پاسخ دیگه جنریت نمی‌شه. بلکه پاسخ‌های بسیاری چه بصورت موازی و چه متوالی تولید می‌شه و براساس یک سری مکانیزم‌های انتخاب و خودبهبودی درنهایت جواب نهایی تولید و به کاربر نمایش داده می‌شه. پاسخ‌های موازی یعنی گرفتن پاسخ از LLM با کانفیگ‌های جنریشن متفاوت و پاسخ‌های متوالی یعنی دادن جنریت قبلیِ مدل به مدل و خواستن جنریت بهتر. با اینکه در نهایت به کاربر یک پاسخ نمایش داده می‌شه ولی میزان توکن تولیدی توسط LLM با میزان توکن نمایش داده شده برابر نیست و این همون چیزیه که OpenAI به جهات مارکتینگی اسمش رو گذاشت Thinking.

سوالی که اینجا بوجود میاد اینه که این مکانیزم‌های انتخاب چی ها هستن؟ تقریبا یک ماه پیش Deep-Mind مقاله‌ای منتشر کرد که در اون برای اولین بار صحبت از قانون مقیاس Inference time شد و با آزمایشات مختلف مکانیزم‌های انتخاب رو بررسی کرد (قبلا در اینجا درمورد قانون مقیاس LLM ها نوشتم). مقاله بر محور این سوال می‌ره جلو که اگر ما یک بودجه محاسباتی ثابت (ولی نه ناچیز بلکه زیاد) برای Inference داشته باشیم، مدل چقدر می‌تونه دقت بیشتر روی پرامپت‌های چالشی بده؟ در ادامه مقاله دو روش برای خود-بهبودی مدل حین اینفرنس پیاده می‌کنه که بطور مختصر اشاره می‌کنم.

تو روش اول میایم distribution مدل رو برای پاسخ بهتر تغییر می‌دیم. مدل رو قبل از اینکه بره روی پروداکشن یک دور با یک سری دیتا و با یک سری متدهای الهام‌گرفته از یادگیری تقویتی مثل STaR یا ReST فاین‌تیون می‌کنیم. به محض اینکه روی پروداکشن پرامپتی بیاد که شبیه به اون پرامپت‌هایی باشه که در فاین‌تیون دیده، فورا بعد از جنریت اولیه، پاسخ بهتر رو به روش CoT تولید می‌کنه. حالا این پاسخ‌ها می‌تونه بصورت موازی باشه و چه متوالی و همچنین می‌تونه با روش بعدی ترکیب بشه. خالق این روش گوگل و دیپ‌مایند نبوده و اینها صرفا برای مساله مدنظر (یعنی بررسی افزایش دقت با افزایش بودجه محاسباتی زمان Inference) ازش استفاده کردند.

تو روش دوم، مدل پاسخ‌های متعددی رو چه بصورت موازی و چه سری جنریت می‌کنه و یک مدل دیگه‌ای (Reward Model) میاد بعنوان Verifier عمل می‌کنه و Score میده به پاسخ‌ها و بهترین پاسخ رو به کاربر نمایش می‌ده. جذابیت این روش اینه که می‌شه تمام پاسخ‌ها رو به فرمت CoT از مدل گرفت و این بار Verifier به‌جای دادن Score روی کل پاسخ بیاد روی هر قسمت از پاسخ‌ها Score بده. به این شکل می‌شه جواب‌ها رو در هم ترکیب کرد و با اجرای الگوریتم‌های Tree Search بهترین پاسخ رو تولید کرد. مثلا اگر از مدل، سه تا پاسخ به صورت CoT یا همون Chain of thought گرفتیم، بیایم مقدمه اول از پاسخ اول رو با مقدمه دوم از پاسخ دوم ترکیب کنیم و از قسمت نتیجه پاسخ سه استفاده کنیم و درنهایت پاسخ نهایی رو تولید کنیم. این روش تا 4 برابر میزان Inference time رو نسبت به زمانی که Verifier روی کل پاسخ (و نه بخشی‌اش) رای بده کاهش داده.

در نهایت این مقاله به یک نتیجه‌گیری مهم رسیده و اون اینکه برای تسک‌های ساده تا کمی دشوار (و نه خیلی دشوار) اگر یک مدل از چنین روشی استفاده کنه، به فرض بودجه محاسباتی ثابت، دقت خروجی این مدل برابری می‌کنه با دقت یک مدل با 14برابر! وزن بیشتر در حالتی که فقط یک پاسخ جنریت می‌کنه. این یعنی می‌شه با همون مدل قبلی GPT4 تا 14 برابر هوشمندی بیشتر دریافت کرد. این همون نتایج شگفت‌انگیزیه که OpenAI خیلی زودتر از بقیه متوجه شد و الان ما اون چیزی که روی کاغذهای دیپ‌مایند می‌خونیم رو توی ChatGPT حسش می‌کنیم. در این مقاله به این موضوع هم اشاره شده که برای تسک‌های خیلی دشوار به‌صرفه‌تر اینه که بیشترین حجم بودجه پردازشی رو بدیم به Pre-training ولی برای بقیه تسک‌ها فرض اینه که حجم زیادی از بودجه محاسباتی برای Inference time خواهد بود.

@AI_360

❇️ به پیشنهاد گروهی از مخاطبین کنفرانس وب پژوهی، پنل ویژه ای با عنوان
«هوش مصنوعی قابل اعتماد و وب»
Trustworthy AI and Web

تعریف شده است. از پژوهشگرانی که در این حوزه فعالیت می کنند دعوت می شود مقالات خود را به یازدهمین کنفرانس بین‌المللی وب پژوهی ارسال نمایند.

همچنین از اساتید و اعضای هیات علمی که در این حوزه فعالیت دارند جهت مشارکت در این پنل دعوت بعمل می آید.

❇️ مقالات پذیرفته شده انگلیسی مانند سال های قبل جهت نمایه سازی به IEEE Xplore ارسال می شود.

مقالات فارسی در پایگاه های SID و ISC نمایه می شوند.

🌎وبگاه کنفرانس:
iranwebcomf.ir

🔹تلگرام
@webresearch

ایمیل:
iranwebconf@gmail.com

دبیرخانه مجله و کنفرانس بین‌المللی وب پژوهی

در خصوص LLM Agents :

📗 عامل‌های مبتنی بر LLMها یکی از تحولات بزرگ در هوش مصنوعی محسوب می‌شوند که قابلیت تصمیم‌گیری خودکار و حل مسائل پیچیده را دارا هستند. این تکنولوژی مورد توجه صنایع قرار گرفته و همچنین سال 2024 به عنوان عصر عامل‌های AI نامیده شده است.
این مدل‌ها توانایی استدلال، برنامه‌ریزی، استفاده از ابزار و اجرای مستقل وظایف پیچیده را کسب می‌کنند.

📗 منظور از عامل‌های هوش مصنوعی سیستم‌هایی است که می‌توانند بدون راهنمایی مداوم انسان، تصمیم بگیرند و با شرایط متغیر سازگار شوند. عامل‌ها با دستورات یا مشاوره انسانی کار را شروع کرده و پس از شفاف شدن وظیفه، مستقل عمل می‌کنند. استفاده از عامل‌ها برای مسائل باز و غیرقابل پیش‌بینی مفید است؛ اما پیچیدگی و هزینه بیشتری دارد.

Agentic Systems:

📗 در حال حاضر می‌توان با استفاده از یکسری فریمورک‌، یک تیم از مدل‌های زبانی بزرگ (LLMها) داشت. برای هر کدام از این LLMها یک نقش تعریف می‌کنیم (به کمک نوشته)، نوع ارتباطشان رو تعیین کرده، دسترسی به توابع، ابزار، Web و مستندات بهشون می‌دهیم و نوع خروجی رو با reasoning تعیین می‌کنیم.

مثال: یک تیم از Agentهای زبانی که مسئول توسعه و نگهداری از یک سیستم Trading هستند: یک LLM را مدیر اجرایی در نظر می‌گيريم، یک LLM متخصص گرفتن اخبار مهم و موثر بازار و سهام، یک LLM دیگر متخصص پردازش احساسات این اخبار، یکی متخصص فراخوانی مدل‌های پیشبینی کننده، با توجه به جو بازار، یکی متخصص آپدیت مدل‌ها و استراتژی‌ها با توجه به توابع از پیش تعیین شده و ... . همچنین تعیین می‌کنیم که خروجی‌ها و نوع ارتباطات باید به چه شکل باشه. شبیه یک شرکت کامل.

➖➖➖➖➖
🆔 : @ml_nlp_cv

پروژه 500 میلیارد دلاری هوش مصنوعی

پروژه استارگیت OpenAI با هدف ایجاد یک زیرساخت بزرگ هوش مصنوعی، با دسترسی انحصاری OpenAI، طراحی شده است. این طرح مستلزم بیش از 500 میلیارد دلار بودجه در طول چهار ساله که با 100 میلیارد دلار شروع میشه (یکی از بزرگترین سرمایه‌گذاری‌های زیرساختی در تاریخ آمریکا) که حتی از پروژه منهتن و برنامه آپولو (در صورت تعدیل تورم) پیشی میگیره!!!

انتظار میره که Stargate بیش از 100000 شغل ایجاد کنه، با تمرکز روی برنامه‌های پزشکی مثل تحقیق در مورد داروهای سرطان، تشخیص زودهنگام بیماری و...

شرکای کلیدی این پروژه عبارتند از Softbank، Nvidia، Oracle، MGX (امارات متحده عربی)، مایکروسافت و Arm.

قرار است ساخت ده مرکز داده در تگزاس، با برنامه ریزی برای بیست مرکز داده در سراسر آمریکا، که همه به هم مرتبط هستند، آغاز شود.

فقط برای اینکه متوجه بشید این پروژه چقدر بزرگه:
پروژه منهتن (دهه 1940): 30 میلیارد دلار به پول امروز
برنامه آپولو (دهه 1960 تا 70): 257 میلیارد دلار به پول امروز
پروژه StarGate: حدود 500 میلیارد دلار در مدت تنها چهار سال

@Ai_Events