Bit x Wisdom
49 subscribers
370 photos
31 videos
25 files
340 links
Brains are more complex.
Questions are deeper.
Answers are weirder.
And your mind?
It's about to be blown(⁠◠⁠‿⁠◕⁠)..
------------------------------------
(نا)گفتنی‌هایِ (نا)گاهِ (نا)موجود..
Download Telegram
Forwarded from مبانی علوم ریاضی (Mehdi Nadjafikhah)
محتوی جلسات:

جلسه اول - معرفی درس . ارزیابی . اصول اقلیدس و ... آغاز منطق
https://youtu.be/MSWM4VE5gG0

جلسه دوم - نفی گزاره . عطف . فصل . شرط . دو شرطی . هم ارزی . استلزام . قضیه
https://youtu.be/IpyL_9bGJXQ

جلسه سوم - استنتاج . اثبات . سور . نقیض سور
https://youtu.be/otimiQEfcEo

جلسه چهارم - تعویض سورها . استدلال قیاسی . برهان
https://youtu.be/t8TJ2vMaCeQ

جلسه پنجم - استقراء ریاضی . چند مثال
https://youtu.be/7LYfTff1nwM

جلسه ششم - مجموعه . تعلق . تساوی . زیر مجموعه . اصل تصریح . تناقض راسل
https://youtu.be/FoKFML2IIMM

جلسه هفتم - اجتماع . اشتراک . متمم . منهی . چند قضیه
https://youtu.be/qTouSA12gQ8

جلسه هشتم - خانواده . اجتماع . اشتراک . تناقض راسل
https://youtu.be/RIGcaKFbK1c

جلسه نهم - زوج مرتب . حاصلضرب دکارتی . رابطه . وارون رابطه
https://youtu.be/cbTzjGp8p9A

جلسه دهم - رابطه هم ارزی . افراز . ارتباط بین آنها
https://youtu.be/Ly73z_8xkq4

جلسه یازدهم - تابع . دامنه . برد . نگاره . پیشنگاره
https://youtu.be/09EwTy13vu4

جلسه دوازدهم - انواع توابع . یکبیک . پوشا . ترکیب
https://youtu.be/yWNMqSJeyAM

جلسه سیزدهم - جبر بول . مثالها . چند قضیه
https://youtu.be/jP-oArQ188k

جلسه چهاردهم - تابع بول . جدول ارزش . ساده کردن . طراحی تابع بول دلخواه
https://youtu.be/m1Llc4xQC9U

جلسه پانزدهم - مدارهای منطقی . طراحی و تحلیل آنها
https://youtu.be/GmpGvJe2Tjo

جلسه شانزدهم - مجموعه نامتناهی . مجموعه متناهی
https://youtu.be/nV4gEzK__FA

جلسه هفدهم - حل تمرین
https://youtu.be/GcWtHrh6XKQ

جلسه هجدهم - حل تمرین
https://youtu.be/iPJGfBzVqZs

جلسه نوزدهم - مجموعه متناهی . مجموعه نامتناهی
https://youtu.be/mfmu0B_PGKg

جلسه بیستم - همتوانی . قضایای اساسی همتوانی . مثالها . شمارای نامتناهی
https://youtu.be/tjh4uI1IZs4

جلسه بیست و یکم - چند قضیه در ارتباط با مجموعه های شمارای نامتناهی
https://youtu.be/bxUEatkb1n4

جلسه بیستم و دوم - وجود مجموعه ناشمارا . چند قضیه و مثال
https://youtu.be/l8m8TvbE7fo

جلسه بیست و سوم - تعریف و مثالهایی از اعداد اصلی
https://youtu.be/tRqFGE7hWxg

جلسه بیست و چهارم - قضیه شرودر - برنشتاین
https://youtu.be/xKjFAxCVIYY

جلسه بیست و پنجم - جمع و ضرب اعداد اصلی
https://youtu.be/_Q-ghTPVpa4

جلسه بیست و ششم - ضرب اعداد اصلی
https://youtu.be/pgF3ishicuc

جلسه بیست و هفتم - 20 خرداد - 7:30 الی 8:30 (بجای 16 خرداد) صفحه
https://youtu.be/-gGd3I4-DRI

جلسه بیست و هشتم - مثالهایی از محاسبه اعداد اصلی . اصل پیوستار . اصل پیوستار تعمیم یافته
https://youtu.be/4nTBlEg2_Sc

جلسه بیست و نهم - ترتیب جزئی . ترتیب کلی . زنجیر . اصل ماکسیمال هاوسدورف . لم تسرملو
https://youtu.be/FWI70KydGWg

جلسه سی ام - دوره جلسه قبل. هم ارزی پنج اصل:
1. اصل انتخاب
2. اصل ماکسیمال هاوسدورف
3. لم تسرملو
4. اصل خوشترتیبی
5. اصل استقراء ترامتناهی
https://youtu.be/lnFjadnlC6Y
باسمه تعالی

پرسش و پاسخ ریاضی(۱۳)

پرسش:

منظور از هندسهٔ جبری چیست؟

پاسخ:

هندسهٔ جبری شاخه‌ای از ریاضیات است که به مطالعهٔ مجموعه‌های هندسیِ تعریف‌شده به‌وسیلهٔ معادلات چندجمله‌ای می‌پردازد. این شاخه، پیوندی عمیق میان جبر و هندسه برقرار می‌کند؛ به‌گونه‌ای که ویژگی‌های هندسی یک شکل را از طریق معادلات جبری آن بررسی می‌کنیم و، برعکس، از ویژگی‌های هندسی برای فهم ساختارهای جبری بهره می‌گیریم.

🌹 در هندسهٔ جبری، تنها شکل‌های ساده‌ای مانند دایره و سهمی مورد مطالعه نیستند؛ بلکه مجموعهٔ جواب‌های دستگاه‌هایی از معادلات چندجمله‌ای در ابعاد مختلف بررسی می‌شوند. این مجموعه‌ها در حالت کلی واریته‌های جبری نامیده می‌شوند.
🌹موضوعات اصلی هندسهٔ جبری

۱. مطالعهٔ مجموعهٔ جواب‌های معادلات چندجمله‌ای و بررسی ساختار هندسی آنها.

۲. مطالعهٔ خم‌ها، رویه‌ها و واریته‌های جبری در ابعاد مختلف.

۳. بررسی ارتباط میان ویژگی‌های جبری و هندسی؛ برای مثال، چگونه درجه و ساختار معادلات بر شکل هندسی مجموعهٔ جواب‌ها تأثیر می‌گذارد.

۴. استفاده از ساختارهای جبری مانند حلقه‌ها، ایده‌آل‌ها، میدان‌ها و جبرهای مختصاتی برای مطالعهٔ مسائل هندسی.

۵. بررسی نگاشت‌های جبری و تبدیلاتی که ساختار هندسی و جبری واریته‌ها را به یکدیگر مرتبط می‌کنند.

🌹ارتباط با سایر شاخه‌های ریاضیات

هندسهٔ جبری با شاخه‌های متعددی از ریاضیات ارتباط دارد؛ از جمله:

۱. جبر مجرد و نظریهٔ حلقه‌ها

۲. نظریهٔ اعداد

۳. هندسهٔ دیفرانسیل

۴. توپولوژی

۵. آنالیز و هندسهٔ مختلط

۶. نظریهٔ نمایش

🌹کاربردها

هندسهٔ جبری علاوه بر ریاضیات محض، در زمینه‌های کاربردی نیز نقش دارد، از جمله:

۱. نظریهٔ اعداد

۲. رمزنگاری، به‌ویژه رمزنگاری مبتنی بر منحنی‌های بیضوی

۳. فیزیک ریاضی و نظری

۴. علوم رایانه

۵. هندسهٔ محاسباتی

۶. رباتیک و بینایی ماشین
🌹نتیجه گیری:

۱. هندسهٔ جبری را نباید صرفاً «حل هندسی معادلات» دانست. موضوع اصلی آن مطالعهٔ ساختار عمیق مجموعه‌هایی است که به‌وسیلهٔ معادلات چندجمله‌ای تعریف می‌شوند و ارتباط این ساختار با مفاهیم جبری است. در هندسهٔ جبری نوین، حتی فضاهایی با ابعاد بالا و ساختارهای بسیار انتزاعی نیز مورد مطالعه قرار می‌گیرند.

۲. هندسهٔ جبری زبان مشترک جبر و هندسه است. در این شاخه، معادلات چندجمله‌ای به اشیای هندسی تبدیل می‌شوند و ساختارهای جبری، اطلاعاتی دربارهٔ ویژگی‌های هندسی آنها در اختیار ما قرار می‌دهند. به همین دلیل، هندسهٔ جبری یکی از شاخه‌های بنیادی و عمیق ریاضیات نوین به شمار می‌رود و با حوزه‌هایی مانند نظریهٔ اعداد، توپولوژی، هندسه، فیزیک ریاضی و رمزنگاری پیوند دارد.

تهیه و تنظیم:

دکتر علی رجالی (دانشگاه اصفهان)

۱۴۰۴/۵/۱۴

@RejaliMathematicsChannel
از دانشکده فنی تا کَلتِک
از کلتک تا jpl
از jpl تا صنعت
از صنعت تا دانشگاه پنسیلوانیا
و از دانشگاه پنسیلوانیا تا جلد مجله نیچر


این مسیر پرفراز و نشیب، داستان پسرِ کنجکاوی است که روزی با دیدن یک رادیوی ترانزیستوریِ بدون سیم، مسحور امواج نامرئی شد؛ کسی که امروز یکی از بزرگترین غول‌های علمی جهان در فیزیک، فوتونیک و مهندسی برق است: پروفسور نادر انقطاع

در این مصاحبه‌، قرار نیست فقط با یک رزومه آکادمیک خشک روبرو شوید بلکه قرار است بشنوید که چگونه یک ذهن خلاق و تشنه، مرزهای غیرممکن را در علم جابجا می‌کند:

چگونه می‌توان قطعه‌ای ساخت که با سرعت نور معادلات پیچیده ریاضی را حل کند؟

چه رازی در چشمان یک ماهیِ خاص نهفته است که پای یک نظریه‌پردازِ امواج را به دنیای شگفت‌انگیز زیست‌شناسی و اعصاب باز کرد؟

چطور می‌توان یک ساختار کاملا ناپایدار را با کمک ارتعاشات سریع، در زمان متوقف و پایدار کرد؟

و مهم‌تر از همه، چه چیزی باعث می‌شود این دانشمند برجسته پس از ۴۰ سال تحقیق و کشف، همچنان رشته‌اش را شبیه‌ترین پدیده به black magic بداند؟

اگر می‌خواهید بدانید کنجکاوی‌های کودکانه چگونه به اختراع متامتریال‌های چهاربعدی ختم می‌شود و اگر به دنبال شنیدن توصیه‌های طلاییِ کسی هستید که علم پیچیده را با چاشنی تاریخ خاورمیانه و سینما می‌آمیزد، خواندن و تماشای این مصاحبه استثنایی را به هیچ‌وجه از دست ندهید.

https://youtu.be/wCB7D6pGKEY?si=TDsm7Ik4wUmn8_YG
Forwarded from Evidence
▫️توئیکینگ: خطرناک‌ترین نوعِ تقلب علمی

دانشگاه MIT به تازگی کتابی را منتشر کرده که نگاه جدیدی دارد به مقوله تقلب در پژوهش و بحران اعتبار علم. این کتاب را Thomas Plümper و Eric Neumayer نوشته‌اند:

The Credibility Crisis in Science: Tweakers, Fraudsters, and the Manipulation of Empirical Results
 
دو نوع تقلب در پژوهش وجود دارد که خیلی آشکار و واضح هستند و در غیراخلاقی بودن آنها شکی نیست. یکی داده‌سازی (Data Fabrication) است؛ یعنی ساختن داده‌هایی که اصلاً وجود ندارند و دیگری دستکاری داده‌ها (Data Manipulation)؛ یعنی داده وافعی وجود دارد ولی پژوهشگر آنها را تغییر می‌دهد تا نتیجه دلخواهش حاصل شود.

اما نویسندگان، Tweaking را نوع سوم و البته خطرناک‌ترین نوع تقلب می دانند. یک پژوهشگر در Tweaking، بدون اینکه که داده‌ها را بطور مستقیم تغییر دهد، می‌آید طراحی پژوهش یا مدل آماری را طوری تغییر می‌دهد که نتیجه دلخواهش بدست آید.

حذف داده‌های نامناسب، تغییر تعریف متغیرها، انتخاب زیرنمونه خاص، اضافه یا حذف متغیرهای کنترل، آزمودن مدل‌های متعدد و انتشار فقط نتایج معنادار، همگی می‌توانند نتیجه را تغییر دهند.

همچنین پژوهشگر ممکن است پس از مشاهده داده‌ها، فرضیه‌ای بسازد، اما در مقاله وانمود کند که فرضیه از ابتدا وجود داشته است؛ رفتاری که HARKing نام دارد (Hypothesizing After Results are Known). هدف اصلی معمولاً افزایش معنی‌داری آماری، بزرگ‌تر شدن اندازه اثر و تأیید فرضیه پژوهشگر است

پژوهشگران ممکن است برای کسب منافع شخصی مانند چاپ مقاله بیشتر، چاپ در مجلات معتبرتر، افزایش استناد، گرفتن گرنت، ارتقای شغلی، افزایش حقوق و شهرت علمی دست به توئیک بزنند.
 
چرا توئیک خطرناک‌تر است؟
چون بسیار رایج‌تر است، کشف آن بسیار دشوار است، معمولاً مجازاتی ندارد و ظاهر آن کاملاً علمی است. به همین دلیل نویسندگان معتقدند: بزرگ‌ترین تهدید برای اعتبار علم، توئیک است؛ نه داده‌سازی.

تعریف تقلب علمی از نگاهی دیگر
نویسندگان تعریف دیگری از تقلب علمی ارائه می‌دهند که متفاوت از تعاریف موجود است:

تقلب علمی یعنی هر گونه دستکاری عمدی نتایج آماری برای کسب منفعت پژوهشگر. بنابراین معیار اصلی قصد است، نه نوع روش.
 
 
عناوین بخش‌ها و فصول کامل کتاب در ادامه آمده است. بخش سوم کتاب، در خصوص مقابله با تقلب است که راهکارهای مفیدی را ارائه کرده است.

راه‌حل محوری نویسندگان، شفافیت است: انتشار داده خام، کد تحلیل، روش‌ها و تمام تصمیم‌های پژوهشی. هر پژوهش باید از سه جهت ارزیابی شود: بازتولیدپذیری با همان داده و کد (Reproducibility)، تکرارپذیری با داده‌های جدید (Replicability)، و استحکام (Robustness Test) در برابر تغییرات منطقی مدل.

بخش اول: آیا علم دچار بحران شده است؟
۱. سلامت پژوهش (Scientific Integrity) و نارضایتی‌های پیرامون آن
۲. انگیزه‌های متقلبان
۳. نوکِ نوکِ کوه یخ
۴. عوامل کشف تخلف

بخش دوم: درجات آزادی پژوهشگر (Researcher Degrees of Freedom)
۵. توئیکینگ در تحلیل داده‌های مشاهده‌ای
۶. توئیکینگ در طرح‌های پژوهش تجربی
۷. توئیکینگ در مدل‌های علّی

بخش سوم: مقابله با تقلب
۸. سیاست‌های بازدارندگی
۹. برنامه‌های پیشگیری
۱۰. راهبردهای کشف
۱۱. دو گام به پیش
۱۲. و یک گام به عقب

#research_ethics
#research_misconduct
#book

🆔 @irevidence
پایان فراموشی، نبرد بر سر حافظه نامحدود..

یکی از بزرگترین چالش‌های llmها از زمان پیدایش معماری transformer، مشکل context window بوده؛ در ترنسفورمرهای استاندارد، هزینه محاسباتی attention با افزایش طول متن به صورت O(n^2) افزایش می‌یابد؛ این یعنی اگر طول متن دو برابر شود، حافظه و پردازش مورد نیاز چهار برابر می‌شود! این گلوگاه باعث می‌شد llm شبیه شخصی با آلزایمر کوتاه‌مدت عمل کند.

اما اخیراً دو رویکرد کاملاً متفاوت برای حل این مشکل و رسیدن به رویای حافظه نامحدود مطرح شده است؛ یکی در سطح معماری شبکه عصبی (مقاله گوگل(Leave No Context Behind)) و دیگری در سطح مهندسی نرم‌افزار برای ایجنت‌ها (ابزار Memora و امثالهم).


اگر بخوایم این رویکرد‌ها را ببریم زیر تیغ جراحی، به ۲ اپروچ کلی میرسیم:

۱. رویکرد ذاتی: مقاله انقلابی گوگل
گوگل در اپریل ۲۰۲۴ مقاله‌ای با عنوان "Leave No Context Behind: Efficient Infinite Context via Infini-attention" منتشر کرد که زلزله‌ای در دنیای هوش مصنوعی به پا کرد.

این مقاله دقیقاً چه میگه؟
گوگل معماری جدیدی به نام Infini-attention را معرفی کرد که به جای دور ریختن اطلاعات قدیمی یا ذخیره همه‌شون (که باعث سرریز رم می‌شود)، از یک حافظه فشرده‌ساز (Compressive Memory) با اندازه ثابت استفاده می‌کند.

• متن ورودی به segmentهای کوچک‌تر تقسیم می‌شود.
• برای کلمات نزدیک و جدید، از همون مکانیزم local attention استفاده می‌شود.
• اما اطلاعات قطعات قبلی (key و value ها) دور ریخته نمی‌شوند، بلکه با استفاده از عملگرهای ریاضی فشرده شده و به یک ماتریس حافظه با اندازه ثابت منتقل می‌شوند.
• بنابراین مدل می‌تواند میلیاردها توکن را پردازش کند، در حالی که میزان حافظه اشغال شده رویvram ثابت می‌ماند.

۲. رویکرد مهندسی: ابزار متن‌باز Memora
در نقطه مقابل، مهندسان ابزاری به نام Memora توسعه داده‌اند که به جای تغییر در ساختار مغز هوش مصنوعی (مدل)، یک دفترچه یادداشت خارجیِ به شدت هوشمند به آن متصل می‌کند.

این ابزار یک لایه حافظه بین‌جلسه‌ای cross-session برای دستیارهای کدنویسی مثل claude code و codex ایجاد می‌کند.

• زیرساخت: داده‌ها را در دیتابیس‌های محلی (SQLite) یا ابری (S3, Cloudflare D1) ذخیره می‌کند.
• ساختار داده: به جای ذخیره متن خام، اطلاعات را به شکل گراف‌های دانش تعاملی(که جدیدا باز مُد شده(به دلیل خاصیت گراف‌ها..))، لیست وظایف، باگ‌ها و جستجوی معنایی را سازماندهی می‌کند.
• تزریق اطلاعات (با RAG..): وقتی چت جدیدی را شروع می‌کنید، Memora ابتدا دیتابیس را می‌گردد و یک خلاصه مدیریتی (اطلاعات مهم، کارهای ناتمام و لینک به منابع) را به عنوان context اولیه به llm/agent می‌دهد.


(در واقع MemGPT هرمس هم چیزی شبیه این است با تفاوت در اینکه OS-گونه عمل میکند و دائما بین core memory و archiva memory در حال پاسکاری‌ست..)

مقاله MemGPT که اخیرا شده Letta یا Mem0


اگر با دید رادیکال و مهندسی به مسئله نگاه کنیم، چسبوندن معماری ترنسفورمر با تکنیک‌های فشرده‌سازی، راه‌حل نهایی نیست احتمالا!
رادیکال‌ترین و انقلابی‌ترین تلاش‌ها برای دستیابی به حافظه نامحدود، نه در اصلاح مکانیزم اَتِنشن، بلکه در جایگزینی کامل معماری یا تغییر بنیادین زیرساخت توزیع‌شده نهفته:

۱. معماری‌های فضای حالت (ssmها) و ظهور Mamba:
بزرگترین ضربه به سلطه ترانسفورمرها با معرفی معماری Mamba (مقاله | کد) وارد شد. مامبا به جای درگیری با ماتریس‌های سنگین اتنشن، از state space modelsها استفاده می‌کند. در اینجا پیچیدگی محاسباتی به جای O(n^2) به شکل خطی و O(n) در اومده.. مامبا از طریق یک الگوریتم به اسم selective scan، به مدل اجازه می‌دهد تا تصمیم بگیرد چه اطلاعاتی را در یک بردار hidden state نگه دارد و چه چیزی را فراموش کند؛ از نظر تحلیلی، این یک تغییر پارادایم جبر خطی است که نیاز به KV-Cacheهای زیاد/گُنده را به طور کامل از بین می‌برد و حافظه‌ای پیوسته و بسیار سریع‌تر در استنتاج (==inference) ارائه می‌دهد.

۲. پردازش توزیع‌شده در سطح سیستم: ring attention و مدل lwm:
در سوی دیگر طیف مهندسی سیستم، محققان دانشگاه برکلی با معرفی Ring Attention ثابت کردند که اگر نمی‌توانیم فیزیکِ حافظه‌ی یک gpu را تغییر دهیم، می‌توانیم توپولوژی شبکه آن‌ها را هک کنیم!!
این تکنیک با تقسیم‌بندی توالی‌های بسیار طولانی به بلوک‌های کوچکتر و چرخش بلوک‌های key-value در یک رینگ میان خوشه‌ای از پردازنده‌های گرافیکی، توانست مدل large world model با پنجره زمینه ۱ میلیون توکنی واقعی (بدون افت فشرده‌سازی infini-attention) را آموزش دهد.
این یک شاهکار در همپوشانی محاسبات با ارتباطات شبکه‌ای است، که مرزهای سخت‌افزاری را بدون دستکاری در داده‌ها جابجا کرد.
ادامه👇

اگر بخوایم تشبیه کنیم به انسان:

• روش گوگل (Infini-attention): شبیه به بزرگ کردن حافظه فعال مغز شماست. مدل تمام اطلاعات را به صورت یکپارچه درون شبکه عصبی خود حس می‌کند، اما به دلیل فشرده‌سازی دچار تلفات (یا همان information loss) می‌شود.

• روش Memora (با کمک RAG): شبیه به دادن یک آرشیو فایل و یک منشی به مغز شماست. شما همه چیز را حفظ نیستید، اما منشی شما قبل از هر جلسه، خلاصه‌ای از کارهای قبلی را روی میزتان می‌گذارد.

• معماری Mamba (ssmها): شبیه به تغییر کامل آناتومی/فیزیولوژی مغز است تا ذاتاً بتواند یک جریان بی‌پایان از اطلاعات را بدون نیاز به ذخیره تک‌تک کلمات، پردازش و درک کند.


هدف این بود که آیا حافظه نامحدود به معنای واقعی کلمه امکان‌پذیر است؟
از نظر علمی و بر اساس نظریه اطلاعات shannon، حافظه مطلقاً نامحدود در یک فضای فیزیکی محدود غیرممکن است.
در روش‌هایی مانند infini-attention، وقتی شما اطلاعات بی‌نهایت را در یک ماتریس با حجم ثابت (bounded memory) فشرده می‌کنید، ناگزیر دچار تلفات اطلاعات (overwriting) می‌شوید. در روش Memora نیز، شما محدود به حجم هارد دیسک و البته محدودیت مدل در خواندن خلاصه‌های تزریق شده هستید.

حالا که فعلا نرسیدیم به حافظه نامحدودِ مطلق، پس هدف نهایی و والا چه چیزی میتواند باشد؟ یک سیستم هیبریدی؟ معماری/سیستم جدید؟ آیا تعریفش را باید تغییر دهیم؟ یا؟
Bit x Wisdom
https://youtu.be/j4_VyRDOmN4?si=ypRWtaATjwytNiBS
ز گهواره تا گور با لکس فِرِدمَن..
فشن‌شوی خِرَد، در باب سمفونیِ خرهای باکلاس

پ‌ن: با معذرت فراوان از خران کلاسیک، مدرن و زادگانِ عصر ai