رویارویی ایدئولوژی‌ها این بار در زمین LLM‌ها

این هفته یک مقاله جالب دیدم که اومده بود اندازه گیری کرده بود هر LLM از لحاظ ایدئولوژیکی چه طوریه. یعنی مثلا فلان LLM نسبت به فلان دیدگاه‌های اقتصادی، سیاسی، فرهنگی وضعیت چپی داره یا راستی یا چی. برای حل این مساله اومدند، یک دیتاست از مجموعه آدم‌های سیاسی بحث‌برانگیز (مثلا اسنودن رو در نظر بگیرید) تشکیل دادند و بعد به اون LLM مورد بررسی گفتند بیا اسنودن رو توصیف کن. بعد این توصیف رو دوباره دادند به خودش گفتند بگو یک کسی همچین توصیفی از اسنودن ارائه داده به نظرت نظرش مثبته یا منفیه؟ به همین شکل با روی هم قرار دادن تعدادی از این تحلیل‌ها تونستن برای هر LLM متریک و ویژوالیزیشن ارائه بدن که دیدگاه‌های ایدئولوژیکش چه شکلیه.

به چه نتایجی رسیدن؟ اول برای هر LLM اومدن به دو زبون چینی و انگلیسی پرامپت دادن و دیدن که بسته به این که به چه زبونی با LLM صحبت کنید، ایدئولوژی اون LLM فرق می‌کنه. دوم این که بین ایدئولوژی LLM‌های شرقی و LLM‌های غربی از لحاظ ایدئولوژی تفاوت قابل توجهی وجود داره (مدل‌های زبانی غربی لیبرال دموکرات هستند ولی شرقی‌ها مثلا نظرات منفی‌تری به این‌ها دارند). سوم هم این که بین خود LLM‌های غربی هم تفاوت دیدگاه ایدئولوژیک وجود داره. برای مثال openai نسبت به سیاست‌های دولت رفاه، اتحادیه اروپا و متمرکزسازی نظرات منفی داره.

چرا مهمه؟ در آینده نه چندان دور، LLM‌ها به بخش مهمی از تعاملات و منابع دانش ما تبدیل می‌شن. نسل‌های بعدی نسل‌هایی خواهند بود که احتمالا بیشتر از ما به LLM‌ها باور و تکیه دارند. در چنین شرایطی LLM‌ها می‌تونند ابزاری برای ایدئولوژی سازنده‌هاشون باشند.

لینک مقاله:
https://arxiv.org/abs/2410.18417

کد کتابی که نوشته بودیم این جاست اگه بدردتون خورد یه ستاره بزنید:

نسخه اول:
https://github.com/PacktPublishing/Mastering-Transformers

نسخه دوم:
https://github.com/PacktPublishing/Mastering-Transformers-Second-Edition

ژورنال e-life یه روش جدید چاپ مقاله ارائه کرده. #مقاله رو میفرستی، اگه استاندارد باشه، میفرستن برای داوری. نظر داورها چه اکسپت باشه چه ریجکت در هرصورت مقاله چاپ میشه، و همه میتونن کامنت ها و نتیجه رو ببینن و همیشه ام قابل ریوایزه. یعنی مقاله دیگه خاک نمیخوره تا یه جا نشونش بدن :)
https://elifesciences.org/about/submit-your-research

پ.ن:
حالا همه براش مقاله میفرستین بعد میگن ببین ما کجا مقاله دادیم چ خفنیم 😂

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

آیا #هوش_مصنوعی می‌تواند از سنجش‌های ژنومی مرسوم در پیش‌بینی نتایج سرطان پستان پیشی بگیرد؟

◾️ Multi-modal AI for comprehensive breast cancer prognostication

#علوم_پزشکی #مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در این مقاله جدید سعی کردن بگن مدلشون از مدل قبلی o1 preview عملکرد بهتری داره.

Apparently, their journey learning technique encourages learning not just shortcuts, but the complete exploration process, including trial and error, reflection, and backtracking.

Claims that with only 327 training samples, their journey learning technique surpassed shortcut learning by 8.0% on the MATH dataset.

◾️ O1 Replication Journey: A Strategic Progress Report -- Part 1

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

این مقاله الف تا یای مدل‌های زبانی رو توی خودش جا داده. از جمع آوری و آماده‌سازی داده گرفته تا آموزش مدل و فاین‌تیون کردن و دیپلوی کردن روی پروداکشن و بهبود پرفورمنس. پیشنهاد می‌کنم یه نگاه چشمی هم شده بهش بندازید.

🖇 لینک مقاله

#LLM
#Generative_AI
#paper

🆔 @lifeAsAService

شدیم 11هزار نفر رفیق همراه که علاقمند به هوش مصنوعی و آینده اون هستند مرسی که همراهی کردید🌻

پیشنهادات و انتقادات خودت رو به صورت ناشناس برام بفرست تا بتونیم عملکرد کانال رو بهبود بدیم مرسی رفیق🌻🌸
t.me/HidenChat_Bot?start=7214197958

Project Update: Detecting Parkinson’s Disease Using Deep Learning and Attention Mechanisms

Project Highlights:
Dataset: Used a dataset of spiral drawings from healthy individuals and Parkinson's patients to train the model. The dataset was preprocessed to balance classes and enhance interpretability with visualizations.

Deep Learning Models: Implemented InceptionV3 and Xception, high-performing CNN architectures, as the base models. These setups extract complex features while leveraging transfer learning.

Attention Mechanism: Integrated a Multi-Head Attention layer, enabling the models to focus on critical patterns in drawings associated with Parkinson's symptoms, improving classification accuracy.

Training & Validation: Achieved high accuracy and minimized loss through early stopping and robust regularization techniques, including Batch Normalization and Gaussian Noise layers.


 
Kaggle

اگه میخوایی برای دانشگاه های امریکا و ... اپلای کنی و میخوایی بفهمی رشته ای که میخوایی کدوم دانشگاه ها اون رشته مورد نظرتو دارن با لینک زیر میتونی جزییات بیشتری راجب پذیرش و... متوجه بشی

https://www.usnews.com/best-graduate-schools

#اپلای

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

این کلیپ امروز حالمو خوب کرد چه حس قشنگی داره این😍😍 شمام ببینید حالتون خوب شه حس خوب بگیرید

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

شما ممکنه محصولی داشته باشید که توی اون محصول نیاز باشه از LLM یا مدل‌های بزرگ دیگه‌ای جواب بگیرید. در چنین شرایطی خیلی محتمله که شما دوست داشته باشید عوض این که اون LLM رو سمت خودتون اجرا بگیرید، اجرا گرفتنش رو بسپرید سمت کلاینت تا اپلیکیشن خودش روی دیوایس کلاینت اجرا بگیره. این کار دو دلیل می‌تونه داشته باشه:

۱- دیگه نگران هزینه‌های سرور سمت خودتون نیستید.
۲- مشکلاتی نظیر حفظ امنیت داده‌های کاربران رو هم ندارید.

منتهای مطلب، مشکل اینه که این مدل‌های LLM هنوز این قدر بزرگ هستند که حتی کوچکترین‌هاشون رو هم نمی‌شه روی دیوایس اجرا گرفت. حالا یک استارتاپ اندونزیایی (موضوعش پیشنهاد هدیه به کاربره که این قدر چرته که باهاش کاری نداریم) که با همین قضیه درگیر بوده و می‌خواسته از مدل لاما خروجی بگیره، اومده ابتکاری به خرج داده. به این صورت که لایه اول ترنسفورمر سمت کلاینت اجرا می‌شه و اجرای سایر لایه‌ها به سمت سرور سپرده می‌شه. این طوری هم privacy دیتا‌ها حفظ می‌شه تقریبا و هم این که تا حدی که ممکنه از هزینه سروکردن سمت سرور کاسته می‌شه. متا در بلاگی به این موضوع پرداخته:

ai.meta.com/blog/untukmu-built-with-llama

ظاهرا دانشگاه ETH سوییس هم یک سری از دانشگاه های ایران رو تحریم کرده و دانشجوهای جدید ارشد و دکتری ازین رشته هارو سکیوریتی چک و با احتمال بالایی بن میکنه. لطفا این پست رو توی گروه های دوستای دانشگاهتون بفرستید تا اگر کسی درگیر پروسه اپلای برای این دانشگاه هست وقت و انرژیش هدر نره.


لینک اطلاعیه دانشگاه

✔️لیست رشته:
Areas of dual-use technologies and emerging technologies

Additive manufacturing
Applied Chemistry, Biochemistry, and Chemical Engineering
Applied physics
Blockchain
Biotechnologies
Chemical technology
Cyber surveillance
Nuclear technologies
Digital technologies
Electrical and mechanical engineering
Advanced and intelligent materials
Engineering and production
Artificial intelligence
Aerospace technology
Measurement technology and sensors
Nanotechnology
Photonics and lighting technology
Production and process engineering
Quantum technologies
Telecommunications and information technology

#اپلای

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

آیا شفافیت یک ربات اجتماعی درباره‌ی محدودیت‌هایش (مثل نداشتن احساسات) می‌تواند از ایجاد وابستگی‌های عاطفی بیش از حد بین بچه‌ها و ربات جلوگیری کند؟

◾️ Transparent Robots: How Children Perceive and Relate to a Social Robot That Acknowledges Its Lack of Human Psychological Capacities and Machine Status

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
💠 @Recomendersystem2023
🔸 @AI_Person

❓Measuring short-form factuality in large language models

This document introduces SimpleQA, a new benchmark for evaluating the factuality of large language models. The benchmark consists of over 4,000 short, fact-seeking questions designed to be challenging for advanced models, with a focus on ensuring a single, indisputable answer. The authors argue that SimpleQA is a valuable tool for assessing whether models "know what they know", meaning their ability to correctly answer questions with high confidence. They further explore the calibration of language models, investigating the correlation between confidence and accuracy, as well as the consistency of responses when the same question is posed multiple times. The authors conclude that SimpleQA provides a valuable framework for evaluating the factuality of language models and encourages the development of more trustworthy and reliable models.

📎 Link to paper
🌐 Read their blog

#Factuality #Benchmark

@LlamaCast

مهندس لیلا علوی مدیر استارت اپ گفتا «استارتاپ؛ از تیم‌سازی تا تسخیر بازار»

نظرات و سوالات خودتون رو میتونین کامنت کنید

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person