مدل جدید اوپن‌سورس IBM

https://huggingface.co/ibm-granite/granite-vision-3.2-2b

"compact and efficient vision-language model, specifically designed for visual document understanding, enabling automated content extraction from tables, charts, infographics, plots, diagrams, and more"

موقعی که جنگ تموم شد و اینترنت‌ها وصل شد، این پیام از اولین پیام‌هایی بود که از Wiki، همکارم توی Belonix گرفتم

هرچند وقت یک‌ بار بهش نگاه می‌کنم و یه دل سیر به شانسم‌ می‌خندم :*)))

When the war ended and the internet came back, this was one of the first messages I received from Wiki, my colleague at Belonix.

Every now and then, I look back at it and have a good laugh at my own luck. :*)))

نسخه اولیه EyeQ آمادست

The first version of EyeQ is reachable

اولین نسخشه‌
اما می‌تونید در مورد کارآگاه‌ها بخونید
توی بخش cases کیس‌ معمایی حل کنید، حدس بزنید، انتخاب کنید و بعد جواب درست رو ببینید

This is the first unpolished version but in the site you can solve cases and read about detectives

به زودی بیشتر در مورد EyeQ صحبت می‌کنم ولی به طور خلاصه جاییه‌ برای دوست‌داران معما و ژانر جنایی‌. کسایی که دوست دارن مغز بهتری داشته باشن و دنیا رو دقیق‌تر ببینن.

EyeQ is a place for crime and riddle fans, for those who want to acquire the sharp skills of bright detectives

این هم کانال تلگرامش:
https://t.me/EyeQQQQ

خیلی خیلی خیلی کار داره
اما وقتی می‌خوام چیزی بسازم اول کاری می‌کنم که "وجود" داشته باشه و بعد خوشگلش می‌کنم.
تا اینجا که خوش گذشته :)

There's a lot of work to put into it, but as developers say: "make it exist first" :))

جالب‌ترین بخشش، بخش case ئه
کلا دو تا کیس الان توی سایت وجود داره ولی هر دوتاشون‌ مغزتونو‌ به چالش می‌کشن. می‌تونین حدستونو‌ وارد کنید، بین گزینه‌هایی که شک دارید انتخاب کنید و در آخر جواب درست رو ببینید و با حدس خودتون‌ مقایسه کنید.

In the cases part, you can challenge your brain and form your hypothesis, then compare it with the shocking result

https://eyeq.sa-app.workers.dev/cases

سونیک‌ رقصان

چند تا اصطلاح دنیای هوش مصنوعی که بهتره بلد باشید

Some AI terminology

LoRA (Low-Rank Adaptation)

روشی برای شخصی‌سازی یه مدل هوش مصنوعیه که به‌جای تغییر دادن تمام پارامترهای مدل، فقط بخش کوچیکی از پارامترها رو آموزش می‌ده. این کار باعث می‌شه برای سازگار کردن مدل با یه وظیفه خاص، به حافظه و قدرت پردازشی کمتری نیاز داشته باشیم.

A method for customizing an AI model by training only a small set of additional parameters instead of changing all the model's parameters. This reduces the memory and computing power needed to adapt the model to a specific task.

RLHF (Reinforcement Learning from Human Feedback)

روشی برای بهتر کردن رفتار مدل با استفاده از بازخورد انسان‌هاست. مثلاً آدم‌ها چند جواب مدل رو مقایسه می‌کنن و مشخص می‌کنن کدوم بهتره؛ بعد از این بازخوردها استفاده می‌شه تا مدل جواب‌های مفیدتر و مناسب‌تری تولید کنه.

A method for improving a model's behavior using human feedback. People compare different model responses and indicate which ones are better. This feedback helps train the model to produce more useful and appropriate answers.

DPO (Direct Preference Optimization)

روشی برای آموزش مدل بر اساس ترجیحات انسان‌هاست. به مدل نمونه‌هایی از جواب‌های ترجیح‌داده‌شده و جواب‌های ضعیف‌تر می‌دیم تا یاد بگیره کدوم نوع پاسخ بهتره، بدون اینکه به فرایند جداگانه و پیچیده یادگیری تقویتی نیاز داشته باشیم.

A method for training a model using human preferences. The model learns from examples of preferred and less-preferred responses, without requiring a separate, complex reinforcement learning process.

LLM as Judge

یعنی از یه مدل زبانی بزرگ برای ارزیابی جواب‌های یه مدل دیگه استفاده کنیم. مثلاً مدل ارزیاب بررسی می‌کنه که جواب تولیدشده چقدر دقیق، مرتبط، کامل و قابل‌فهمه. این روش برای ارزیابی خودکار تعداد زیادی پاسخ کاربرد داره، ولی ممکنه خودش هم اشتباه کنه یا سوگیری داشته باشه.

Using a large language model to evaluate the responses of another model. The evaluator checks qualities such as accuracy, relevance, completeness, and clarity. This is useful for automatically evaluating many responses, although the judge can also make mistakes or show bias.


Distillation (Knowledge Distillation)

روشی برای آموزش یه مدل کوچیک‌تر با استفاده از خروجی‌ها یا دانش یه مدل بزرگ‌تره. هدف اینه که مدل کوچیک بخش مهمی از توانایی مدل بزرگ رو حفظ کنه، اما سریع‌تر اجرا بشه و منابع کمتری مصرف کنه؛ مثلاً برای استفاده در اپلیکیشن‌هایی که منابع محدودی دارن.

A technique for training a smaller model using the outputs or knowledge of a larger model. The goal is to preserve much of the larger model's capability while reducing computing requirements and improving speed, especially in applications with limited resources.

Speculative Decoding

روشی برای سریع‌تر کردن تولید متن توسط مدل‌های زبانیه. یه مدل کوچیک‌تر چند توکن رو به‌عنوان پیش‌بینی اولیه تولید می‌کنه و مدل بزرگ‌تر اون‌ها رو بررسی می‌کنه. اگر پیش‌بینی‌ها تأیید بشن، لازم نیست مدل بزرگ هر توکن رو جداگانه از اول تولید کنه و سرعت کار افزایش پیدا می‌کنه.

A technique for speeding up text generation. A smaller model drafts several tokens, and a larger model verifies them. Accepted predictions allow the larger model to generate text more efficiently, reducing the time needed to produce a response.

KV Cache (Key-Value Cache)

حافظه‌ایه که مدل‌های زبانی برای نگه داشتن بخشی از محاسبات قبلی خودشون، به‌خصوص اطلاعات مربوط به مکانیزم Attention، ازش استفاده می‌کنن. وقتی مدل داره یه پاسخ طولانی تولید می‌کنه، این حافظه باعث می‌شه مجبور نباشه اطلاعات توکن‌های قبلی رو دوباره محاسبه کنه؛ در نتیجه تولید متن سریع‌تر می‌شه، هرچند حافظه بیشتری مصرف می‌شه.

A memory mechanism that stores previously computed attention keys and values. During text generation, it prevents the model from repeatedly calculating this information for earlier tokens, making generation faster at the cost of additional memory usage.

Latency
مدت‌زمانی که بین ارسال یه درخواست و دریافت پاسخ از سیستم می‌گذره. مثلاً وقتی از یه چت‌بات سؤال می‌پرسی، زمانی که طول می‌کشه تا اولین بخش پاسخ ظاهر بشه یا پاسخ کامل بشه، به نوعی از معیارهای تأخیر مربوطه. کاهش Latency باعث می‌شه برنامه سریع‌تر و روان‌تر به نظر برسه.

The time between sending a request and receiving a response from a system. For a chatbot, this can include the time until the first part of the answer appears or until the full response is completed. Lower latency generally makes an application feel faster and more responsive

Cost per Task

هزینه‌ایه که برای انجام یه وظیفه مشخص توسط سیستم پرداخت می‌شه. مثلاً اگه یه ابزار هوش مصنوعی اسناد رو تحلیل کنه، باید هزینه مدل، تعداد توکن‌های مصرف‌شده و هزینه‌های زیرساخت رو در نظر بگیریم تا بفهمیم پردازش هر سند چقدر برامون تموم می‌شه.

The cost of completing a specific task using a system. For an AI tool that analyzes documents, this may include model usage, tokens consumed, and infrastructure expenses. It helps determine how much each completed task costs.

Chunking

یعنی یه متن یا سند بزرگ رو به بخش‌های کوچیک‌تر تقسیم کنیم تا پردازش و جست‌وجو داخلش راحت‌تر بشه. مثلاً توی سیستم RAG، اسناد به چند بخش تقسیم می‌شن و وقتی کاربر سؤال می‌پرسه، سیستم فقط بخش‌های مرتبط رو پیدا می‌کنه و به مدل می‌ده. اندازه و نحوه تقسیم این بخش‌ها روی کیفیت نتیجه تأثیر می‌ذاره.

The process of splitting a large text or document into smaller pieces to make processing and retrieval easier. In RAG systems, documents are divided into chunks so the system can retrieve relevant sections for a user's question. Chunk size and splitting strategy can affect answer quality.

Golden Dataset

مجموعه‌ای از نمونه‌های معتبر و بررسی‌شده‌ست که جواب درست یا معیار مورد انتظار برای هر نمونه مشخصه. ازش برای آزمایش مدل، مقایسه نسخه‌های مختلف و بررسی اینکه تغییرات واقعاً باعث بهتر شدن عملکرد شدن یا نه، استفاده می‌کنیم.

A carefully verified dataset containing trusted examples and expected answers. It is used to test models, compare different versions, and determine whether changes have actually improved performance.

Semantic Loading

معمولاً به بارگذاری اطلاعات بر اساس معنی و ارتباطشون با درخواست کاربر اشاره داره، نه صرفاً بر اساس ترتیب یا محل قرار گرفتنشون. مثلاً یه سیستم به‌جای بارگذاری تمام اسناد، فقط اطلاعاتی رو انتخاب می‌کنه که از نظر معنایی به سؤال کاربر نزدیکن. البته این اصطلاح تعریف استاندارد و یکسانی در همه سیستم‌ها نداره.

Generally, this refers to loading information based on its meaning and relevance to a user's request rather than simply its position or order. For example, a system may load only documents that are semantically related to a question. However, the term does not have one universally standardized definition.

Guardrail

مجموعه‌ای از قوانین، بررسی‌ها و محدودیت‌هاست که مشخص می‌کنه سیستم هوش مصنوعی چه کارهایی می‌تونه انجام بده و چه خروجی‌هایی نباید تولید کنه. مثلاً می‌تونه جلوی افشای اطلاعات محرمانه، اجرای درخواست‌های غیرمجاز یا پاسخ دادن خارج از محدوده وظیفه برنامه رو بگیره؛ البته هیچ Guardrailی تضمین نمی‌کنه که تمام خطاها رو شناسایی کنه.

A set of rules, checks, and restrictions that define what an AI system can do and which outputs it should avoid. Guardrails can help prevent confidential information leaks, unauthorized actions, and out-of-scope responses, although they cannot guarantee that every error will be caught.

Sandbox

یه محیط جدا و محدودشده‌ست که می‌تونیم کد یا عملیات رو داخلش اجرا کنیم، بدون اینکه مستقیماً به سیستم اصلی دسترسی داشته باشه. مثلاً وقتی یه ابزار هوش مصنوعی قراره کد پایتون اجرا کنه، استفاده از Sandbox کمک می‌کنه خطر آسیب به فایل‌ها یا سیستم اصلی کمتر بشه.

An isolated and restricted environment for running code or operations without giving them direct access to the main system. For example, running Python code in a sandbox can reduce the risk of damaging important files or affecting the main application.

Fallback

یه روش یا مسیر جایگزینه که وقتی روش اصلی شکست می‌خوره یا در دسترس نیست، وارد عمل می‌شه. مثلاً اگه مدل اصلی پاسخ نده، سیستم می‌تونه از یه مدل دیگه استفاده کنه یا یه پیام مناسب به کاربر نشون بده تا کل برنامه از کار نیفته.

A backup method or alternative path that activates when the primary method fails or becomes unavailable. For example, if the main AI model stops responding, the system can switch to another model or display an appropriate message instead of failing completely.

Streaming SSE (Server-Sent Events)

روشی برای فرستادن اطلاعات از سرور به مرورگر به‌صورت تدریجیه. توی چت‌بات‌ها، به‌جای اینکه کاربر منتظر بمونه تا کل جواب آماده بشه، بخش‌های پاسخ هم‌زمان با تولید شدن به مرورگر فرستاده می‌شن. این روش معمولاً با اتصال HTTP انجام می‌شه و برای نمایش زنده خروجی مدل کاربرد داره.

A method for sending data progressively from a server to a browser using Server-Sent Events over an HTTP connection. In chatbots, response fragments can appear as they are generated, so users do not have to wait for the entire answer to finish.

Shipping

یعنی یه محصول یا قابلیت رو از مرحله توسعه و آزمایش خارج کنیم و در اختیار کاربرهای واقعی قرار بدیم. مثلاً وقتی یه وب‌اپ رو روی سرور Deploy می‌کنی، مشکلات مهمش رو بررسی می‌کنی و کاربرها می‌تونن ازش استفاده کنن، در واقع داری محصول رو Ship می‌کنی. هدف فقط نوشتن کد نیست؛ هدف رسوندن یه قابلیت قابل‌استفاده به دست کاربره.

The process of delivering a product or feature so real users can use it. For example, deploying a web app, checking for critical issues, and making it available to users is part of shipping. The goal is not just to write code, but to deliver something usable.