Paul Christiano

ارتقای رتبه پیدا کرده در open ai که

یکی از پیشگامان اصلی rlhf

AI Engineering — Ultimate Roadmap (SAVE THIS)!

├── 01. LLM Fundamentals
│ ├── Transformers & Attention
│ ├── Inference & Decoding
│ ├── Tokenization
│ └── Context Window & Limits
│
├── 02. Prompting & Context
│ ├── Prompting & In-Context Learning
│ ├── Context Engineering
│ ├── Structured Outputs & Schemas
│ └── Constrained Decoding
│
├── 03. Representations
│ ├── Embeddings
│ ├── Similarity Search
│ ├── Vector Databases
│ └── Hybrid Retrieval
│
├── 04. RAG
│ ├── Chunking
│ ├── Hybrid Search
│ ├── Reranking
│ ├── Query Rewriting
│ └── GraphRAG
│
├── 05. Tools & Agents
│ ├── Tool / Function Calling
│ ├── Agentic Workflows
│ ├── Agent Memory & State
│ ├── MCP
│ ├── A2A / Interoperability
│ └── Human-in-the-Loop
│
├── 06. Evaluation
│ ├── Evals
│ ├── Test Datasets
│ ├── Online Metrics
│ └── Tracing & Debugging
│
├── 07. Safety
│ ├── Guardrails
│ ├── AI Security
│ └── Prompt-Injection Defense
│
├── 08. LLMOps & Serving
│ ├── Model Selection & Routing
│ ├── Caching, Latency & Cost
│ ├── vLLM / TGI
│ ├── Quantization & Batching
│ └── Production Lifecycle
│
├── 09. Adaptation
│ ├── Fine-Tuning
│ ├── PEFT
│ ├── LoRA / QLoRA
│ └── Distillation
│
├── 10. Advanced
│ ├── Multimodal AI
│ ├── Knowledge Graphs
│ ├── AI App Architecture
│ └── Product Integration

Learn to ship AI systems, not just prompt models.

بیخیال بابا
خیلی اخرالزمانی توضیح میدن 😂


https://x.com/OpenAI/status/2097786616311840853?s=20

این فرد خیلی خیلی موضوعات بروزی رو آموزش میده حتما داشته باشید
اون کورس gpu هم خیلی خوبه

#ابزار

برنامه متن باز با کارکرد مشابه لاوابل

https://www.dyad.sh/

@TheDeepTech

دیپ سیکم مدل فلش داده
DeepSeek officially released V4.1 Flash.

552B parameter MoE model,

ولی جالبیش میدونی چیه
هم دیکودر داره هم انکودر

این جدید بود

552B total, 8B activated on decode, 16B activated on prefill. I have never seen a different number of parameters activated in the same model before

من دارم چکش میکنم
و خب هیچ بعید نیست برگردیم به
معماری های دیکودر انکودر

باید ببینیم مدل بعدی چینی به چه شکل خواهد بود معماریش

یکی از دلایل اصلی این بوده که moe در دیکودر یه سری مشکلات داره
حالا با اضافه کردن انکودر اون مشکل برطرف شده تا حدودی و خب قیمت هم به شدت پایین اومده
که خب batching و parallelism
بهینه میشه

در اصل انکودر اومده کمک بهینه سازی و inference ماجرا در moe

که میتونه بخشی از overheadهای routing و expert utilization را کاهش بده

خلاصه جالبه و به شدت هزینه پایین اومده

البته باید باهاش کار کرد در تسک های مختلف
چون بعید بدونم این کار در هرچیزی خوب جواب بده
در کدنویسی و ایجنتیک میتونه خوب باشه

باز تخصصی بشینید بررسی کنید مدل رو فاین تیون کنید

خیلی خوب شده
و اما این flash باید pro ببینیم باز از این معماری اگه باشه خیلی تغییرات داره چون این برای مدل های کوچیک خوبه

مقالات دیپ سیک تر و تمیزه

بخش اول هدف مدل جدید
بخش دوم معماری مدل
بخش سوم pre training
بخش چهارم post training

تر و تمیز و دوست داشتنی

این مدل برای ایجنتیک خیلی میتونه خوب باشه

ولی در چیزهای دیگه اصلا نمیتونه خوب باشه
این مدل رو صرفا برای کد نویسی و ایجنتیک داده بیرون

مدل جامع و درستی حساب نمیشه
البته flash تا ببینیم pro چی میگه

دیکودر خودش داشت پیچیده میشد حالا انکودر دوباره بیاد اونم پیچیده بشه

عالیه😂