״מאיפה מתחילים ללמוד AI?״
״מה זה בכלל מעבר ל-Buzz Word?״

אז הנה, קורס חינמי וחדש של ״הכהן הגדול של AI״, אנדרו ינג המדהים, שמסביר מאפס מה זה. מה זה למידת מכונה. מה באמת אפשר ליצור. מה המגבלות. הכל חינם בקורסרה, באנגלית אבל וואו. חידש לי על ההתחלה עם ANI לעומת AGI!

והכל פה בקליק - https://www.coursera.org/learn/ai-for-everyone

תנו בראש ובהצלחה!
*יובל אבידני - HACKIT*

אני מנסה להילחם
בחשיפה הזוועתית של אינסטגרם,
אז פתחתי חשבון חדש
שכל כולו יהיה AI מגניב.
בואו!

https://www.instagram.com/yuval.ai?igsh=MTJtNXU4Ynk2Nmd3MA%3D%3D&utm_source=qr

קצת סדר במודלים של שפה:

מודלים סגורים שניתן לדבר איתם הם GPT, קלוד, בארד (ג׳ימיני). נכנסים לאתר - יש ממשק. מתכתבים.

מודלים פתוחים שניתן לדבר איתם הם: Llama-2, Mixtral, Falcon, Wizard ועוד רבים רבים שמופיעים בחינם ב HuggingFace, האתר שמרכז את כל כלי הAI החינמיים, שעבדו עליהם קשה מאוד. כאן, מורידים את המודלים, מתקינים תוכנה מגשרת כמו GPT4ALL או OogaBooga או LMStudio, בוחרים את המודל שהורדנו, ומתחילים להתכתב בממשק של התוכנה הזו.

מודלים סגורים - כל המידע שלנו יישלח על גבי האינטרנט ויעבור דרך אותן חברות.

מודלים פתוחים - כל המידע יישלח רק לאיפה שנבחר להטמיע את הממשק שמריץ את המודל הפתוח.

למה להשתמש במודלים סגורים? רמה גבוהה, מובילים, ממשק קל ידידותי ונוח.

למה להשתמש במודלים פתוחים? כדי לשמור על פרטיות, כדי להשתמש במודל שפה שאינו מצונזר.

חשוב לציין שגם GPT למשל, וגם מודלים פתוחים כמו לאמה-2 מאפשרים לנו לבצע Fine Tuning. שזה אומר לקחת את הידע הבסיסי של המודל, ולהוסיף עליו שכבות של ידע שאין לו, ושנרצה שהוא ידע.

חשוב גם להבין שמודל שפה ״סך הכל״ חוזה את המילה הבאה ברצף. אין לו הבנה אנושית. אין לו עומק. אין לו מחשבה. הוא מקבל רצף של טקסט, ועל בסיס מאגר הידע שהוא אומן עליו, הוא מנבא את המילה הבאה. מכאן גם הפתח להזיות של המודלים, או לכך שלא עוזר להיות מנומסים ולומר בבקשה, או לבקש לפתור בעיות מורכבות מדי. זה יהיה שלב 2, בעתיד. אבל כרגע זה ממש לא שם. גם Fine Tuning זה תהליך מייגע ולא תמיד הכי כדאי. תהליך מקביל של הוספת ידע יכול להיות באמצעות שילוב של מאגר ידע צד ג׳ ותשאול שלו כאשר למודל הבסיס חסר ידע. כאן נכנס כל עולם ה Embeddings, ה RAG, ועוד ועוד.

אבל לפני הכל שנבין:
מודל שפה הוא ״סך הכל מודל שפה״ שחוזה את המילה הבאה ברצף של טקסט, אפשר להעשיר אותו, אפשר לשכלל אותו, אבל לזכור שהוא רק מודל שפה, שמוגבל בגודל הזיכרון שיש לו. ברגע שמבינים את זה, מבינים איך נכון יותר לעבוד איתו.

כל הישועות!
*יובל אבידני*


ושמישהו יסביר לי למה Artflow מתעקש לתקוע לי שפם בכל תמונה 🤦🏻‍♂️

וואו! הסוף לסטייבל דיפיוז׳ן? חברת StabilityAI, היוצרים של סטייבל דיפיוז׳ן, השיקו פיתוח חדש שנקרא סטייבל קסקייד (Stable Cascade), שעובד מהר יותר, יותר זול לאמן, והוא תומך גם ב ControlNet , לורה, LCM, IP-Adapter ועוד. האם יש כאן מהפכה של ממש? ימים יגידו.

בינתיים תוכלו לקרוא הכל ממש פה ולקבל גישה לקוד המקור- https://huggingface.co/stabilityai/stable-cascade

*יובל אבידני*

מרק צוקרברג בסרטון מאוד מעניין: ״ניסיתי את המשקפיים החדשות של אפל, שלנו זולה יותר פי 7, וטובה יותר כמוצר מתחרה״.

האמת, הוא חידש לי לגבי המוצר שלו. אין ספק שהוא צודק מבחינת מחיר וטכנולוגיה, אבל כרגיל אפל זו אפל ובסוף ה Fine של המוצר הוא זה שמכריע.

המקור פה - https://www.instagram.com/reel/C3TkhmivNzt/?igsh=cG05a2FtNG5tcmhu

*יובל אבידני*

אביתר אדרי היקר מפרגן לי והעלה את הפוסט שלי לאתר שלו - מוזמנים לקרוא!

https://letsai.co.il/yuvalavidanillm/

התעייפתי מהחידושים של ה-AI. בהתחלה הרגשתי וואו, עכשיו מרגיש More of the same פשוט טוב יותר. מירוץ שלא נגמר. מיציתי את זה, אבל אני סקרן מאוד לגבי יכולות *חדשות* שנגלה, כמו מודלים שמשתפרים בזמן אמת תוך כדי ריצה, שיח בין סוכנים, ועוד

vבשורה מרגשת שעברה מתחת לרדאר: הכלי החזק של לנגצ'יין, שנקרא LangSmith הושק לאחרונה לכולם!

עד לאחרונה, הכלי הזה היה נגיש רק למי שיש הזמנה אקסקלוסיבית. בסוף השבוע האחרון לנגצ'יין פתחו אותו לכולם וזה מרגש. למה? כי הכלי הזה:
* מסייע בפיתוח אפליקציות שמתממשקות למודל שפה גדול (LLM)
* מסייע בניטור השימוש של האפליקציה בטוקנים
* מסייע בביצוע בדיקות לאפליקציה כמו השוואה בין מודלים שונים, ניתוח שגיאות כאשר האפליקציות קורסות ועוד
באותה הכרזה, לנגצ'יין מגלים שהם גם גייסו 25 מיליון דולר! מסקרן מאוד לראות מה עוד בקנה. ההכרזה הזו מצטרפת להכרזה האחרונה שלהם על LanGraph, היכולת להשתמש ביכולות של לנגצ'יין לפתח סוכני AI מורכבים באמצעות יצירת גרף, תרשים, ורק לאחר מכן המרה שלו לקוד.

מאוד מעניין. יש למה לצפות!

לקריאה -> נוספת https://blog.langchain.dev/langsmith-ga/

*יובל אבידני*

הידעתם? בינה מלאכותית היא *ממש לא* רק רשתות נוירונים. בואו נדבר על זה!

בשנה וקצת האחרונות, כמעט ואין מקום שבו לא קושרים ביחד את צמד המילים ״בינה מלאכותית״ עם ״רשתות נוירונים״, זאת בדרך כלל במטרה להסביר על בינה מלאכותית.

האמת היא, שבינה מלאכותית זו כותרת מפוצצת. מתחתיה יש עולם שלם שנקרא למידת מכונה. בעולם הזה יש מחקרים ומאמרים אינסופיים שמסבירים תאוריות וטכניקות לאמן מחשב על מאגר מידע מסוים, כך שבתום האימון, המחשב ידע לתת לנו ניבוי כלשהו. לדוגמא, נניח שאנחנו רוצים לבנות מערכת שאומרת לנו כמה עובדים אנחנו צריכים במשמרת. המטרה היא שנזין את התאריך ואת המשמרת, ונקבל חיזוי של ״ביום הזה יהיה עומס, כדאי שיהיו לך X עובדים״.

אם היינו מרחיבים את הדוגמא, נניח שאנחנו עסק של השכרת קורקינטים, אז לצד מספר האנשים במשמרת, היינו שמחים גם לדעת כמה קורקינטים נצטרך לספק, בערך.

עוד דוגמאות? בבקשה! אנחנו רוצים לדעת בכמה נוכל למכור את הבית שלנו בהינתן משתמשים כמו גודל הבית, איזור מגורים, שכונה, מיקוד, קרבה למוסדות חינוך ולמרכזים מסחריים וכדומה. איזה כיף אם יהיה מודל כזה!

אנחנו גם רוצים סינון חכם למייל שלנו - מה ספאם ומה לא. או רכב שיודע לנהוג לבד - מתי להאט ומתי להאיץ. או תרגום משפה לשפה, או תמלול של הקלטות.

כל הדברים האלה הם תולדה של למידת מכונה. קיימים המון אלגוריתמים שמאפשרים לנו להשתמש במאגר מידע מסוים, להחליט כיצד אנחנו רוצים שהמכונה תנבא את התוצאות, לתת למכונה להתאמן על המידע, לתקן את ה״פספוסים״ שלה, ולוודא שהאימון מתבצע בצורה יעילה כך שבסופו נקבל מודל חיזוי מוצלח. כי למידת מכונה בסוף - תפקידה לנבא, לחזות תוצאה. X עובדים, Y קורקינטים, לאבחן מחלות, לסווג מיילים, לזהות הונאות, לתמלל ולתרגם, לנהוג בצורה אוטונומית, להשיב לנו בצורה חכמה ואפילו לשחק משחקים. כן כן. ממש משחקים.

אז יש המון אלגוריתמים שאפשר להשתמש בהם כדי ליישם יכולות של למידת מכונה. המון. יש למידת מכונה ״מושגחת״, בה אנו משתמשים במאגר מידע עם תיוג (למשל, נתונים היסטוריים של מכירות שלנו בכל יום, או איזה מייל הוא ספאם ואיזה לא, או מה זה כל אות בכל שפה וכדומה), ויש למידת מכונה ״לא מושגחת״ בה אנו ״זורקים״ מידע לאלגוריתם והוא לבד מסווג ומזהה דפוסים במידע.

בכל אחד מהסוגים הללו, יש שפע של אלגוריתמים. שפע. עצום. יש מומחים כמו ריגרסיה וקלסיפיקציה, אבל גם בהם יש חלוקה של המון אלגוריתמים שונים. ושימוש ברשת נוירונים זה רק סוג אחד של אימון מודלים. אחד מיני רבים!

אבל! בערך מ-2010, רשתות נוירונים החלו להתפוצץ ולהתפרסם, בעיקר בשל היכולת המדהימה שלהם לעבוד בתצורה של ״למידה מבוססת חיזוקים״ בה המודל מבין מתי הוא טועה ומתי הוא צודק ומשתפר בהתאם. אבל לא רק, היות וכמות המידע שברשותנו התעצמה, והיות ויכולות המחשוב שלנו התעצמו, בדגש על כרטיסי מסך עם יחידות עיבוד גרפיות, מחקרים הראו שככל שאנו מאמנים ברשת נוירונים על יותר דאטה, המודל שלנו יהיה מוצלח יותר! זאת אומרת שרשתות נוירונים מנצחות בגדול כל שיטת אימון אחרת כאשר מדובר בצורך לאמן מודל שמבוסס על כמות גדולה מאוד של מידע! יותר מידע - מודל יותר טוב!

חשוב לסייג שמדובר רק במקרים בהם יש צורך באימון על כמות גדולה של דאטה. לא כל מקרה הוא כזה. יש מקרים בהם אפשר לאמן על כמות קטנה יותר, להשתמש באלגוריתמים אחרים, לכן בינה מלאכותית היא לא רק רשתות נוירונים, אבל רשתות נוירונים הן חלק בלתי נפרד מהמהפכה הגדולה שמלווה אותנו. אגב, ״למידה עמוקה״ היא תת קטגוריה של ״למידת מכונה״, היא שונה מלמידת מכונה ״רגילה״ היות והיא בנויה בתצורה של שכבות, בהן שכבות ״חבויות״ שמעניקות ״עומק״ לתצורה (ויש גם רמז לכך שהאופן שבו הרשת לומדת הוא ״עמוק״ מכדי שנבין למה הרשת לומדת כפי שהיא לומדת. אנו יודעים איך היא לומדת אבל לא בהכרח מבינים למה היא מגיעה למסקנות שהיא מצליחה להסיק).

אז לא, בינה מלאכותית היא לא רק רשתות נוירונים. היא הרבה מעבר. היא למידת מכונה מורכבת ומרתקת. ולהבא, כשתשמעו על בינה מלאכותית, תחשבו למידת מכונה, ואז תשאלו את עצמכם - מה בעצם מנסים לחזות כאן?

אגב, בהקשר של תמונות, מימוש מעניין של רשתות נוירונים הוא רשת נוירונים מסוג GAN, בה יש מעין יריבות בין 2 רשתות: אחת מייצרת תמונות, ואחת אומרת האם כל תמונה אמיתית או מזויפת. ככל שהאימון הזה נמשך בין הרשתות, הרשת שמייצרת תמונות משתפרת, והרשת שמאתרת זיופים מצליחה פחות, ולכן מתקבלות תמונות טובות יותר ברמת הדיוק שלהן. השמיים הם הגבול עם היצירתיות.

אבל כשאני מדבר על השלבים הבאים בטכנולוגיה, ועל כך שהגענו כיום לחידושים של עוד מאותו הדבר, על זה בדיוק אני מדבר, על הסקרנות של מה עוד יפתחו שונה ברמת אימון המודלים ובטכניקות למידת המכונה, ואיך זה ישפיע על בניית סוכנים ויצירת תמונות ומודלים של שפה ובכלל על אוטומציות מתקדמות, נהיגה אוטומטית, רובוטיקה, מנתחים חכמים, הפחדת חרדות, גידולים טובים יותר, שיפור האקלים. יש ככ הרבה לפנינו! איזו תקופה משוגעת ומשגעת לחיות בה!

מקווה שנהניתם, אם כן - תנו לייק, תגיבו, שתפו, ספרו מה חשבתם בתגובות. אשמח לקרוא גם אם אני מגיב באיחור (במחילה על כך). תזכו למצוות!

*יובל אבידני*

מטורף לגמרי! OpenAI פתחו עמוד טיקטוק חדש והתחילו להעלות תכנים של המודל החדש שלהם, Sora, שמייצר וידאו מטקסט. השם ישמור כמה זה נראה מטורף!!!

אזכיר שלפי המאמר שהם פרסמו, הם אימנו כמות רבה של תמונות וסרטונים יחד עם קטעי טקסט שמתארים את התוכן הוויזואלי בפירוט רב, הם ממש יצרו מודל שיודע לתאר בפירוט, כמו בדאלי 3, כדי לתייג את המידע, לאמן מודל ולשלב ארכיטקטורה של טרנזפורמים ויכולות נוספות. התוצאה לפניכם וזה פשוט MIND BLOWING בפער!

*יובל אבידני*

אחרי שהתחלתי להרגיש רוויה של ממש מעוד שיפורים של כלי AI קיימים החלטתי להתחיל להתעמק בלמידת מכונה. זו בינה מלאכותית אמיתית ושם כל הקסם קורה. שם העתיד. שם אפשר לחולל קסמים וליצור מהפכות.

יש המון תכנים באנגלית, יש גם קבוצות אחרות, אבל משהו מרגיש לי חסר. תמיד מדברים למעלה מדי, מרגיש שלא תמיד רוצים באמת לשתף, או שלא סבלניים לשאלות של מתחילים בתחום או כאלה שרוצים לשאול מבלי להתפדח. מה גם, שהרבה אנשים טכניים ומוכשרים לא מצליחים להסביר ברור, כי התחום באמת מאתגר. ולכן, החלטתי לנצל את הכח שזכיתי לצבור כדי לפתוח קבוצה חדשה שכולה תהיה בנושא למידת מכונה מההתחלה.

בקבוצה החדשה כולם מוזמנים, ליצור לשתף לשאול הכל. בלי בושה. בלי ציניות. הכל כדי ליצור קהילה איכותית שבה לכולם יש מקום בלמידת מכונה. כך ביחד נוכל לשלב כוחות וליצור השפעה של ממש. מוזמנים להצטרף, קישור בתגובה ויהיה מעניין!

נדרשת סקרנות, תשוקה ללמוד את הקרביים של התחום, לא לפחד גם אם לא ברור וגם אם קצת קשה. להכיר בסיס של פייתון וקצת ניתוח נתונים באקסל. גם אם לא - נדבר על זה. אבל יהיה יותר קל כשיש את זה. כולם מוזמנים!!!

https://www.facebook.com/share/pjmzPXsUkiGGXmsy/?mibextid=K35XfP

כלי מגניב שהכרתי, נקרא Teachable Machine, מבית היוצר של גוגל, מאפשר ליצור לעצמנו מודל קלסיפיקציה (סיווג). מעלים תמונות, לוחצים בקליק לאמן מודל, ואז בוחנים את המודל באמצעות העלאה של תמונות כלשהן, והתוכנה מראה את הניבוי: למשל, האם מנגנים מטאליקה או לא, האם התמונה היא אדם או בעל חיים וכדומה.

מגניב, ומעניין. על זה בדיוק אני מדבר כשאני אומר שגוגל מובילים ב-ML אבל מאחורה בכל מה שקשור ל-GenAI. פה למשל הם שיחקו אותה!

להתנסות: https://teachablemachine.withgoogle.com/

*יובל אבידני*

שואלים אותי הרבה מאיפה למדתי פייתון או פיתוח או סייבר או עכשיו למידת מכונה? אז התשובה המהירה היא מהמון למידה עצמית. אבל זה היה הרבה יותר אפשרי בזכות:

פייתון / רשתות תקשורת - המרכז לחינוך סייבר Cyber Education Center , , וגם Dana Ivry Even-Haim וגם המון CBTNuggets

פיתוח וג׳אווה סקריפט- האחד והיחיד Ran Bar-Zik שיש לו גם אחלה המלצות על בירות! והוא מדבר גם סייבר בפודקאסט האדיר של ״סייבר סייבר״, שממנו גם למדתי המון. איך אפשר גם בלי Udemy, יוטיוב ו- CS50 החינמי והאדיר של הרווארד אונליין. מומלץ!

סייבר - זה מתחלק לכל מיני כיוונים, הרבה דרך יוטיוב ומחקר עצמאי, אבל גם הרבה מעבדות דרך CBTNuggets, קורסים של האקינג דרך Udemy, המעבדות של Burp Portswigger, הדרכות על Wireshark, המון סרטוני יוטיוב של ippsec לפריצת מחשבים, מעבדות גם דרך TryHackMe והרבה שבירות ראש בקורס של OSCP, ניסיונות Hands On בקאלי לינוקס. לקחתי גם קורסים אונליין על פורנזיקה ומערכות הפעלה שמאוד הועילו לי להבנה.

ניתוח נתונים - שבירת ראש בדוקומנטציות של כלים כמו PySpark / SQL / Pandas / Matplotlib וכמובן אקסל. בכמויות.

למידת מכונה ובינה מלאכותית - זו הלמידה הכי כיפית. הכל הכל לבד אונליין דרך יוטיוב וכל מיני ולוגרים ובלוגרים אדירים. התנסות מעשית. אבל גם קורסים מעולים של Andrew NG ופלייליסט אדיר של SandTex הלא הוא Harrison Kinsley התותח. יש גם את אנדריי קפארתי שלאחרונה עזב את OpenAI ופשוט תענוג לצפות בו. יש גם אתרים ייעודים לפרויקטים שיכולים לעזור כמו Keggle ו Scikit-learn שהם עולם שלם. וגם אוכל את הראש לפעמים ל Amir Give'on היקר.

בכל אופן, אם הצלחתי להועיל אפילו למישהו אחד - זכיתי ועשיתי את שלי. אז תודה לכל מי ששותף/ה למסע שלי, ובאמת שאין כיף מלמידת אינסופית - והתנסות מעשית שהיא בסוף מביאה איתה את ההבנה האמיתית.

תהנו!
*יובל אבידני*

והתמונה היא לא כי אני חש מעצמי, אלא כי artflow ממש פירגנה לי משום מה 🤣

הנה הסיבות מדוע אני כל הזמן יורד על גוגל בכל מה שקשור ל AI:

1. גוגל היא החלוצה בתחום. מהראשונים בתחום עוד לפני שנים - וגם הציפיות מהם בהתאם.
2. גוגל רכשו חברה אדירה בשם DeepMind - וגם כאן לכאורה אמור היה להיות להם יתרון אדיר.
3. הצוות של גוגל, Google Brain, הובל ע״י גאון ענק בשם אנדרו NG (אינג) שגם כאן - אין סיבה שהם לא יתנו נוק אאוט לכולם.
4. בגוגל בריין עבד איליה סוצקובר, מהמייסדים של OpenAI, בזמנו אילון מאסק שכנע אותו לעבור להקים את OpenAI עם השקעה של 50 מיליון דולר שישקיע.
5. גוגל השקיעו 300 מיליון דולר בחברת אנתרופיק (ה״אמא ואבא״ של קלוד) - גם כאן שוב, ציפיות משוגעות.
6. אחרי ש OpenAI שחררו לעולם את GPT וכולנו עפנו, גוגל נלחצו בטירוף כי היה ברור לכולם שהם לא שם בכל מה שקשור ל GenAI. פתאום מהר מהר הכריזו על מודל משלהם, בארד, וכל העולם לא יכל להחזיק את נשימתו והייתה תחושה שגוגל הולכת להפגיז.
7. בארד שוחרר ואיתו הכישלון המדהד החל - לא מבין, לא יודע, לא איתנו, ״לא מחובר לחשמל״. ואז החל פסטיבל מספרי הסיפורים. בכלום זמן פתאום החלו לספר שזה לא בארד, בארד הוא סתם, זה ג׳ימיני שכולם מחכים לו.
8. ואז בא ג׳ימיני. וגם הוא חרבנה. גם הוא ״מזוזה בלי קלף״, ואמרו לנו לא לא, זה ג׳ימיני פרו. חכו לג׳ימיני אולטרה. חיכינו. ומה קרה? פח אשפה כרגיל.
9. לא זו בלבד. גוגל גם שיקרה בהשקה של ג׳ימיני. שחררה לאוויר סרטון שקרי וערוך, שהופץ כאש בשדה קוצים דרך כל המשוחדים והמשפיענים שמספיק להם להיות ניזונים מכותרות מבלי להסתכל במה שיש בקנקן.
10. גוגל מובילים בכל הלידבורדים בכל הפרמטרים! כך צועקים מכל עבר. מעל GPT4, הכי טובים בקוד, ובכלל הם אלוק! אבל אז הנפילה מגיעה. הם פשוט לא שם. לא שם ביצירת מוזיקה. לא שם עם ה Assistant של Google Workspace, לא שם בקוד, לא שם באמת בכלום. והנה שוב הכרזה שזה לא אולטרה, יש עכשיו ג׳ימיני 1.5 שהפעם זהו הוא יתן נוק אאוט. רק מה? מסתבר שגם הוא ״פמוטים בלי נרות״. יש לו 1,000,000 טוקנים בקונטקסט, מה שאומר שהוא זוכר הרבה. אבל הוא גרוע, אז זה כמו מי שזוכר הרבה אבל מדבר שטויות. מה זה שווה? אני אעדיף את GPT שזוכר פחות אבל הוא גאון שמדבר לעניין ומשיב כהלכה.

כשאמרתי שגוגל פח בכל ה GenAI כיסחו אותי, לעגו לי, צחקו עלי. רק כי אני לא מתלהב מהכותרות. חברה בסדר גודל כזה, שמשחררת כל יומיים מודל אחר רק כי לא הולך לה, זה מאכזב ואומר דרשני. שימו לב ל OpenAI שעסוקים בשחרור טכנולוגיות חדשות ולא מודלים חדשים של שפה, בטח שלא כל יומיים. רק מי שחרבנה צריך לשחרר ולתקן כל כך הרבה כל כך מהר. אז לג׳ימיני 1.5 יש קונטקסט ארוך, זה עניין של זמן עד שיושק GPT עם אותו הדבר. ויש לו גם אחלה עברית, זה נכון, והוא גם משיב מאוד מהר. אבל לא עוזר זיכרון ועברית כשהתוכן לא שווה כלום.

היה עדיף שגוגל יחכו בסבלנות וישיקו מוצרים בשלים שנותנים נוק אאוט, גם במחיר של איחור בתחרות, מאשר להתבזות כך לעיני כל שוב ושוב רק כדי להראות שהם קיימים. גם ככה OpenAI כבר השיקו את הזחלן שלהם, מה שאומר שהם הולכים לייתר לגמרי את מנוע החיפוש של גוגל. וזה יקרה. תזכרו.

מה שאי אפשר לקחת מגוגל, זה את היכולת המשוגעת שיש לה בכל מה שקשור למודלים של למידת מכונה ולא רק GenAI. שם יש לגוגל אימפריה אמיתית ויש המון מה ללמוד ממנה. רק חבל שהיא מאכזבת כל כך הרבה.

ומה אתם חושבים על גוגל והמודלים שלה? אשמח לקרוא בתגובות.

יאללה שיהיה לנו שבוע טוב ובשורות טובות!
*יובל אבידני*

בתמונה: אני על טרקטור. למה? כי הבן שלי ביקש. וגם כאן, Artflow כותשת את גוגל שהייתה צריכה לעצור את היכולת לייצר תמונות כי הAI שלה היה גזעני ומגדרי בטירוף.

הרבה דובר על Fine Tune. עוד מודל ששופר, עוד גרסא, עוד חידוש. אבל מה זה לכל הרוחות ואיך זה עוזר לנו? בואו נדבר על זה.

אנחנו כבר יודעים שיש לנו מודלים גדולים של שפה, LLMs. כאלה שאפשר לשאול אותם שאלות ולקבל תשובות. המודלים האלה אומנו על המון מידע כך שמאגר הידע שלהם אדיר. דמיינו את כל האינטרנט מונח בכף ידו של מודל שפה כלשהו. איזה ידע! אז עם כמות ידע כזו - איפה הבעיה?

מודל שפה מצליח לחזות את המילה הבאה. הוא מבין מה אנחנו שואלים (אלא אם זה מודל של גוגל חלילה), מנבא את המילה הבאה וכך בעצם משיב לנו, בהסתמך על הידע שברשותו (אלא אם הוא הוזה).

אבל מה אם לא מספיק לנו סתם ניבוי של המילה הבאה? מה אם היינו רוצים שיהיה למודל השפה אופי אחר, שהוא ישיב בצורה מסוימת (למשל בסגנון של אילון מאסק), או שהוא יתן משקל רב יותר למאגר ידע מסוים, למשל - לפוסטים של Reddit. שכל שאלה שנשאל, נקבל תשובה שמבוססת על הידע ב Reddit ולא סתם מהאינטרנט.

ומה אם גם אנחנו רוצים שהמודל לא סתם ינבא מילה, אלא גם ישיב בצורה של שאלה ותשובה. של שיחה. כמו צ׳אט מול נציג שירות. מה שנקרא Assistant?

יש לנו יכולת כיום להשתמש בטכניקת ״שליפת״ תשובות ממאגרי מידע. זה מה שנקרא RAG. לוקחים מידע, ממירים אותו למספרים באמצעות תהליך שנקרא Embeddings, שומרים את המידע בצד, בבסיס נתונים מיוחד, ווקטורי, ולאחר מכן בכל שאלה שאנו שואלים - גם היא הופכת למספרים, ונשלחת לבסיס הנתונים המיוחד לשלוף תשובות שקרובות בערכן המספרי לשאלה ששאלנו. אבל לא מספיק לשמור מידע בצד ולשאול עליו. יש כאן בעיות כמו הקשר לא מספיק גדול, בעיות באיכות התשובות ועוד.

כדי לפתור את זה, יש לנו יכולת לבצע Fine Tune, כיוונון, למודלים של שפה. כך אנחנו לא סתם מפנים למידע, אלא אנחנו ממש מוסיפים שכבות של פרמטרים (נוירונים, משקולות) לרשת הנוירונים המקורית, ובכך משנים ממש את עצם ההתנהגות של המודל עצמו. זה לא הוספה של קומה לידע, אלא שינוי של תצורת הרשת עצמה. יש טכניקות כאלה שמצריכות משאבים רבים עד כדי מחשבים חזקים. אך יש גם טכניקות אחרות, מבוססות מחקר של מייקרוסופט ומטא, שנקראות LoRA או QLoRA, שמאפשרות להוסיף את השכבות האלה לרשתות הנוירונים המקוריות, וכך באמצעות הוספה של יחסית מעט מידע, נקבל יכולת לשלוט ברשת עצמה. בהתנהגות שלה. לא רק RAG אלא ממש התנהגות אחרת של הרשת עצמה.

מי שזה מצלצל לו, LoRA גם משמש אותנו בעולמות אימון מודלים של תמונה כמו סטייבל דיפיוז׳ן. מדובר ביצירת מודלים שמשקלם קטן, והם נוספים בשאילתא לתשאול המודל המקורי והכבד. אך במקום לאמן מודל כבד, מספיק לצרף את הקובץ הקליל הזה ומתאפשר לנו לקבל תשובות אחרות ואיכותיות יותר בהרבה ממודל השפה.

אז לסיכום:
- ביצוע Fine Tune למודל שפה מאפשר לנו לשנות את הרכב רשת הנוירונים ולגרום למודל השפה להתנהג אחרת (כמו להיות עוזר של ממש ולא רק מנבא מילים)
- באמצעות שימוש בטכניקות כמו LoRA או QLoRA אנחנו יכולים ליצור מודלים קלי משקל שמשפיעים על המודלים הכבדים ומשנים את ההתנהגות שלהם
- מדובר ביכולת מאוד מעניינת, שאנו מעת לעת שומעים עליה, כמו עוד מודל Fine Tune ללאמה 2 או למודלים אחרים. זה לא רק לבנות ידע, אלא ממש לשנות התנהגות.

ואם יש לכם דיוקים למה שכתבתי אשמח לקרוא, ומקווה שהחזקתם מעמד!

*יובל אבידני*