This media is not supported in your browser
VIEW IN TELEGRAM
כלי מגניב שהכרתי, נקרא Teachable Machine, מבית היוצר של גוגל, מאפשר ליצור לעצמנו מודל קלסיפיקציה (סיווג). מעלים תמונות, לוחצים בקליק לאמן מודל, ואז בוחנים את המודל באמצעות העלאה של תמונות כלשהן, והתוכנה מראה את הניבוי: למשל, האם מנגנים מטאליקה או לא, האם התמונה היא אדם או בעל חיים וכדומה.
מגניב, ומעניין. על זה בדיוק אני מדבר כשאני אומר שגוגל מובילים ב-ML אבל מאחורה בכל מה שקשור ל-GenAI. פה למשל הם שיחקו אותה!
להתנסות: https://teachablemachine.withgoogle.com/
*יובל אבידני*
מגניב, ומעניין. על זה בדיוק אני מדבר כשאני אומר שגוגל מובילים ב-ML אבל מאחורה בכל מה שקשור ל-GenAI. פה למשל הם שיחקו אותה!
להתנסות: https://teachablemachine.withgoogle.com/
*יובל אבידני*
שואלים אותי הרבה מאיפה למדתי פייתון או פיתוח או סייבר או עכשיו למידת מכונה? אז התשובה המהירה היא מהמון למידה עצמית. אבל זה היה הרבה יותר אפשרי בזכות:
פייתון / רשתות תקשורת - המרכז לחינוך סייבר Cyber Education Center , , וגם Dana Ivry Even-Haim וגם המון CBTNuggets
פיתוח וג׳אווה סקריפט- האחד והיחיד Ran Bar-Zik שיש לו גם אחלה המלצות על בירות! והוא מדבר גם סייבר בפודקאסט האדיר של ״סייבר סייבר״, שממנו גם למדתי המון. איך אפשר גם בלי Udemy, יוטיוב ו- CS50 החינמי והאדיר של הרווארד אונליין. מומלץ!
סייבר - זה מתחלק לכל מיני כיוונים, הרבה דרך יוטיוב ומחקר עצמאי, אבל גם הרבה מעבדות דרך CBTNuggets, קורסים של האקינג דרך Udemy, המעבדות של Burp Portswigger, הדרכות על Wireshark, המון סרטוני יוטיוב של ippsec לפריצת מחשבים, מעבדות גם דרך TryHackMe והרבה שבירות ראש בקורס של OSCP, ניסיונות Hands On בקאלי לינוקס. לקחתי גם קורסים אונליין על פורנזיקה ומערכות הפעלה שמאוד הועילו לי להבנה.
ניתוח נתונים - שבירת ראש בדוקומנטציות של כלים כמו PySpark / SQL / Pandas / Matplotlib וכמובן אקסל. בכמויות.
למידת מכונה ובינה מלאכותית - זו הלמידה הכי כיפית. הכל הכל לבד אונליין דרך יוטיוב וכל מיני ולוגרים ובלוגרים אדירים. התנסות מעשית. אבל גם קורסים מעולים של Andrew NG ופלייליסט אדיר של SandTex הלא הוא Harrison Kinsley התותח. יש גם את אנדריי קפארתי שלאחרונה עזב את OpenAI ופשוט תענוג לצפות בו. יש גם אתרים ייעודים לפרויקטים שיכולים לעזור כמו Keggle ו Scikit-learn שהם עולם שלם. וגם אוכל את הראש לפעמים ל Amir Give'on היקר.
בכל אופן, אם הצלחתי להועיל אפילו למישהו אחד - זכיתי ועשיתי את שלי. אז תודה לכל מי ששותף/ה למסע שלי, ובאמת שאין כיף מלמידת אינסופית - והתנסות מעשית שהיא בסוף מביאה איתה את ההבנה האמיתית.
תהנו!
*יובל אבידני*
והתמונה היא לא כי אני חש מעצמי, אלא כי artflow ממש פירגנה לי משום מה 🤣
פייתון / רשתות תקשורת - המרכז לחינוך סייבר Cyber Education Center , , וגם Dana Ivry Even-Haim וגם המון CBTNuggets
פיתוח וג׳אווה סקריפט- האחד והיחיד Ran Bar-Zik שיש לו גם אחלה המלצות על בירות! והוא מדבר גם סייבר בפודקאסט האדיר של ״סייבר סייבר״, שממנו גם למדתי המון. איך אפשר גם בלי Udemy, יוטיוב ו- CS50 החינמי והאדיר של הרווארד אונליין. מומלץ!
סייבר - זה מתחלק לכל מיני כיוונים, הרבה דרך יוטיוב ומחקר עצמאי, אבל גם הרבה מעבדות דרך CBTNuggets, קורסים של האקינג דרך Udemy, המעבדות של Burp Portswigger, הדרכות על Wireshark, המון סרטוני יוטיוב של ippsec לפריצת מחשבים, מעבדות גם דרך TryHackMe והרבה שבירות ראש בקורס של OSCP, ניסיונות Hands On בקאלי לינוקס. לקחתי גם קורסים אונליין על פורנזיקה ומערכות הפעלה שמאוד הועילו לי להבנה.
ניתוח נתונים - שבירת ראש בדוקומנטציות של כלים כמו PySpark / SQL / Pandas / Matplotlib וכמובן אקסל. בכמויות.
למידת מכונה ובינה מלאכותית - זו הלמידה הכי כיפית. הכל הכל לבד אונליין דרך יוטיוב וכל מיני ולוגרים ובלוגרים אדירים. התנסות מעשית. אבל גם קורסים מעולים של Andrew NG ופלייליסט אדיר של SandTex הלא הוא Harrison Kinsley התותח. יש גם את אנדריי קפארתי שלאחרונה עזב את OpenAI ופשוט תענוג לצפות בו. יש גם אתרים ייעודים לפרויקטים שיכולים לעזור כמו Keggle ו Scikit-learn שהם עולם שלם. וגם אוכל את הראש לפעמים ל Amir Give'on היקר.
בכל אופן, אם הצלחתי להועיל אפילו למישהו אחד - זכיתי ועשיתי את שלי. אז תודה לכל מי ששותף/ה למסע שלי, ובאמת שאין כיף מלמידת אינסופית - והתנסות מעשית שהיא בסוף מביאה איתה את ההבנה האמיתית.
תהנו!
*יובל אבידני*
והתמונה היא לא כי אני חש מעצמי, אלא כי artflow ממש פירגנה לי משום מה 🤣
הנה הסיבות מדוע אני כל הזמן יורד על גוגל בכל מה שקשור ל AI:
1. גוגל היא החלוצה בתחום. מהראשונים בתחום עוד לפני שנים - וגם הציפיות מהם בהתאם.
2. גוגל רכשו חברה אדירה בשם DeepMind - וגם כאן לכאורה אמור היה להיות להם יתרון אדיר.
3. הצוות של גוגל, Google Brain, הובל ע״י גאון ענק בשם אנדרו NG (אינג) שגם כאן - אין סיבה שהם לא יתנו נוק אאוט לכולם.
4. בגוגל בריין עבד איליה סוצקובר, מהמייסדים של OpenAI, בזמנו אילון מאסק שכנע אותו לעבור להקים את OpenAI עם השקעה של 50 מיליון דולר שישקיע.
5. גוגל השקיעו 300 מיליון דולר בחברת אנתרופיק (ה״אמא ואבא״ של קלוד) - גם כאן שוב, ציפיות משוגעות.
6. אחרי ש OpenAI שחררו לעולם את GPT וכולנו עפנו, גוגל נלחצו בטירוף כי היה ברור לכולם שהם לא שם בכל מה שקשור ל GenAI. פתאום מהר מהר הכריזו על מודל משלהם, בארד, וכל העולם לא יכל להחזיק את נשימתו והייתה תחושה שגוגל הולכת להפגיז.
7. בארד שוחרר ואיתו הכישלון המדהד החל - לא מבין, לא יודע, לא איתנו, ״לא מחובר לחשמל״. ואז החל פסטיבל מספרי הסיפורים. בכלום זמן פתאום החלו לספר שזה לא בארד, בארד הוא סתם, זה ג׳ימיני שכולם מחכים לו.
8. ואז בא ג׳ימיני. וגם הוא חרבנה. גם הוא ״מזוזה בלי קלף״, ואמרו לנו לא לא, זה ג׳ימיני פרו. חכו לג׳ימיני אולטרה. חיכינו. ומה קרה? פח אשפה כרגיל.
9. לא זו בלבד. גוגל גם שיקרה בהשקה של ג׳ימיני. שחררה לאוויר סרטון שקרי וערוך, שהופץ כאש בשדה קוצים דרך כל המשוחדים והמשפיענים שמספיק להם להיות ניזונים מכותרות מבלי להסתכל במה שיש בקנקן.
10. גוגל מובילים בכל הלידבורדים בכל הפרמטרים! כך צועקים מכל עבר. מעל GPT4, הכי טובים בקוד, ובכלל הם אלוק! אבל אז הנפילה מגיעה. הם פשוט לא שם. לא שם ביצירת מוזיקה. לא שם עם ה Assistant של Google Workspace, לא שם בקוד, לא שם באמת בכלום. והנה שוב הכרזה שזה לא אולטרה, יש עכשיו ג׳ימיני 1.5 שהפעם זהו הוא יתן נוק אאוט. רק מה? מסתבר שגם הוא ״פמוטים בלי נרות״. יש לו 1,000,000 טוקנים בקונטקסט, מה שאומר שהוא זוכר הרבה. אבל הוא גרוע, אז זה כמו מי שזוכר הרבה אבל מדבר שטויות. מה זה שווה? אני אעדיף את GPT שזוכר פחות אבל הוא גאון שמדבר לעניין ומשיב כהלכה.
כשאמרתי שגוגל פח בכל ה GenAI כיסחו אותי, לעגו לי, צחקו עלי. רק כי אני לא מתלהב מהכותרות. חברה בסדר גודל כזה, שמשחררת כל יומיים מודל אחר רק כי לא הולך לה, זה מאכזב ואומר דרשני. שימו לב ל OpenAI שעסוקים בשחרור טכנולוגיות חדשות ולא מודלים חדשים של שפה, בטח שלא כל יומיים. רק מי שחרבנה צריך לשחרר ולתקן כל כך הרבה כל כך מהר. אז לג׳ימיני 1.5 יש קונטקסט ארוך, זה עניין של זמן עד שיושק GPT עם אותו הדבר. ויש לו גם אחלה עברית, זה נכון, והוא גם משיב מאוד מהר. אבל לא עוזר זיכרון ועברית כשהתוכן לא שווה כלום.
היה עדיף שגוגל יחכו בסבלנות וישיקו מוצרים בשלים שנותנים נוק אאוט, גם במחיר של איחור בתחרות, מאשר להתבזות כך לעיני כל שוב ושוב רק כדי להראות שהם קיימים. גם ככה OpenAI כבר השיקו את הזחלן שלהם, מה שאומר שהם הולכים לייתר לגמרי את מנוע החיפוש של גוגל. וזה יקרה. תזכרו.
מה שאי אפשר לקחת מגוגל, זה את היכולת המשוגעת שיש לה בכל מה שקשור למודלים של למידת מכונה ולא רק GenAI. שם יש לגוגל אימפריה אמיתית ויש המון מה ללמוד ממנה. רק חבל שהיא מאכזבת כל כך הרבה.
ומה אתם חושבים על גוגל והמודלים שלה? אשמח לקרוא בתגובות.
יאללה שיהיה לנו שבוע טוב ובשורות טובות!
*יובל אבידני*
בתמונה: אני על טרקטור. למה? כי הבן שלי ביקש. וגם כאן, Artflow כותשת את גוגל שהייתה צריכה לעצור את היכולת לייצר תמונות כי הAI שלה היה גזעני ומגדרי בטירוף.
1. גוגל היא החלוצה בתחום. מהראשונים בתחום עוד לפני שנים - וגם הציפיות מהם בהתאם.
2. גוגל רכשו חברה אדירה בשם DeepMind - וגם כאן לכאורה אמור היה להיות להם יתרון אדיר.
3. הצוות של גוגל, Google Brain, הובל ע״י גאון ענק בשם אנדרו NG (אינג) שגם כאן - אין סיבה שהם לא יתנו נוק אאוט לכולם.
4. בגוגל בריין עבד איליה סוצקובר, מהמייסדים של OpenAI, בזמנו אילון מאסק שכנע אותו לעבור להקים את OpenAI עם השקעה של 50 מיליון דולר שישקיע.
5. גוגל השקיעו 300 מיליון דולר בחברת אנתרופיק (ה״אמא ואבא״ של קלוד) - גם כאן שוב, ציפיות משוגעות.
6. אחרי ש OpenAI שחררו לעולם את GPT וכולנו עפנו, גוגל נלחצו בטירוף כי היה ברור לכולם שהם לא שם בכל מה שקשור ל GenAI. פתאום מהר מהר הכריזו על מודל משלהם, בארד, וכל העולם לא יכל להחזיק את נשימתו והייתה תחושה שגוגל הולכת להפגיז.
7. בארד שוחרר ואיתו הכישלון המדהד החל - לא מבין, לא יודע, לא איתנו, ״לא מחובר לחשמל״. ואז החל פסטיבל מספרי הסיפורים. בכלום זמן פתאום החלו לספר שזה לא בארד, בארד הוא סתם, זה ג׳ימיני שכולם מחכים לו.
8. ואז בא ג׳ימיני. וגם הוא חרבנה. גם הוא ״מזוזה בלי קלף״, ואמרו לנו לא לא, זה ג׳ימיני פרו. חכו לג׳ימיני אולטרה. חיכינו. ומה קרה? פח אשפה כרגיל.
9. לא זו בלבד. גוגל גם שיקרה בהשקה של ג׳ימיני. שחררה לאוויר סרטון שקרי וערוך, שהופץ כאש בשדה קוצים דרך כל המשוחדים והמשפיענים שמספיק להם להיות ניזונים מכותרות מבלי להסתכל במה שיש בקנקן.
10. גוגל מובילים בכל הלידבורדים בכל הפרמטרים! כך צועקים מכל עבר. מעל GPT4, הכי טובים בקוד, ובכלל הם אלוק! אבל אז הנפילה מגיעה. הם פשוט לא שם. לא שם ביצירת מוזיקה. לא שם עם ה Assistant של Google Workspace, לא שם בקוד, לא שם באמת בכלום. והנה שוב הכרזה שזה לא אולטרה, יש עכשיו ג׳ימיני 1.5 שהפעם זהו הוא יתן נוק אאוט. רק מה? מסתבר שגם הוא ״פמוטים בלי נרות״. יש לו 1,000,000 טוקנים בקונטקסט, מה שאומר שהוא זוכר הרבה. אבל הוא גרוע, אז זה כמו מי שזוכר הרבה אבל מדבר שטויות. מה זה שווה? אני אעדיף את GPT שזוכר פחות אבל הוא גאון שמדבר לעניין ומשיב כהלכה.
כשאמרתי שגוגל פח בכל ה GenAI כיסחו אותי, לעגו לי, צחקו עלי. רק כי אני לא מתלהב מהכותרות. חברה בסדר גודל כזה, שמשחררת כל יומיים מודל אחר רק כי לא הולך לה, זה מאכזב ואומר דרשני. שימו לב ל OpenAI שעסוקים בשחרור טכנולוגיות חדשות ולא מודלים חדשים של שפה, בטח שלא כל יומיים. רק מי שחרבנה צריך לשחרר ולתקן כל כך הרבה כל כך מהר. אז לג׳ימיני 1.5 יש קונטקסט ארוך, זה עניין של זמן עד שיושק GPT עם אותו הדבר. ויש לו גם אחלה עברית, זה נכון, והוא גם משיב מאוד מהר. אבל לא עוזר זיכרון ועברית כשהתוכן לא שווה כלום.
היה עדיף שגוגל יחכו בסבלנות וישיקו מוצרים בשלים שנותנים נוק אאוט, גם במחיר של איחור בתחרות, מאשר להתבזות כך לעיני כל שוב ושוב רק כדי להראות שהם קיימים. גם ככה OpenAI כבר השיקו את הזחלן שלהם, מה שאומר שהם הולכים לייתר לגמרי את מנוע החיפוש של גוגל. וזה יקרה. תזכרו.
מה שאי אפשר לקחת מגוגל, זה את היכולת המשוגעת שיש לה בכל מה שקשור למודלים של למידת מכונה ולא רק GenAI. שם יש לגוגל אימפריה אמיתית ויש המון מה ללמוד ממנה. רק חבל שהיא מאכזבת כל כך הרבה.
ומה אתם חושבים על גוגל והמודלים שלה? אשמח לקרוא בתגובות.
יאללה שיהיה לנו שבוע טוב ובשורות טובות!
*יובל אבידני*
בתמונה: אני על טרקטור. למה? כי הבן שלי ביקש. וגם כאן, Artflow כותשת את גוגל שהייתה צריכה לעצור את היכולת לייצר תמונות כי הAI שלה היה גזעני ומגדרי בטירוף.
הרבה דובר על Fine Tune. עוד מודל ששופר, עוד גרסא, עוד חידוש. אבל מה זה לכל הרוחות ואיך זה עוזר לנו? בואו נדבר על זה.
אנחנו כבר יודעים שיש לנו מודלים גדולים של שפה, LLMs. כאלה שאפשר לשאול אותם שאלות ולקבל תשובות. המודלים האלה אומנו על המון מידע כך שמאגר הידע שלהם אדיר. דמיינו את כל האינטרנט מונח בכף ידו של מודל שפה כלשהו. איזה ידע! אז עם כמות ידע כזו - איפה הבעיה?
מודל שפה מצליח לחזות את המילה הבאה. הוא מבין מה אנחנו שואלים (אלא אם זה מודל של גוגל חלילה), מנבא את המילה הבאה וכך בעצם משיב לנו, בהסתמך על הידע שברשותו (אלא אם הוא הוזה).
אבל מה אם לא מספיק לנו סתם ניבוי של המילה הבאה? מה אם היינו רוצים שיהיה למודל השפה אופי אחר, שהוא ישיב בצורה מסוימת (למשל בסגנון של אילון מאסק), או שהוא יתן משקל רב יותר למאגר ידע מסוים, למשל - לפוסטים של Reddit. שכל שאלה שנשאל, נקבל תשובה שמבוססת על הידע ב Reddit ולא סתם מהאינטרנט.
ומה אם גם אנחנו רוצים שהמודל לא סתם ינבא מילה, אלא גם ישיב בצורה של שאלה ותשובה. של שיחה. כמו צ׳אט מול נציג שירות. מה שנקרא Assistant?
יש לנו יכולת כיום להשתמש בטכניקת ״שליפת״ תשובות ממאגרי מידע. זה מה שנקרא RAG. לוקחים מידע, ממירים אותו למספרים באמצעות תהליך שנקרא Embeddings, שומרים את המידע בצד, בבסיס נתונים מיוחד, ווקטורי, ולאחר מכן בכל שאלה שאנו שואלים - גם היא הופכת למספרים, ונשלחת לבסיס הנתונים המיוחד לשלוף תשובות שקרובות בערכן המספרי לשאלה ששאלנו. אבל לא מספיק לשמור מידע בצד ולשאול עליו. יש כאן בעיות כמו הקשר לא מספיק גדול, בעיות באיכות התשובות ועוד.
כדי לפתור את זה, יש לנו יכולת לבצע Fine Tune, כיוונון, למודלים של שפה. כך אנחנו לא סתם מפנים למידע, אלא אנחנו ממש מוסיפים שכבות של פרמטרים (נוירונים, משקולות) לרשת הנוירונים המקורית, ובכך משנים ממש את עצם ההתנהגות של המודל עצמו. זה לא הוספה של קומה לידע, אלא שינוי של תצורת הרשת עצמה. יש טכניקות כאלה שמצריכות משאבים רבים עד כדי מחשבים חזקים. אך יש גם טכניקות אחרות, מבוססות מחקר של מייקרוסופט ומטא, שנקראות LoRA או QLoRA, שמאפשרות להוסיף את השכבות האלה לרשתות הנוירונים המקוריות, וכך באמצעות הוספה של יחסית מעט מידע, נקבל יכולת לשלוט ברשת עצמה. בהתנהגות שלה. לא רק RAG אלא ממש התנהגות אחרת של הרשת עצמה.
מי שזה מצלצל לו, LoRA גם משמש אותנו בעולמות אימון מודלים של תמונה כמו סטייבל דיפיוז׳ן. מדובר ביצירת מודלים שמשקלם קטן, והם נוספים בשאילתא לתשאול המודל המקורי והכבד. אך במקום לאמן מודל כבד, מספיק לצרף את הקובץ הקליל הזה ומתאפשר לנו לקבל תשובות אחרות ואיכותיות יותר בהרבה ממודל השפה.
אז לסיכום:
- ביצוע Fine Tune למודל שפה מאפשר לנו לשנות את הרכב רשת הנוירונים ולגרום למודל השפה להתנהג אחרת (כמו להיות עוזר של ממש ולא רק מנבא מילים)
- באמצעות שימוש בטכניקות כמו LoRA או QLoRA אנחנו יכולים ליצור מודלים קלי משקל שמשפיעים על המודלים הכבדים ומשנים את ההתנהגות שלהם
- מדובר ביכולת מאוד מעניינת, שאנו מעת לעת שומעים עליה, כמו עוד מודל Fine Tune ללאמה 2 או למודלים אחרים. זה לא רק לבנות ידע, אלא ממש לשנות התנהגות.
ואם יש לכם דיוקים למה שכתבתי אשמח לקרוא, ומקווה שהחזקתם מעמד!
*יובל אבידני*
אנחנו כבר יודעים שיש לנו מודלים גדולים של שפה, LLMs. כאלה שאפשר לשאול אותם שאלות ולקבל תשובות. המודלים האלה אומנו על המון מידע כך שמאגר הידע שלהם אדיר. דמיינו את כל האינטרנט מונח בכף ידו של מודל שפה כלשהו. איזה ידע! אז עם כמות ידע כזו - איפה הבעיה?
מודל שפה מצליח לחזות את המילה הבאה. הוא מבין מה אנחנו שואלים (אלא אם זה מודל של גוגל חלילה), מנבא את המילה הבאה וכך בעצם משיב לנו, בהסתמך על הידע שברשותו (אלא אם הוא הוזה).
אבל מה אם לא מספיק לנו סתם ניבוי של המילה הבאה? מה אם היינו רוצים שיהיה למודל השפה אופי אחר, שהוא ישיב בצורה מסוימת (למשל בסגנון של אילון מאסק), או שהוא יתן משקל רב יותר למאגר ידע מסוים, למשל - לפוסטים של Reddit. שכל שאלה שנשאל, נקבל תשובה שמבוססת על הידע ב Reddit ולא סתם מהאינטרנט.
ומה אם גם אנחנו רוצים שהמודל לא סתם ינבא מילה, אלא גם ישיב בצורה של שאלה ותשובה. של שיחה. כמו צ׳אט מול נציג שירות. מה שנקרא Assistant?
יש לנו יכולת כיום להשתמש בטכניקת ״שליפת״ תשובות ממאגרי מידע. זה מה שנקרא RAG. לוקחים מידע, ממירים אותו למספרים באמצעות תהליך שנקרא Embeddings, שומרים את המידע בצד, בבסיס נתונים מיוחד, ווקטורי, ולאחר מכן בכל שאלה שאנו שואלים - גם היא הופכת למספרים, ונשלחת לבסיס הנתונים המיוחד לשלוף תשובות שקרובות בערכן המספרי לשאלה ששאלנו. אבל לא מספיק לשמור מידע בצד ולשאול עליו. יש כאן בעיות כמו הקשר לא מספיק גדול, בעיות באיכות התשובות ועוד.
כדי לפתור את זה, יש לנו יכולת לבצע Fine Tune, כיוונון, למודלים של שפה. כך אנחנו לא סתם מפנים למידע, אלא אנחנו ממש מוסיפים שכבות של פרמטרים (נוירונים, משקולות) לרשת הנוירונים המקורית, ובכך משנים ממש את עצם ההתנהגות של המודל עצמו. זה לא הוספה של קומה לידע, אלא שינוי של תצורת הרשת עצמה. יש טכניקות כאלה שמצריכות משאבים רבים עד כדי מחשבים חזקים. אך יש גם טכניקות אחרות, מבוססות מחקר של מייקרוסופט ומטא, שנקראות LoRA או QLoRA, שמאפשרות להוסיף את השכבות האלה לרשתות הנוירונים המקוריות, וכך באמצעות הוספה של יחסית מעט מידע, נקבל יכולת לשלוט ברשת עצמה. בהתנהגות שלה. לא רק RAG אלא ממש התנהגות אחרת של הרשת עצמה.
מי שזה מצלצל לו, LoRA גם משמש אותנו בעולמות אימון מודלים של תמונה כמו סטייבל דיפיוז׳ן. מדובר ביצירת מודלים שמשקלם קטן, והם נוספים בשאילתא לתשאול המודל המקורי והכבד. אך במקום לאמן מודל כבד, מספיק לצרף את הקובץ הקליל הזה ומתאפשר לנו לקבל תשובות אחרות ואיכותיות יותר בהרבה ממודל השפה.
אז לסיכום:
- ביצוע Fine Tune למודל שפה מאפשר לנו לשנות את הרכב רשת הנוירונים ולגרום למודל השפה להתנהג אחרת (כמו להיות עוזר של ממש ולא רק מנבא מילים)
- באמצעות שימוש בטכניקות כמו LoRA או QLoRA אנחנו יכולים ליצור מודלים קלי משקל שמשפיעים על המודלים הכבדים ומשנים את ההתנהגות שלהם
- מדובר ביכולת מאוד מעניינת, שאנו מעת לעת שומעים עליה, כמו עוד מודל Fine Tune ללאמה 2 או למודלים אחרים. זה לא רק לבנות ידע, אלא ממש לשנות התנהגות.
ואם יש לכם דיוקים למה שכתבתי אשמח לקרוא, ומקווה שהחזקתם מעמד!
*יובל אבידני*
המבחן האמיתי של האם אנחנו מבינים מה זה AI או לא, הוא באמצעות מענה לשאלה: האם אני בכלל צריך AI לטובת משימה מסוימת או שלא?
לדוגמא:
אם אנחנו רוצים להפריד רעש מקטע קול - האם צריך AI בשביל זה או שמדובר בסינון ברמת תוכנה?
ואם אנחנו רוצים להשתמש בפילטר על וידאו - האם צריך AI בשביל זה או לא?
ואם אנחנו רוצים אוטומציה ברשתות החברתיות - האם צריך AI בשביל זה או לא?
האמת היא שבהמון מקרים נבין מהר מאוד שלא צריך AI.
מתי כן צריך AI?
כשאנחנו רוצים לחבר מודלים של שפה
כשאנחנו רוצים ליצור תמונות / סרטונים / מוזיקה באמצעות תיאורים טקסטואליים
כשאנחנו רוצים לתמלל / לתרגם
כשאנחנו רוצים לפתור בעיות כמו ניבוי של ערך מספרי בהינתן משתנים רבים - למשל, ניבוי מחיר של דירה
כאשר אנו רוצים להבין האם יש סיכוי שמשתמש ילחץ על מודעה פרסומית או לא
כאשר יש לנו ערימות של נתונים ואנחנו רוצים לחלק אותם לקבוצות כדי להבין אם יש מאפיינים דומים
או אפילו כשאנחנו רוצים שמודל ישפר את עצמו כמו מחשב שמבין איך לשחק או בכלל לפתור בעיה באמצעות שיפור עצמי.
מתי לא צריך AI?
כשלא מחברים מודל שפה בהכרח, אלא משתמשים במילות מפתח
כשאפשר לפתור בעיות באמצעות קוד קלאסי / אוטומציות פשוטות יחסית
כשאין לנו כמויות של דאטה שאנו מעוניינים להשיג ניבוי כלשהו לפיתרון בעיה
כשיש לנו יכולת להשתמש בפילטר לקול / לתמונה / לווידאו
לא חכמה לזרוק את המילה AI על כל דבר,
כן חכמה לזרוק את המילה AI כשמבינים מתי יש בה צורך.
ובהקשר של מודלים גדולים של שפה, לא לקבל את התשובות כאמת, אלא לבדוק! הם טועים המון. במיוחד בבעיות מתמטיות או שאלות רציניות. הם גם ישתפרו אבל לא לקבל את הכל כאמת מוחלטת.
ברגע שמבינים למה כן AI ולמה לא, מתחילים באמת להבין מה זה AI לעומק. לא כבאזוורד, אלא ככלי אמיתי לפיתרון בעיות.
*יובל אבידני*
לדוגמא:
אם אנחנו רוצים להפריד רעש מקטע קול - האם צריך AI בשביל זה או שמדובר בסינון ברמת תוכנה?
ואם אנחנו רוצים להשתמש בפילטר על וידאו - האם צריך AI בשביל זה או לא?
ואם אנחנו רוצים אוטומציה ברשתות החברתיות - האם צריך AI בשביל זה או לא?
האמת היא שבהמון מקרים נבין מהר מאוד שלא צריך AI.
מתי כן צריך AI?
כשאנחנו רוצים לחבר מודלים של שפה
כשאנחנו רוצים ליצור תמונות / סרטונים / מוזיקה באמצעות תיאורים טקסטואליים
כשאנחנו רוצים לתמלל / לתרגם
כשאנחנו רוצים לפתור בעיות כמו ניבוי של ערך מספרי בהינתן משתנים רבים - למשל, ניבוי מחיר של דירה
כאשר אנו רוצים להבין האם יש סיכוי שמשתמש ילחץ על מודעה פרסומית או לא
כאשר יש לנו ערימות של נתונים ואנחנו רוצים לחלק אותם לקבוצות כדי להבין אם יש מאפיינים דומים
או אפילו כשאנחנו רוצים שמודל ישפר את עצמו כמו מחשב שמבין איך לשחק או בכלל לפתור בעיה באמצעות שיפור עצמי.
מתי לא צריך AI?
כשלא מחברים מודל שפה בהכרח, אלא משתמשים במילות מפתח
כשאפשר לפתור בעיות באמצעות קוד קלאסי / אוטומציות פשוטות יחסית
כשאין לנו כמויות של דאטה שאנו מעוניינים להשיג ניבוי כלשהו לפיתרון בעיה
כשיש לנו יכולת להשתמש בפילטר לקול / לתמונה / לווידאו
לא חכמה לזרוק את המילה AI על כל דבר,
כן חכמה לזרוק את המילה AI כשמבינים מתי יש בה צורך.
ובהקשר של מודלים גדולים של שפה, לא לקבל את התשובות כאמת, אלא לבדוק! הם טועים המון. במיוחד בבעיות מתמטיות או שאלות רציניות. הם גם ישתפרו אבל לא לקבל את הכל כאמת מוחלטת.
ברגע שמבינים למה כן AI ולמה לא, מתחילים באמת להבין מה זה AI לעומק. לא כבאזוורד, אלא ככלי אמיתי לפיתרון בעיות.
*יובל אבידני*
זכיתי לכתוב על DeepFake למגזין החדשנות המדהים של אלתא(תעשייה אווירית)!
אשמח מאוד אם תקראו, אני בעמוד 18-19, ובכלל יש הרבה תוכן מעניין ששווה לכם לעקוב! אני מאוד אהבתי!
תודה למלי מרטון, עורכת המגזין, על ההזדמנות!
https://online.fliphtml5.com/fjjdt/ckmf/index.html#p=1
אשמח מאוד אם תקראו, אני בעמוד 18-19, ובכלל יש הרבה תוכן מעניין ששווה לכם לעקוב! אני מאוד אהבתי!
תודה למלי מרטון, עורכת המגזין, על ההזדמנות!
https://online.fliphtml5.com/fjjdt/ckmf/index.html#p=1
Fliphtml5
מגזין החדשנות של אלתא - גיליון 44
פברואר 2024
תם עידן ההתלהבות מ-AI, מה הלאה? בואו נדבר לאן פנינו מועדות, לעניות דעתי.
מודלים של שפה הסעירו את העולם כי הם נתנו לנו את היכולת לתשאל מידע מבלי להגדיר ידנית שאלות ותשובות. הקסם שלהם הוא היכולת לחבר אותם לאתרים ולאפליקציות שלנו ולתת להם להשיב ולחרטט בחינניות על אף המגבלות שלהם.
בהקשר של ייצור מדיה כמו מוזיקה תמונות וידאו, מודלים אחרים כמו רשתות GAN ליצירת דמויות שמעולם לא היו קיימות, הן אלה שהטריפו אותנו. כי פתאום לא צריך להיות גאוני פוטושופ או מפיקים כדי ליצור. היכולת לכתוב טקסט ולקבל מדיה היא ממש קסם אמיתי.
בינה מלאכותית יוצרת, כזו שמסוגלת ליצור, בין טקסט בין מדיה, היא זו שכיף לנו להתאהב בה. הולכים שבי אחריה. מדברים על סכנות, על הזדמנויות. על שחקנים זמרים ומתכנתים שעלולים לאבד את העבודה שלהם. אבל גם על אותם אנשים, שכנפי ציפור הדימיון שבהם יעופו לגבהים אדירים עכשיו כי אין להם שום מגבלות ליצירה. גם אם השם סוגר דלת - הוא פותח חלון. שדרכו נעוף גבוה.
ומאז עצרנו. הכל אותו הדבר אבל פשוט משתפר יותר ויותר. החכמה הגדולה היום, היא להבין איך להטמיע את היכולות האלה בארגונים, באיזה צמתים כן, באיזה לא, מתי לחבר אוטומציה ומתי אי אפשר. איך ליצור תוכן לעסק, איך לעזור למנהלי המשרד, איך לייעל עבודה מול לקוחות, איך ליצור משהו שיש לו משמעות גם לאחר.
הרצאות, סדנאות, ייעוצים, זה באמת כיף ואחלה ונחמד. אבל אני את הז׳יטונים שלי היום מניח על 2 דברים:
1. הטמעת AI בארגונים. איפיון הארגון. הבנת שיטת העבודה. המלצות פרקטיות להכנסת כלים תוך ייעול העבודה ושמירה על אבטחת מידע גבוהה.
2. צלילה לעומק בכל הקשור ליצירת מודלים מותאמים אישית, של למידת מכונה, ליצירת ניבוי / חיזוי, מדויק ויעיל יותר לעסקים. בין אם זה אבחונים רפואיים, ניבוי סגירת עסקאות נדל״ן, הבנה בזמן אמת של סנטימנט בשיחת טלפון מול לקוח בשיחת מכירה או שירות, ועוד.
ואיך אפשר בלי כמה המלצות?
כדי להטמיע AI בארגון, צריך קודם כל להבין מה הארגון עושה בכלל. מה שיטות העבודה היומיומיות הקיימות. החל משיחות טלפון דרך מענה למיילים וכלה בפגישות זום, תוכניות עבודה ועוד.
ברגע שמבינים את התהליך, צריך לחשוב איפה אפשר לשלב מודל שפה כמו פורטל פנימי לעובדים, אתר חיצוני לשירות לקוחות, מוקד שירות טלפוני, מענה למיילים, פרסום ברשתות חברתיות. וזה על קצה המזלג.
משם אפשר להתקדם לחיבורי אוטומציות כמו Zapier או Make ודומיו, שהאפשרויות שם אינסופיות.
ובכל הקשור לאימון מודלים, כאן נכנס עולם שלם שבעצם בא ואומר: יש לנו מידע. המון מידע. בין אם זה מעסקאות שביצענו. בין אם זה רישומים רפואיים. בין אם זה קמפיינים מוצלחים או ערימות של ניירת.
בואו נקח את המידע הזה ועל בסיסו ננסה לנבא את העתיד. מי חולה ומי לא, מי רמאי ומי לא, בכמה תעלה מניה מסוימת, מה יהיה מחיר אמיתי של עסקת ליסינג אל מול קנייה באופן פרטי, ועוד ועוד ועוד. אינספור אפשרויות. סופר מעניין. ומעניין שזה רץ כבר המון שנים אבל בזכות מודלים של שפה וגם רשתות נוירונים, סופסוף ניתן גם להטמיע מודלים כאלה לתשאול בשפה טבעית, זה קסם אמיתי. פיתוח מודלים כאלה והטמעתם בשילוב מודל שפה.
כל זה בעיני זה בחזרה לעתיד. מתקדמים אל עבר העתיד באמצעות חזרה לעבר שבו כבר מזמן יצרו מודלים.
מקווה שנהניתם,
*יובל אבידני*
מודלים של שפה הסעירו את העולם כי הם נתנו לנו את היכולת לתשאל מידע מבלי להגדיר ידנית שאלות ותשובות. הקסם שלהם הוא היכולת לחבר אותם לאתרים ולאפליקציות שלנו ולתת להם להשיב ולחרטט בחינניות על אף המגבלות שלהם.
בהקשר של ייצור מדיה כמו מוזיקה תמונות וידאו, מודלים אחרים כמו רשתות GAN ליצירת דמויות שמעולם לא היו קיימות, הן אלה שהטריפו אותנו. כי פתאום לא צריך להיות גאוני פוטושופ או מפיקים כדי ליצור. היכולת לכתוב טקסט ולקבל מדיה היא ממש קסם אמיתי.
בינה מלאכותית יוצרת, כזו שמסוגלת ליצור, בין טקסט בין מדיה, היא זו שכיף לנו להתאהב בה. הולכים שבי אחריה. מדברים על סכנות, על הזדמנויות. על שחקנים זמרים ומתכנתים שעלולים לאבד את העבודה שלהם. אבל גם על אותם אנשים, שכנפי ציפור הדימיון שבהם יעופו לגבהים אדירים עכשיו כי אין להם שום מגבלות ליצירה. גם אם השם סוגר דלת - הוא פותח חלון. שדרכו נעוף גבוה.
ומאז עצרנו. הכל אותו הדבר אבל פשוט משתפר יותר ויותר. החכמה הגדולה היום, היא להבין איך להטמיע את היכולות האלה בארגונים, באיזה צמתים כן, באיזה לא, מתי לחבר אוטומציה ומתי אי אפשר. איך ליצור תוכן לעסק, איך לעזור למנהלי המשרד, איך לייעל עבודה מול לקוחות, איך ליצור משהו שיש לו משמעות גם לאחר.
הרצאות, סדנאות, ייעוצים, זה באמת כיף ואחלה ונחמד. אבל אני את הז׳יטונים שלי היום מניח על 2 דברים:
1. הטמעת AI בארגונים. איפיון הארגון. הבנת שיטת העבודה. המלצות פרקטיות להכנסת כלים תוך ייעול העבודה ושמירה על אבטחת מידע גבוהה.
2. צלילה לעומק בכל הקשור ליצירת מודלים מותאמים אישית, של למידת מכונה, ליצירת ניבוי / חיזוי, מדויק ויעיל יותר לעסקים. בין אם זה אבחונים רפואיים, ניבוי סגירת עסקאות נדל״ן, הבנה בזמן אמת של סנטימנט בשיחת טלפון מול לקוח בשיחת מכירה או שירות, ועוד.
ואיך אפשר בלי כמה המלצות?
כדי להטמיע AI בארגון, צריך קודם כל להבין מה הארגון עושה בכלל. מה שיטות העבודה היומיומיות הקיימות. החל משיחות טלפון דרך מענה למיילים וכלה בפגישות זום, תוכניות עבודה ועוד.
ברגע שמבינים את התהליך, צריך לחשוב איפה אפשר לשלב מודל שפה כמו פורטל פנימי לעובדים, אתר חיצוני לשירות לקוחות, מוקד שירות טלפוני, מענה למיילים, פרסום ברשתות חברתיות. וזה על קצה המזלג.
משם אפשר להתקדם לחיבורי אוטומציות כמו Zapier או Make ודומיו, שהאפשרויות שם אינסופיות.
ובכל הקשור לאימון מודלים, כאן נכנס עולם שלם שבעצם בא ואומר: יש לנו מידע. המון מידע. בין אם זה מעסקאות שביצענו. בין אם זה רישומים רפואיים. בין אם זה קמפיינים מוצלחים או ערימות של ניירת.
בואו נקח את המידע הזה ועל בסיסו ננסה לנבא את העתיד. מי חולה ומי לא, מי רמאי ומי לא, בכמה תעלה מניה מסוימת, מה יהיה מחיר אמיתי של עסקת ליסינג אל מול קנייה באופן פרטי, ועוד ועוד ועוד. אינספור אפשרויות. סופר מעניין. ומעניין שזה רץ כבר המון שנים אבל בזכות מודלים של שפה וגם רשתות נוירונים, סופסוף ניתן גם להטמיע מודלים כאלה לתשאול בשפה טבעית, זה קסם אמיתי. פיתוח מודלים כאלה והטמעתם בשילוב מודל שפה.
כל זה בעיני זה בחזרה לעתיד. מתקדמים אל עבר העתיד באמצעות חזרה לעבר שבו כבר מזמן יצרו מודלים.
מקווה שנהניתם,
*יובל אבידני*
אמאלה איזה שווה אני!
יש אתר כל כך צנוע שנקרא KREA AI שלא רק שיצר את התמונה הזו (עזבו את הזיופים - זה בכלל המודל של סטייבל דיפיוז׳ן XL), גם ביצע החלפת פנים לפנים שלי, וגם הצליח לבצע שיפור איכות של התמונה המקורית, שנקראת בעגה המקצועית Upscale, בצורה מעוררת השתאות.
אז יש לי אמונים שאני שומר ל Artflow, אבל קודם לכן יש את KREA שאשאר נאמן גם לה - וכדאי גם לכם. איזה יפה לי וולברין!
יש אתר כל כך צנוע שנקרא KREA AI שלא רק שיצר את התמונה הזו (עזבו את הזיופים - זה בכלל המודל של סטייבל דיפיוז׳ן XL), גם ביצע החלפת פנים לפנים שלי, וגם הצליח לבצע שיפור איכות של התמונה המקורית, שנקראת בעגה המקצועית Upscale, בצורה מעוררת השתאות.
אז יש לי אמונים שאני שומר ל Artflow, אבל קודם לכן יש את KREA שאשאר נאמן גם לה - וכדאי גם לכם. איזה יפה לי וולברין!
רגע לפני שבת - DeepLearning ומטא, משחררים קורס חינמי של הנדסת פרומפטים עם לאמה-2, שווה מאוד!
שבת שלום,
*יובל אבידני*
https://www.deeplearning.ai/short-courses/prompt-engineering-with-llama-2/
שבת שלום,
*יובל אבידני*
https://www.deeplearning.ai/short-courses/prompt-engineering-with-llama-2/
www.deeplearning.ai
Prompt Engineering with Llama 2&3
Learn best practices for prompting and selecting among Meta Llama 2 & 3 models. Interact with Meta Llama 2 Chat, Code Llama, and Llama Guard models.
This media is not supported in your browser
VIEW IN TELEGRAM
אוקיי שימו לב לזה: יצירת צוות של סוכנים בממשק, ללא קוד, וביצוע משימה בצורה אוטונומית!
כאן המשימה הייתה:
1. תאתר 5 מאמרים מאתר ספציפי שבו מתפרסמים מחקרים
2. צור תמונות עם דאלי (מודל יצירת התמונות של OPENAI שהוטמע גם במייקרוסופט)
3. צור קובץ PDF עם תמונה רלוונטית בעמוד הראשון, סיכום בעמוד השני שגולש גם לעמוד השלישי
כל זה הושלם בערך ב-45 שניות. ללא קוד. היכולת הזו מתאפשרת דרך היכולת של מייקרוסופט שנקראת AutoGen, ומאפשר ליצור צוותים של סוכני AI, להגדיר תקשורת ביניהם, ואת כל זה לנהל גם בממשק שנקרא AutoGen Studio.
אף פעם לא נמאס לראות את היכולות האלה משתפרות!
*יובל אבידני*
כאן המשימה הייתה:
1. תאתר 5 מאמרים מאתר ספציפי שבו מתפרסמים מחקרים
2. צור תמונות עם דאלי (מודל יצירת התמונות של OPENAI שהוטמע גם במייקרוסופט)
3. צור קובץ PDF עם תמונה רלוונטית בעמוד הראשון, סיכום בעמוד השני שגולש גם לעמוד השלישי
כל זה הושלם בערך ב-45 שניות. ללא קוד. היכולת הזו מתאפשרת דרך היכולת של מייקרוסופט שנקראת AutoGen, ומאפשר ליצור צוותים של סוכני AI, להגדיר תקשורת ביניהם, ואת כל זה לנהל גם בממשק שנקרא AutoGen Studio.
אף פעם לא נמאס לראות את היכולות האלה משתפרות!
*יובל אבידני*
אוקיי, וואו: אנתרופיק, האמא של מודל השפה ״קלוד״ משחררת את קלוד 3, מודל שפה משודרג שלכאורה מנצח את GPT-4 בכל הפרמטרים (אני ספקן וזהיר אבל קלוד חמוד אז מפרגן לו. בניגוד ל…)
מה חדש בו?
תומך בחלון הקשר של 200 אלף טוקנים, ומסוגל להתמודד עם שיחה שבה יש מיליון טוקנים (כמו ג׳ימיני), ולפי הדיווחים גם מסוגל לתשאל בסיס נתונים גדול.
אזכיר שקלוד היה מודל הדגל המתחרה בGPT-4 בזמנו, עם עברית מושלמת, וחירטוטים שהשם יעזור. הפעם נקווה שהוא מדויק יותר, אפשר לתת לו זהויות, פרסונות, הוא גם מולטימודל, משמע מסוגל לקבל גם טקסט וגם תמונות!
זה באמת מסקרן. היידה קלוד!
*יובל אבידני*
מה חדש בו?
תומך בחלון הקשר של 200 אלף טוקנים, ומסוגל להתמודד עם שיחה שבה יש מיליון טוקנים (כמו ג׳ימיני), ולפי הדיווחים גם מסוגל לתשאל בסיס נתונים גדול.
אזכיר שקלוד היה מודל הדגל המתחרה בGPT-4 בזמנו, עם עברית מושלמת, וחירטוטים שהשם יעזור. הפעם נקווה שהוא מדויק יותר, אפשר לתת לו זהויות, פרסונות, הוא גם מולטימודל, משמע מסוגל לקבל גם טקסט וגם תמונות!
זה באמת מסקרן. היידה קלוד!
*יובל אבידני*
איך נשמע לכם סוכן AI שמבין לבד כמה הוא מסוגל לזכור ומתנהל בהתאם? זה מה ש-MemGPT מאפשר.
אז היום מסרב להסתיים: אנו עדים למירוץ מרתק בין מודלים גדולים של שפה. היות והזיכרון שלהם מוגבל, הם עומלים קשה כדי להרחיב את חלון ההקשר שלהם. קרי: את הכמות שהם מסוגלים לזכור בשיחה.
התחלנו עם כ-4000 אסימונים, המשכנו ל-8000, משם ל-16000 ול-32000, קלוד היה חלוץ עם 100,000, ואז OpenAI עם 128,000, משם קלוד עם 200,000, גוגל ג׳ימיני עם מיליון (מהלא קשורים..), עכשיו קלוד מדביק למיליון, ובקרוב GPT-5 גם יגיע לזה ואף יותר ויתן נוק אאוט משלו.
מירוץ משוגע של מי זוכר יותר. חשוב להבין, ככל שהיכולת לזכור משתפרת, כך התשובות על מאגרי ידע שמקושרים למודל השפה - טובות יותר. היום בגלל בעיות בגודל חלון ההקשר, אנחנו חותכים את המידע לחתיכות, ממירים אותו למספרים ושומרים אותו בצורה מיוחדת, אחר כך כשאנחנו שואלים שאלות, השאלות הופכות למספרים, ובאמצעות טכניקה מיוחדת משווים בין המספרים של השאלה למספרים של המידע ששמור בצד בצורה מיוחדת, ואם יש התאמה בקרבה המספרית, המספרים הקרובים נשלפים והופכים חזרה לטקסט וזה מה שאנחנו מקבלים. זו טכניקת שליפה שנקראת RAG. ההמרה למספרים נקראת Embeddings.
את כל זה אפשר לבצע יחסית בקלות בין בקוד עם לנגצ׳יין המלך, בין עם FlowiseAI (ללא קוד), בין עם Botpress, Voiceflow, Officely ועוד.
מלבד מירוץ גודל חלון הקונטקסט, קיימת טכניקה נוספת בשם MemGPT שבעצם, כדברי האגדה אנדרי קפארתי הגאון, מסתכלת על מודל שפה כשכבת הליבה של מערכת הפעלה ולא כצ׳אטבוט. כך בעצם היא משתמשת במודל השפה כדי ללמד אותו מה מגבלת הזיכרון שלו, שומרת מידע על הכונן של המחשב, ובעצם הופכת את הצ׳אט למעין חיפוש תמידי. לא רק השוואה מספרית, אלא מודל השפה בוחר מה לשמור בצד ומה לא (כמו שמירה בדיסק), לאחר מכן בכל שאלה המודל יודע מה לשלוף ומה לא, ומה לשמור בחלון ההקשר ומה לא.
כדי שנבין, לנגצ׳יין המלך כולל מספר טכניקות של זיכרון כפי שכתבתי בהרחבה בעבר. אך MemGPT מסתכל על הכל אחרת, והיישום של לנגצ׳יין כלול ב MemGPT תחת קטגוריה של זיכרון ״שיחה״, אך הוא מכיל קטגוריות נוספות בעלות עוצמה שממצבות אותו ביתרון על פני יכולות הזיכרון של לנגצ׳יין.
קחו את זה, חברו את זה ל AutoGen שהזכרתי, ויש לכם חתיכת פצצה של סוכני AI. עכשיו קחו את זה לשירות לקוחות, למכירות, לתמיכה, לפסיכולוגיה, לרפואה. וואו על היכולות. איזה כיף. אשרי הדור הזה!
*יובל אבידני*
אז היום מסרב להסתיים: אנו עדים למירוץ מרתק בין מודלים גדולים של שפה. היות והזיכרון שלהם מוגבל, הם עומלים קשה כדי להרחיב את חלון ההקשר שלהם. קרי: את הכמות שהם מסוגלים לזכור בשיחה.
התחלנו עם כ-4000 אסימונים, המשכנו ל-8000, משם ל-16000 ול-32000, קלוד היה חלוץ עם 100,000, ואז OpenAI עם 128,000, משם קלוד עם 200,000, גוגל ג׳ימיני עם מיליון (מהלא קשורים..), עכשיו קלוד מדביק למיליון, ובקרוב GPT-5 גם יגיע לזה ואף יותר ויתן נוק אאוט משלו.
מירוץ משוגע של מי זוכר יותר. חשוב להבין, ככל שהיכולת לזכור משתפרת, כך התשובות על מאגרי ידע שמקושרים למודל השפה - טובות יותר. היום בגלל בעיות בגודל חלון ההקשר, אנחנו חותכים את המידע לחתיכות, ממירים אותו למספרים ושומרים אותו בצורה מיוחדת, אחר כך כשאנחנו שואלים שאלות, השאלות הופכות למספרים, ובאמצעות טכניקה מיוחדת משווים בין המספרים של השאלה למספרים של המידע ששמור בצד בצורה מיוחדת, ואם יש התאמה בקרבה המספרית, המספרים הקרובים נשלפים והופכים חזרה לטקסט וזה מה שאנחנו מקבלים. זו טכניקת שליפה שנקראת RAG. ההמרה למספרים נקראת Embeddings.
את כל זה אפשר לבצע יחסית בקלות בין בקוד עם לנגצ׳יין המלך, בין עם FlowiseAI (ללא קוד), בין עם Botpress, Voiceflow, Officely ועוד.
מלבד מירוץ גודל חלון הקונטקסט, קיימת טכניקה נוספת בשם MemGPT שבעצם, כדברי האגדה אנדרי קפארתי הגאון, מסתכלת על מודל שפה כשכבת הליבה של מערכת הפעלה ולא כצ׳אטבוט. כך בעצם היא משתמשת במודל השפה כדי ללמד אותו מה מגבלת הזיכרון שלו, שומרת מידע על הכונן של המחשב, ובעצם הופכת את הצ׳אט למעין חיפוש תמידי. לא רק השוואה מספרית, אלא מודל השפה בוחר מה לשמור בצד ומה לא (כמו שמירה בדיסק), לאחר מכן בכל שאלה המודל יודע מה לשלוף ומה לא, ומה לשמור בחלון ההקשר ומה לא.
כדי שנבין, לנגצ׳יין המלך כולל מספר טכניקות של זיכרון כפי שכתבתי בהרחבה בעבר. אך MemGPT מסתכל על הכל אחרת, והיישום של לנגצ׳יין כלול ב MemGPT תחת קטגוריה של זיכרון ״שיחה״, אך הוא מכיל קטגוריות נוספות בעלות עוצמה שממצבות אותו ביתרון על פני יכולות הזיכרון של לנגצ׳יין.
קחו את זה, חברו את זה ל AutoGen שהזכרתי, ויש לכם חתיכת פצצה של סוכני AI. עכשיו קחו את זה לשירות לקוחות, למכירות, לתמיכה, לפסיכולוגיה, לרפואה. וואו על היכולות. איזה כיף. אשרי הדור הזה!
*יובל אבידני*
Media is too big
VIEW IN TELEGRAM
הפעם בפינתנו ״AI בקטנה״: בואו נדבר על איך עובד מודל שפה
#מודלשפה #LLM #בינהמלאכותית #למידתמכונה #טרנזפורמרים #טרנספורמרים #טרנזפורמר #טרנספורמר #AI #ML #MachineLearning #Transformers #Transformer
#מודלשפה #LLM #בינהמלאכותית #למידתמכונה #טרנזפורמרים #טרנספורמרים #טרנזפורמר #טרנספורמר #AI #ML #MachineLearning #Transformers #Transformer