Media is too big
VIEW IN TELEGRAM
הפעם בפינתנו ״AI בקטנה״: בואו נדבר על איך עובד מודל שפה
#מודלשפה #LLM #בינהמלאכותית #למידתמכונה #טרנזפורמרים #טרנספורמרים #טרנזפורמר #טרנספורמר #AI #ML #MachineLearning #Transformers #Transformer
#מודלשפה #LLM #בינהמלאכותית #למידתמכונה #טרנזפורמרים #טרנספורמרים #טרנזפורמר #טרנספורמר #AI #ML #MachineLearning #Transformers #Transformer
תשומת לב זה כל מה שאנחנו צריכים? בואו נבין איך AI מצליח להשיב לנו בצורה אנושית - מתחת למכסה המנוע - אבל לא יותר מדי.
לפני שנשיב על זה, צריך להבין שעוד הרבה לפני עידן OpenAI היו טכניקות לבצע את זה. הרעיון די זהה: לאמן מודל שפה על כמות של טקסט כך שהוא יצליח לחזות את התו או המילה הבאה. כאשר נזין טקסט כלשהו, אותו מודל שאומן מראש על כמות גדולה של טקסט, ינסה להבין את הטקסט, ועל בסיס הידע שהוא אומן עליו, הוא גם ינחש את התו או המילה הבאה.
דוגמא כדי שנבין: לקחנו את כל האנציקלופדיה של בריטניקה לנוער (כן, אני קשיש והיה לנו כזה בבית), הזנו אותה לרשת נוירונים, ביצענו למידה ״עמוקה״, שמתאמנת על המידע, מבינה איזה מילים אמורות להגיע אחרי איזה מילים, וגם אם נזין מילים שלא הופיעו בשלב האימון, נצפה שהמודל ידע להשיב לנו. התשובה היא בעצם ניחוש סטטיסטי. בגלל שהוא קרא המון ולמד הקשרים, הוא גם מניח הנחות של איזו מילה תהיה להבא.
כך אם הוא התאמן על כל האנציקלופדיה, אם אשאל שאלה בסגנון של ״אריק אינשטיין היה״ - הוא אמור לדעת להשלים. ואם הגדלנו לעשות ואימנו את המודל גם על סוג של שאלות ותשובות, הוא ידע לענות. ״מי זה אריק איינשטיין?״ אמור לתת לנו את התשובה. לא מידע. אלא מהסקת מסקנות סטטיסטיות.
טוב. אז כל זה כבר היה לנו בסוגים שונים של רשתות נוירונים, בהן GCU ו RNN, שזה רשתות נוירונים מסוגים שונים, שמסוגלות לקבל גודל מסוים של טקסט וממנו לנסות להבין הקשרים. אבל החיסרון שלהם היה חוסר היכולת לקבל כמות גדולה מאוד של טקסט. הצורה שבה הם עובדים לא מאפשרת הבנה עמוקה מדי, מחסור בהקשרים, בשל חוסר קיבולת להסיק מטקסטים ארוכים.
ואז ב-2017 הגיע מאמר שבו מפורטת ארכיטקטורת טרנזפורמרים שנשענת על מנגנון תשומת לב. Attension. כאן החידוש הוא שבהינתן המשאבים הנכונים, אין הגבלה לגודל כמות הטקסט בשלב האימון, כך שניתן להסיק מסקנות גם מטקסטים גדולים מאוד. ויותר מזה - הוכח שככל שיש יותר מידע ויותר משאבים, גם התוצאות של החיזוי מוצלחות יותר! ולא רק זה, אלא הצורה שבה ההקשרים בין המילים מתבצעת, עובדת לתפארת. ואיך? לוקחים דגימות רנדומליות מטקסט האימון, המודל מצייר לעצמו טבלה עם ניקוד, ובה ניקוד לכל מילה שאמורה להיות הבאה בתור (בצורה הגיוניות), כמו ״אני אוהב לאכול״, אוהב יקבל ניקוד שמסמל שהוא כנראה צריך להיות אחרי אני, ולאכול אחרי אוהב, וכך הלאה.
טקסט הופך להקשרים, הקשרים למספרים, מספרים לניקוד, ניקוד לרף שמסמל את הסף לניבוי בהצלחה של המילה הבאה. הקסם הזה הוא מה שמאפשר לטרנזפורמרים להיות ככ עוצמתיים. לתת את המשקל ואת תשומת הלב להקשרים הנכונים, להניח הנחות, להבין מטקסט גדול, וכל זה באמצעות מנגנון די מרשים של מקודד ומפענח, מקודד שהופך קטעים טקסטואליים לייצוג מספרי, ומפענח שבצורה איטרטיבית (חוזרת ונשנית) מקבל את הפלט מהמקודד, ממיר אותו לטקסט, ומזין אותו שוב לעצמו, ומייצר שוב את המילה הבאה.
טרנזפורמר קיים גם במודל BERT של גוגל וגם ב GPT (זה ה-T בסוף). למה אצל גוגל זה כישלון ואצל OpenAI זו הצלחה מסחררת? בגלל האופן שבו מיושמת ארכיטקטורת הטרנספורמים והדרך שבו מנגנון תשומת הלב עובד, בגלל שיטת האימון וצורת הלמידה, ובגלל הטקסט והFine Tuning של OpenAI שלא רק משלים טקסט אלא גם מאפשר עבודה של שאלות ותשובות.
מדובר באוקיינוס של מידע, בבחינת ״רב הנסתר על הגלוי״, ויש פה עוד המון מידע שלא פירטתי לגביו ברמת המכניקה של ארכיטקטורת הטרנזפורמרים, אבל גם אם הבנו את הבסיס - זכינו. ולסיכום:
טרנזפורמר הוא סוג של מודל שמאומן על ידי למידת מכונה מסוג רשת נוירונים, למידה עמוקה
ככל שיש לרשת יותר דאטה ויותר כוח מחשוב - תוצאת הניבוי של המודל טובה יותר
ב-2017 הוצג מנגנון תשומת הלב וארכיטקטורת הטרנזפורמרים המאפשרת קידוד ופענוח בצורה גאונית. המאמר פורסם ע״י צוות של Google Brain, בו גם איליה סוצקובר הישראלי, לימים ממייסדי OpenAI והנמסיס המושבע של סם אלטמן.
אילון מאסק שמתעב את גוגל ומייקרוסופט שכנע את סוצקובר לעבור מגוגל, השקיע 50 מיליון דולר, קבע שהשם הוא OpenAI כדי לעקוץ את גוגל שהיא מודל סגור - ורצה שהחברה תהיה מלכ״ר. מוסד ללא כוונת רווח. לימים עם הצלחתה של החברה, אלטמן יעשה קומבינה, יקים חברת בת, שיהיה לה מותר לקבל השקעות של עד פי 100 מההשקעה הראשונית. קרי עד 5 מיליארד דולר. כיום אילון מאסק תבע את OpenAI היות והיא כבר שווה 90 מיליארד דולר, מה שוודאי סותר את מטרת הקמתה ואת ההשקעה הראשונית. מאסק גם הכריז על מודל שפה משלו, גרוק, שאמור לדעתי להיות מעניין מאוד על אף שהרבה סבורים שזו בדיחה לא מוצלחת שלו. אני חושב אחרת.
זה היה על טרנזפורמרים. יהיו שיכעסו כי קיצרתי טכנית, יהיו שיאהבו, יהיו מי שיגידו שלא דייקתי. אבל זה הבסיס במבט על. מקווה שנהניתם!
*יובל אבידני*
לפני שנשיב על זה, צריך להבין שעוד הרבה לפני עידן OpenAI היו טכניקות לבצע את זה. הרעיון די זהה: לאמן מודל שפה על כמות של טקסט כך שהוא יצליח לחזות את התו או המילה הבאה. כאשר נזין טקסט כלשהו, אותו מודל שאומן מראש על כמות גדולה של טקסט, ינסה להבין את הטקסט, ועל בסיס הידע שהוא אומן עליו, הוא גם ינחש את התו או המילה הבאה.
דוגמא כדי שנבין: לקחנו את כל האנציקלופדיה של בריטניקה לנוער (כן, אני קשיש והיה לנו כזה בבית), הזנו אותה לרשת נוירונים, ביצענו למידה ״עמוקה״, שמתאמנת על המידע, מבינה איזה מילים אמורות להגיע אחרי איזה מילים, וגם אם נזין מילים שלא הופיעו בשלב האימון, נצפה שהמודל ידע להשיב לנו. התשובה היא בעצם ניחוש סטטיסטי. בגלל שהוא קרא המון ולמד הקשרים, הוא גם מניח הנחות של איזו מילה תהיה להבא.
כך אם הוא התאמן על כל האנציקלופדיה, אם אשאל שאלה בסגנון של ״אריק אינשטיין היה״ - הוא אמור לדעת להשלים. ואם הגדלנו לעשות ואימנו את המודל גם על סוג של שאלות ותשובות, הוא ידע לענות. ״מי זה אריק איינשטיין?״ אמור לתת לנו את התשובה. לא מידע. אלא מהסקת מסקנות סטטיסטיות.
טוב. אז כל זה כבר היה לנו בסוגים שונים של רשתות נוירונים, בהן GCU ו RNN, שזה רשתות נוירונים מסוגים שונים, שמסוגלות לקבל גודל מסוים של טקסט וממנו לנסות להבין הקשרים. אבל החיסרון שלהם היה חוסר היכולת לקבל כמות גדולה מאוד של טקסט. הצורה שבה הם עובדים לא מאפשרת הבנה עמוקה מדי, מחסור בהקשרים, בשל חוסר קיבולת להסיק מטקסטים ארוכים.
ואז ב-2017 הגיע מאמר שבו מפורטת ארכיטקטורת טרנזפורמרים שנשענת על מנגנון תשומת לב. Attension. כאן החידוש הוא שבהינתן המשאבים הנכונים, אין הגבלה לגודל כמות הטקסט בשלב האימון, כך שניתן להסיק מסקנות גם מטקסטים גדולים מאוד. ויותר מזה - הוכח שככל שיש יותר מידע ויותר משאבים, גם התוצאות של החיזוי מוצלחות יותר! ולא רק זה, אלא הצורה שבה ההקשרים בין המילים מתבצעת, עובדת לתפארת. ואיך? לוקחים דגימות רנדומליות מטקסט האימון, המודל מצייר לעצמו טבלה עם ניקוד, ובה ניקוד לכל מילה שאמורה להיות הבאה בתור (בצורה הגיוניות), כמו ״אני אוהב לאכול״, אוהב יקבל ניקוד שמסמל שהוא כנראה צריך להיות אחרי אני, ולאכול אחרי אוהב, וכך הלאה.
טקסט הופך להקשרים, הקשרים למספרים, מספרים לניקוד, ניקוד לרף שמסמל את הסף לניבוי בהצלחה של המילה הבאה. הקסם הזה הוא מה שמאפשר לטרנזפורמרים להיות ככ עוצמתיים. לתת את המשקל ואת תשומת הלב להקשרים הנכונים, להניח הנחות, להבין מטקסט גדול, וכל זה באמצעות מנגנון די מרשים של מקודד ומפענח, מקודד שהופך קטעים טקסטואליים לייצוג מספרי, ומפענח שבצורה איטרטיבית (חוזרת ונשנית) מקבל את הפלט מהמקודד, ממיר אותו לטקסט, ומזין אותו שוב לעצמו, ומייצר שוב את המילה הבאה.
טרנזפורמר קיים גם במודל BERT של גוגל וגם ב GPT (זה ה-T בסוף). למה אצל גוגל זה כישלון ואצל OpenAI זו הצלחה מסחררת? בגלל האופן שבו מיושמת ארכיטקטורת הטרנספורמים והדרך שבו מנגנון תשומת הלב עובד, בגלל שיטת האימון וצורת הלמידה, ובגלל הטקסט והFine Tuning של OpenAI שלא רק משלים טקסט אלא גם מאפשר עבודה של שאלות ותשובות.
מדובר באוקיינוס של מידע, בבחינת ״רב הנסתר על הגלוי״, ויש פה עוד המון מידע שלא פירטתי לגביו ברמת המכניקה של ארכיטקטורת הטרנזפורמרים, אבל גם אם הבנו את הבסיס - זכינו. ולסיכום:
טרנזפורמר הוא סוג של מודל שמאומן על ידי למידת מכונה מסוג רשת נוירונים, למידה עמוקה
ככל שיש לרשת יותר דאטה ויותר כוח מחשוב - תוצאת הניבוי של המודל טובה יותר
ב-2017 הוצג מנגנון תשומת הלב וארכיטקטורת הטרנזפורמרים המאפשרת קידוד ופענוח בצורה גאונית. המאמר פורסם ע״י צוות של Google Brain, בו גם איליה סוצקובר הישראלי, לימים ממייסדי OpenAI והנמסיס המושבע של סם אלטמן.
אילון מאסק שמתעב את גוגל ומייקרוסופט שכנע את סוצקובר לעבור מגוגל, השקיע 50 מיליון דולר, קבע שהשם הוא OpenAI כדי לעקוץ את גוגל שהיא מודל סגור - ורצה שהחברה תהיה מלכ״ר. מוסד ללא כוונת רווח. לימים עם הצלחתה של החברה, אלטמן יעשה קומבינה, יקים חברת בת, שיהיה לה מותר לקבל השקעות של עד פי 100 מההשקעה הראשונית. קרי עד 5 מיליארד דולר. כיום אילון מאסק תבע את OpenAI היות והיא כבר שווה 90 מיליארד דולר, מה שוודאי סותר את מטרת הקמתה ואת ההשקעה הראשונית. מאסק גם הכריז על מודל שפה משלו, גרוק, שאמור לדעתי להיות מעניין מאוד על אף שהרבה סבורים שזו בדיחה לא מוצלחת שלו. אני חושב אחרת.
זה היה על טרנזפורמרים. יהיו שיכעסו כי קיצרתי טכנית, יהיו שיאהבו, יהיו מי שיגידו שלא דייקתי. אבל זה הבסיס במבט על. מקווה שנהניתם!
*יובל אבידני*
קבלו 30 שניות על הכלי המדהים ששודרג לאחרונה ויוצר תמונות עם טקסט מוטמע בצורה מטריפה!
https://vt.tiktok.com/ZSFUrF58a/
https://vt.tiktok.com/ZSFUrF58a/
איך נטפליקס ויוטיוב יודעים להמליץ לנו על תכנים שעשויים לעניין אותנו? כי עוד לפני שנים רבות הם הטמיעו AI במערכות שלהם כדי להבין טוב יותר את המשתמשים.
כשאנחנו מדברים על AI ועל למידת מכונה, אנחנו לפעמים לא יודעים שמתחת למכסה המנוע מסתתר עולם שנקרא "מדעי הנתונים" או Data Science. העולם הנסתר הזה, בעצם מנסה לפתור בעיות באמצעות הוכחות מספריות.
נבין את זה רקע באמצעות הצד ההפוך - נניח שאנחנו לא משתמשים בניתוח של נתונים. נניח שאנחנו נטפליקס, יש לנו המון תכנים, אנחנו רוצים למכור חבילות צפייה למשתמשים ולהרוויח כמה שיותר. אחלה. יש לנו מיליוני לקוחות וימבה כסף.
אז איפה הבעיה? שזה שיש לנו מוצר מגניב ולקוחות משלמים זה מעולה. אבל מה אם היינו יכולים גם לנסות להבין את הצופים? איך היינו ניגשים לזה?
היינו צריכים לאסוף מידע. כמה מנויים יש לנו, לאיזה מסלולים, מהם התכנים המובילים, באילו קטגוריות, מה מעניין משתמשים ומה לא, האם מגדר מסוים אוהב תוכן בסגנון אחד ומגדר אחר בסגנון שני? ומה לגבי מדינות? אולי בארץ אחת אוהבים סגנון A ואילו במקום אחר אוהבים B? ואולי גם נוכל לנסות להבין איזה תכנים יעניינו את הצופים? כי אם הם צפו ב-1 ו-2 ו-3, אולי יעניין אותם גם 4? אם צפיתי בהארי פוטר - האם אוהב את שר הטבעות? אם אני אוהב את סיינפלד (מה שנכון), האם אוהב גם את חברים (מה שסביר אבל פחות מסיינפלד. כן. פחות מסיינפלד)?
למה כל זה בכלל מעניין אותנו? כי אם נצליח להבין את המשתמשים שלנו, נוכל ליצור חוויה "תפורה" אישית לכל אחד ואחת. נמליץ לכל צופה על תוכן שרלוונטי ספציפית אליה\ו. ואז מה? יצפו יותר, יתמכרו יותר, יאהבו יותר, ירגישו שמכירים אותם יותר, הרווחים יגדלו, והחוויה תהיה טובה יותר.
ואיך אנחנו יכולים לעשות את זה?
אנחנו יכולים להגדיר מה הפעולות שעליהן נשמור מידע בבסיס הנתונים שלנו. למשל - איזור, תוכן, משך צפייה, נושאים, סדרות ועוד. לאחר מכן, נוכל לייצא דוח ולעבור ידנית על הטבלה ולנסות להסיק מסקנות. ניתוח נתונים זה נקרא. אבל ידנית זה קשה מאוד. בטח כאשר יש טונות של דאטה. טונות של מידע. מאיפה בכלל מתחילים?!
אז מסתבר שעוד לפני שנים רבות ניסו לפתור בעיות כאלה ועוד. איך? ישבו וחשבו, ואמרו: רגע, זה טונות של מידע. מה אם במקום לנתח את כל המידע הזה ידנית, פשוט נאגור אותו בכמויות ואז נזין אותו לתוך תוכנה שתנסה לזהות דפוסים, סוגים של צופים, חלוקה לקבוצות מסוימות? אולי כך נבין טוב יותר את הצופים שלנו?
כאן העלילה מסתבכת כי אנו נאלצים שוב לחזור רגע אחורה ולתהות: מה הבעיה שאנחנו מנסים לפתור? הנה מספר דוגמאות:
1. איך אנחנו מציגים המלצות לצופים על תכנים שבאמת יעניינו אותם? אנחנו לא רוצים להציג תכנים אלימים לאנשים שצופים רוב הזמן בקומדיה רומנטית למשל.
2. מה המחיר המקסימלי שלקוח ישלם על חבילת צפיה, ועל איזה מסלול הכי משתלם לתת לו את ההנחה, או מה הסיכוי שלקוח מסוים יקח מסלול יקר יותר אם נלחץ לו על נקודה מסוימת?
3. הונאות. האם מתבצעות הונאות בעת תשלום? האם ניתן לזהות תוקפים שמנסים לגשת לחשבון של לקוח ממקום אחר פתאום?
כדי להצליח לפתור כל אחת מהבעיות הללו, אנחנו צריכים מידע, דאטה, והמון ממנו. בכמויות. דאטה על משתמשים. ברגע שיש לנו את זה, אנחנו יכולים להחליט האם אנחנו רוצים גם לתייג ידנית מה נחשב לקוח "טוב" ומה לא, מה הסיכוי באחוזים שלקוח מסוים ירכוש מסלול פרימיום ומה לא, מתי הצגנו מודעה רלוונטית ומתי לא.
ברגע שיש לנו מספיק דאטה, אנחנו יכולים להחליט באיזה אלגוריתמים של למידת מכונה נרצה להשתמש, בהתאם למה שאנחנו בעצם מנסים לנבא. כאמור, יש סוגים שונים, רבים מאוד. וזה הקטע המאתגר: להבין באיזה לוגיקה משתמשים. אבל ברגע שמחליטים, ויש לנו גם דאטה, אנחנו מתחילים תהליך אימון של מודל. במסגרתו, המכונה לומדת את המידע היטב, ומתחילה תהליך אימון שבסופה נקבל קובץ כלשהו שיישמר בצד. לאחר מכן, בכל פעם, לפני שנציג לצופה המלצה מסוימת, אנחנו נעביר את המידע על המשתמש למודל, והוא ינבא מה הסיכוים שזה התוכן הרצוי, ובמידה והסיכויים גבוהים - רק אז ההמלצה תוצג.
זה קצה הקרחון. ובעצם מונחים טכניים שהזכרתי כאן כוללים:
1. למידת מכונה
2. למידת מכונה "לא מושגחת" שמסוגלת לזהות דפוסים \ דימיון בדאטה (CLUSTERING)
3. למידת מכונה "מפוקחת" או "מושגחת" שלומדת לנבא תוצאות בהתאם לתיוג שהוזן למידע מלכתחילה
מקצת הכלים שבהם מבצעים שימוש כדי לפתור את הבעיות האלה:
1. פייתון כמובן (pandas, numpy)
2. scikit-learn חבילת אלגוריתמים של למידת מכונה
3. חבילות Machine Learning לפיתוח כמו PyTorch ו-TensorFlow
תיארתי כאן הכל בצורה כללית מאוד, כדי לשמור על פשטות. עם הזמן נצלול עוד ועוד למונחים נוספים. אבל לסיכום: באמצעות מודלים של למידת מכונה, אנחנו יכולים ליצור מודל שילמד לבד איך לפתור את הבעיה שברצוננו לפתור.
כשאנחנו מדברים על AI ועל למידת מכונה, אנחנו לפעמים לא יודעים שמתחת למכסה המנוע מסתתר עולם שנקרא "מדעי הנתונים" או Data Science. העולם הנסתר הזה, בעצם מנסה לפתור בעיות באמצעות הוכחות מספריות.
נבין את זה רקע באמצעות הצד ההפוך - נניח שאנחנו לא משתמשים בניתוח של נתונים. נניח שאנחנו נטפליקס, יש לנו המון תכנים, אנחנו רוצים למכור חבילות צפייה למשתמשים ולהרוויח כמה שיותר. אחלה. יש לנו מיליוני לקוחות וימבה כסף.
אז איפה הבעיה? שזה שיש לנו מוצר מגניב ולקוחות משלמים זה מעולה. אבל מה אם היינו יכולים גם לנסות להבין את הצופים? איך היינו ניגשים לזה?
היינו צריכים לאסוף מידע. כמה מנויים יש לנו, לאיזה מסלולים, מהם התכנים המובילים, באילו קטגוריות, מה מעניין משתמשים ומה לא, האם מגדר מסוים אוהב תוכן בסגנון אחד ומגדר אחר בסגנון שני? ומה לגבי מדינות? אולי בארץ אחת אוהבים סגנון A ואילו במקום אחר אוהבים B? ואולי גם נוכל לנסות להבין איזה תכנים יעניינו את הצופים? כי אם הם צפו ב-1 ו-2 ו-3, אולי יעניין אותם גם 4? אם צפיתי בהארי פוטר - האם אוהב את שר הטבעות? אם אני אוהב את סיינפלד (מה שנכון), האם אוהב גם את חברים (מה שסביר אבל פחות מסיינפלד. כן. פחות מסיינפלד)?
למה כל זה בכלל מעניין אותנו? כי אם נצליח להבין את המשתמשים שלנו, נוכל ליצור חוויה "תפורה" אישית לכל אחד ואחת. נמליץ לכל צופה על תוכן שרלוונטי ספציפית אליה\ו. ואז מה? יצפו יותר, יתמכרו יותר, יאהבו יותר, ירגישו שמכירים אותם יותר, הרווחים יגדלו, והחוויה תהיה טובה יותר.
ואיך אנחנו יכולים לעשות את זה?
אנחנו יכולים להגדיר מה הפעולות שעליהן נשמור מידע בבסיס הנתונים שלנו. למשל - איזור, תוכן, משך צפייה, נושאים, סדרות ועוד. לאחר מכן, נוכל לייצא דוח ולעבור ידנית על הטבלה ולנסות להסיק מסקנות. ניתוח נתונים זה נקרא. אבל ידנית זה קשה מאוד. בטח כאשר יש טונות של דאטה. טונות של מידע. מאיפה בכלל מתחילים?!
אז מסתבר שעוד לפני שנים רבות ניסו לפתור בעיות כאלה ועוד. איך? ישבו וחשבו, ואמרו: רגע, זה טונות של מידע. מה אם במקום לנתח את כל המידע הזה ידנית, פשוט נאגור אותו בכמויות ואז נזין אותו לתוך תוכנה שתנסה לזהות דפוסים, סוגים של צופים, חלוקה לקבוצות מסוימות? אולי כך נבין טוב יותר את הצופים שלנו?
כאן העלילה מסתבכת כי אנו נאלצים שוב לחזור רגע אחורה ולתהות: מה הבעיה שאנחנו מנסים לפתור? הנה מספר דוגמאות:
1. איך אנחנו מציגים המלצות לצופים על תכנים שבאמת יעניינו אותם? אנחנו לא רוצים להציג תכנים אלימים לאנשים שצופים רוב הזמן בקומדיה רומנטית למשל.
2. מה המחיר המקסימלי שלקוח ישלם על חבילת צפיה, ועל איזה מסלול הכי משתלם לתת לו את ההנחה, או מה הסיכוי שלקוח מסוים יקח מסלול יקר יותר אם נלחץ לו על נקודה מסוימת?
3. הונאות. האם מתבצעות הונאות בעת תשלום? האם ניתן לזהות תוקפים שמנסים לגשת לחשבון של לקוח ממקום אחר פתאום?
כדי להצליח לפתור כל אחת מהבעיות הללו, אנחנו צריכים מידע, דאטה, והמון ממנו. בכמויות. דאטה על משתמשים. ברגע שיש לנו את זה, אנחנו יכולים להחליט האם אנחנו רוצים גם לתייג ידנית מה נחשב לקוח "טוב" ומה לא, מה הסיכוי באחוזים שלקוח מסוים ירכוש מסלול פרימיום ומה לא, מתי הצגנו מודעה רלוונטית ומתי לא.
ברגע שיש לנו מספיק דאטה, אנחנו יכולים להחליט באיזה אלגוריתמים של למידת מכונה נרצה להשתמש, בהתאם למה שאנחנו בעצם מנסים לנבא. כאמור, יש סוגים שונים, רבים מאוד. וזה הקטע המאתגר: להבין באיזה לוגיקה משתמשים. אבל ברגע שמחליטים, ויש לנו גם דאטה, אנחנו מתחילים תהליך אימון של מודל. במסגרתו, המכונה לומדת את המידע היטב, ומתחילה תהליך אימון שבסופה נקבל קובץ כלשהו שיישמר בצד. לאחר מכן, בכל פעם, לפני שנציג לצופה המלצה מסוימת, אנחנו נעביר את המידע על המשתמש למודל, והוא ינבא מה הסיכוים שזה התוכן הרצוי, ובמידה והסיכויים גבוהים - רק אז ההמלצה תוצג.
זה קצה הקרחון. ובעצם מונחים טכניים שהזכרתי כאן כוללים:
1. למידת מכונה
2. למידת מכונה "לא מושגחת" שמסוגלת לזהות דפוסים \ דימיון בדאטה (CLUSTERING)
3. למידת מכונה "מפוקחת" או "מושגחת" שלומדת לנבא תוצאות בהתאם לתיוג שהוזן למידע מלכתחילה
מקצת הכלים שבהם מבצעים שימוש כדי לפתור את הבעיות האלה:
1. פייתון כמובן (pandas, numpy)
2. scikit-learn חבילת אלגוריתמים של למידת מכונה
3. חבילות Machine Learning לפיתוח כמו PyTorch ו-TensorFlow
תיארתי כאן הכל בצורה כללית מאוד, כדי לשמור על פשטות. עם הזמן נצלול עוד ועוד למונחים נוספים. אבל לסיכום: באמצעות מודלים של למידת מכונה, אנחנו יכולים ליצור מודל שילמד לבד איך לפתור את הבעיה שברצוננו לפתור.
הוא לומד זאת על ידי המון דאטה + בחירת אלגוריתם של למידת מכונה שמנחה אותו כיצד ללמוד מלכתחילה. ברגע שתהליך הלמידה הסתיים, מתבצע תשאול אל מול הקובץ שנוצר, ומתקבל הניבוי, בתקווה גם להצלחה.
אחד הכלים המעניינים מאוד נקרא Kaggle, אתר סופר מעניין שמכיל גם המון מידע וגם המון Data Sets שיכול לעזור לנו ליצור מודלים של למידת מכונה, בכל התחומים - רפואה, תעופה, שירות ועוד.
איך מנתחים נתונים? איך מפתחים מודלים של למידת מכונה? על זאת ועוד בפרקים הבאים כמו שאומרים. ועד אז - מקווה שנהניתם מהפוסט! ואם יש לכם מה לתקן, להגיב או לשתף, אשמח מאוד לקרוא!!
תודה לכם!
*יובל אבידני*
אחד הכלים המעניינים מאוד נקרא Kaggle, אתר סופר מעניין שמכיל גם המון מידע וגם המון Data Sets שיכול לעזור לנו ליצור מודלים של למידת מכונה, בכל התחומים - רפואה, תעופה, שירות ועוד.
איך מנתחים נתונים? איך מפתחים מודלים של למידת מכונה? על זאת ועוד בפרקים הבאים כמו שאומרים. ועד אז - מקווה שנהניתם מהפוסט! ואם יש לכם מה לתקן, להגיב או לשתף, אשמח מאוד לקרוא!!
תודה לכם!
*יובל אבידני*
צפו בראיון המלא שלי לערוץ רלוונט, דיברתי על סוכני AI עם כוחות על. מה זה, מה השימושים, ואיך שומרים על אבטחת המידע.
אשמח לקרוא מה חשבתם 🙏
https://youtu.be/0OC4_ZZaO-E?si=hiloHJCvifTRpIEM
אשמח לקרוא מה חשבתם 🙏
https://youtu.be/0OC4_ZZaO-E?si=hiloHJCvifTRpIEM
YouTube
יובל אבידני בראיון לנועה זילברמן ברלוונט: על סוכני AI עם יכולות על
צפו בראיון המלא שלי לערוץ רלוונט, דיברתי על סוכני AI עם כוחות על. מה זה, מה השימושים, ואיך שומרים על אבטחת המידע.
אשמח לקרוא מה חשבתם 🙏
#רלוונט #בינהמלאכותית #יובלאבידני #אבידני #ai #relevant #yuvalai #hackit #yuvalavidani #avidani
אשמח לקרוא מה חשבתם 🙏
#רלוונט #בינהמלאכותית #יובלאבידני #אבידני #ai #relevant #yuvalai #hackit #yuvalavidani #avidani
למה מודלים גדולים של שפה הלהיבו אותנו אבל גם מאכזבים אותנו? ומהן הסכנות והאכזבות מהם - ואיך מתמודדים?
כשגילינו שאין צורך להיות כל כך דקדקנים, ושפתאום המחשב מסוגל להבין את השאלה שלנו גם אם לא הגדרנו לו מראש תשובה מדויקת ומפורטת לפרטי פרטים, פתאום זה היה מרגש. פתאום הוא מצליח לכתוב עבורנו תוכן. וקוד. ולהיות גשר בין כלים, כזה שמצליח להבין אותנו וליצור לנו תמונות כפי מה שביקשנו. בערך.
הסחף האדיר הזה גרם לעולם להצעיד את עצמו מיליוני צעדים קדימה. מסוכני AI וחבילות פיתוח ומוצרים ללא כל צורך בידע בקוד, דרך קורסים והסמכות וכלה בסטארטאפים וגיוסים סביב מוצרי AI שרובם מבוססים על חיבור למודל שפה כלשהו.
ולצד זה, גם מגיעות האכזבות. בהן:
- הטיה מגדרית, טענות שבינה מלאכותית מבצעת הטיה מגדרית. מנקה תהיה אישה. נהג יהיה גבר. דוגמנית תהיה אישה יפה ולבנה. אסיר יהיה גבר.
- צנזורה. המודלים המסחריים מצונזרים כדי לוודא שלא מבצעים שימוש לא ראוי בפלטפורמה. הרי מודלים מסוגלים להשיב גם על שאלות לא אתיות ואלימות ומסוכנות. ויש מודלים חינמיים שמסוגלים לאפשר את זה. אבל המסחריים מצנזרים. מובן שזה נדרש, אך לעיתים יותר מדי גם היכן שלא נדרש.
- התחושה שאנחנו תקועים בשלב של מודלים של שפה אבל מה הלאה? אנחנו רואים שלפעמים התשובות מעולות ולפעמים ממש לא. לפעמים הוא קולע ולפעמים הוא רחוק. התשובות ברובן קצרות, בעיות גדולות של זיכרון, חוסר תמיכה מספקת בשפה שהיא לא אנגלית. עלויות יקרות לאימון מודלים לצרכים אישיים וצורך בחומרה לא זולה.
אז לגבי הטיות: זה לא שהבינה מטה מגדרית, זה שהיא מאומנת על תיוג של מידע בחלק מהזמן. ואם החומר המתויג הוגדרו הטיות - זה מה שהבינה תלמד.
ולגבי צנזורה: במודלים של מייקרוסופט אפשר לבקש אישור להחריג את היכולות של הצנזורה, כמובן שזה לא ניתן לכל אחד ואחת ובטח שלא בקלות. אבל שתדעו שלצורך עסקי מוכח אפשר לקבל עזרה בהיבט הזה דרך Azure OpenAI.
לגבי סכנות: תחשבו שמודלים מאומנים על מידע מהאינטרנט. אם נבנה אתרים פיקטיביים ונשתול שם קישורים זדוניים או מידע שקרי, בכמויות, אז המידע שהמודל יתאמן עליו יהיה שקרי שגוי ולא נכון. מה שמוביל לתשובות שגויות שעלולות להטעות את המשתמשים.
סכנות נוספות: כאשר מודלים עוצמתיים מובלים על ידי חברות מסחריות אנחנו בבעיה. חברות מסחריות לא פועלות לשם שמיים. לא כדי להפוך את האנושות לטובה יותר. אלטמן, ביל גייטס והשאר - מחזיקים בכח אדיר בידיים שלהם. שהוא מסוכן מדי. מנגד, חברות משמעותיות כמו אנתרופיק וקלוד באמת מנסים לתת דגש על בטיחות. ובזכות מודלים קוד פתוח, הקהילה מאפשרת גם לנו להחזיר אלינו כח רב לא פחות.
לגבי התקיעות עם מודלים גדולים של שפה: הם ילכו וישתפרו כמובן. בכל השפות. אבל החידושים הבאים יהיו מודלים שמראים גם יכולת חשיבה, עצירה, ביקורת עצמית, הבנה, ורק לאחר מכן מענה. לא מענה מהיר ומיידי, אלא ממש הוכחת יכולת של מחשבה וביצוע פעולה מקיפה ויסודית.
גם עצם זה שהבנו את הפואנטה עם מודלים של שפה במתכונתם הנוכחית, אמורה לתת לנו זריקת מרץ להסיט את המבט אל עבר המכניקה של למידת מכונה, שלעניות דעתי מי שישלוט שם, הוא זה שישלוט גם בפריצות הדרך העתידיות.
ואי אפשר בלי לתת ערך - 3 נקודות קטנות:
- קלוד 3 לאחרונה הושק בכמה גרסאות, גרסת הדגל נקראת אופוס והיא ממש מעולה. לא ניסיתי אותה בקוד מול GPT4 ראש בראש עדיין אבל אני אופטימי.
קלוד הוא מודל שפה ״שנכנס ללב״. יש בו קסם. הוא באמת מרתק ומסקרן ובכלל - שווה התייחסות ואי אפשר להתעלם ממנו.
-!יש לנו יכולת היום לבצע ״המשך״ אימון של מודל שפה. מה שנקרא Fine Tune, שזה בגדול מאפשר לנו להמשיך את האימון עם דאטה משלנו, ועל ידי זה לשנות את המשקלים של הפרמטרים של המודל, מה שגורם לו להשיב על שאלות נוספות בהתאם לידע שנוסף לו או להתנהג אחרת. בהתאמה
- כדי לעבוד עם מודלים חינמיים צריך משאבים רציניים יחסית. אפשר להתקין תוכנה כמו Ooga Booga או LMStudio או GPT4All שמאפשרות לנו לשוחח עם מודלים אחרים וחינמיים של שפה גם על חומרים מסווגים וכל זה מבלי לצאת לאינטרנט ואפילו לקבל ממשק נחמד לתשאול.
מקווה שנהניתם מהפוסט, ואשמח לשמוע מה דעתכם על המודלים הקיימים - ולאן פנינו?
*יובל אבידני*
כשגילינו שאין צורך להיות כל כך דקדקנים, ושפתאום המחשב מסוגל להבין את השאלה שלנו גם אם לא הגדרנו לו מראש תשובה מדויקת ומפורטת לפרטי פרטים, פתאום זה היה מרגש. פתאום הוא מצליח לכתוב עבורנו תוכן. וקוד. ולהיות גשר בין כלים, כזה שמצליח להבין אותנו וליצור לנו תמונות כפי מה שביקשנו. בערך.
הסחף האדיר הזה גרם לעולם להצעיד את עצמו מיליוני צעדים קדימה. מסוכני AI וחבילות פיתוח ומוצרים ללא כל צורך בידע בקוד, דרך קורסים והסמכות וכלה בסטארטאפים וגיוסים סביב מוצרי AI שרובם מבוססים על חיבור למודל שפה כלשהו.
ולצד זה, גם מגיעות האכזבות. בהן:
- הטיה מגדרית, טענות שבינה מלאכותית מבצעת הטיה מגדרית. מנקה תהיה אישה. נהג יהיה גבר. דוגמנית תהיה אישה יפה ולבנה. אסיר יהיה גבר.
- צנזורה. המודלים המסחריים מצונזרים כדי לוודא שלא מבצעים שימוש לא ראוי בפלטפורמה. הרי מודלים מסוגלים להשיב גם על שאלות לא אתיות ואלימות ומסוכנות. ויש מודלים חינמיים שמסוגלים לאפשר את זה. אבל המסחריים מצנזרים. מובן שזה נדרש, אך לעיתים יותר מדי גם היכן שלא נדרש.
- התחושה שאנחנו תקועים בשלב של מודלים של שפה אבל מה הלאה? אנחנו רואים שלפעמים התשובות מעולות ולפעמים ממש לא. לפעמים הוא קולע ולפעמים הוא רחוק. התשובות ברובן קצרות, בעיות גדולות של זיכרון, חוסר תמיכה מספקת בשפה שהיא לא אנגלית. עלויות יקרות לאימון מודלים לצרכים אישיים וצורך בחומרה לא זולה.
אז לגבי הטיות: זה לא שהבינה מטה מגדרית, זה שהיא מאומנת על תיוג של מידע בחלק מהזמן. ואם החומר המתויג הוגדרו הטיות - זה מה שהבינה תלמד.
ולגבי צנזורה: במודלים של מייקרוסופט אפשר לבקש אישור להחריג את היכולות של הצנזורה, כמובן שזה לא ניתן לכל אחד ואחת ובטח שלא בקלות. אבל שתדעו שלצורך עסקי מוכח אפשר לקבל עזרה בהיבט הזה דרך Azure OpenAI.
לגבי סכנות: תחשבו שמודלים מאומנים על מידע מהאינטרנט. אם נבנה אתרים פיקטיביים ונשתול שם קישורים זדוניים או מידע שקרי, בכמויות, אז המידע שהמודל יתאמן עליו יהיה שקרי שגוי ולא נכון. מה שמוביל לתשובות שגויות שעלולות להטעות את המשתמשים.
סכנות נוספות: כאשר מודלים עוצמתיים מובלים על ידי חברות מסחריות אנחנו בבעיה. חברות מסחריות לא פועלות לשם שמיים. לא כדי להפוך את האנושות לטובה יותר. אלטמן, ביל גייטס והשאר - מחזיקים בכח אדיר בידיים שלהם. שהוא מסוכן מדי. מנגד, חברות משמעותיות כמו אנתרופיק וקלוד באמת מנסים לתת דגש על בטיחות. ובזכות מודלים קוד פתוח, הקהילה מאפשרת גם לנו להחזיר אלינו כח רב לא פחות.
לגבי התקיעות עם מודלים גדולים של שפה: הם ילכו וישתפרו כמובן. בכל השפות. אבל החידושים הבאים יהיו מודלים שמראים גם יכולת חשיבה, עצירה, ביקורת עצמית, הבנה, ורק לאחר מכן מענה. לא מענה מהיר ומיידי, אלא ממש הוכחת יכולת של מחשבה וביצוע פעולה מקיפה ויסודית.
גם עצם זה שהבנו את הפואנטה עם מודלים של שפה במתכונתם הנוכחית, אמורה לתת לנו זריקת מרץ להסיט את המבט אל עבר המכניקה של למידת מכונה, שלעניות דעתי מי שישלוט שם, הוא זה שישלוט גם בפריצות הדרך העתידיות.
ואי אפשר בלי לתת ערך - 3 נקודות קטנות:
- קלוד 3 לאחרונה הושק בכמה גרסאות, גרסת הדגל נקראת אופוס והיא ממש מעולה. לא ניסיתי אותה בקוד מול GPT4 ראש בראש עדיין אבל אני אופטימי.
קלוד הוא מודל שפה ״שנכנס ללב״. יש בו קסם. הוא באמת מרתק ומסקרן ובכלל - שווה התייחסות ואי אפשר להתעלם ממנו.
-!יש לנו יכולת היום לבצע ״המשך״ אימון של מודל שפה. מה שנקרא Fine Tune, שזה בגדול מאפשר לנו להמשיך את האימון עם דאטה משלנו, ועל ידי זה לשנות את המשקלים של הפרמטרים של המודל, מה שגורם לו להשיב על שאלות נוספות בהתאם לידע שנוסף לו או להתנהג אחרת. בהתאמה
- כדי לעבוד עם מודלים חינמיים צריך משאבים רציניים יחסית. אפשר להתקין תוכנה כמו Ooga Booga או LMStudio או GPT4All שמאפשרות לנו לשוחח עם מודלים אחרים וחינמיים של שפה גם על חומרים מסווגים וכל זה מבלי לצאת לאינטרנט ואפילו לקבל ממשק נחמד לתשאול.
מקווה שנהניתם מהפוסט, ואשמח לשמוע מה דעתכם על המודלים הקיימים - ולאן פנינו?
*יובל אבידני*
❤1👍1
Media is too big
VIEW IN TELEGRAM
המלצה חמה ולא ממומנת - מקלדת אלחוטית של Feker שנקראת Alice80, ארגונומית, יפהפיה!
הזמנתי דרך Epomaker ואני ממש מרוצה. שוב, לא ממומן. אין לי אפילו קופון אבל חפרתי לאחרונה על מקלדות בלי סוף ומשתף אתכם שזה וואו.
הזמנתי דרך Epomaker ואני ממש מרוצה. שוב, לא ממומן. אין לי אפילו קופון אבל חפרתי לאחרונה על מקלדות בלי סוף ומשתף אתכם שזה וואו.
👍2
גם גוגל לא מאמינה בג׳ימיני! לפי מסך פנימי, בגוגל הזינו שאלות למשרת תכנות לצ׳אט GPT, שעבר בהצלחה רבה את המבחן והתקבל למשרה שהשכר הכולל שלה הוא 183,000 דולר בשנה!
אז אף אחד לא שאל את זה, אבל אני שואל - למה גוגל לא השתמשו בג׳ימיני כדי לקבל את התוצאות? למה הם השתמשו ב ChatGPT? אולי זה בגלל שגם גוגל לא מאמינה במודל שלה?
*יובל אבידני*
https://www.pcmag.com/news/chatgpt-passes-google-coding-interview-for-level-3-engineer-with-183k-salary
אז אף אחד לא שאל את זה, אבל אני שואל - למה גוגל לא השתמשו בג׳ימיני כדי לקבל את התוצאות? למה הם השתמשו ב ChatGPT? אולי זה בגלל שגם גוגל לא מאמינה במודל שלה?
*יובל אבידני*
https://www.pcmag.com/news/chatgpt-passes-google-coding-interview-for-level-3-engineer-with-183k-salary
PCMAG
ChatGPT Passes Google Coding Interview for Level 3 Engineer With $183K Salary
'Amazingly, ChatGPT gets hired at L3 when interviewed for a coding position,' reads a Google document, but ChatGPT itself says it can't replicate human creativity and problem-solving skills.
👍1
YUV.AI - בינה מלאכותית בעברית
המלצה חמה ולא ממומנת - מקלדת אלחוטית של Feker שנקראת Alice80, ארגונומית, יפהפיה! הזמנתי דרך Epomaker ואני ממש מרוצה. שוב, לא ממומן. אין לי אפילו קופון אבל חפרתי לאחרונה על מקלדות בלי סוף ומשתף אתכם שזה וואו.
epomaker
Feker Alice 80
The Ergo Alice layout and More Feker has released different trendy keyboards and DIY kits for enthusiasts. With this Alice layout, Feker a 65% layout which is split into left and right halves, leaving a small gap in between. The letters and the bottom row…
👍2
סוכני AI הם סך הכל פרומפט מערכת נפרד. אם זה לא אומר לכם כלום - תקראו את הפוסט ⬇️
כשאנחנו אומרים ״סוכני AI״, לרוב אנחנו מדברים על שימוש בשיחה עם קלוד או GPT באמצעות קוד, ומתן זהות נפרדת בחלק של השיחה שאחראי על הזהות של הצ׳אטבוט.
כדי שנבין: שיחה עם צ׳אט GPT או קלוד מתחלקת למרכיב של השיחה עצמה, אך גם למרכיב נוסף, שלא כולם מודעים אליו, שנקרא System Prompt. זה החלק שבו אנחנו אומרים לצ׳אט: שומע? אתה נציג מכירות, או שירות, או רופא, או מהנדס בניין. זה החלק שבו אנחנו אומרים לצ׳אט מי הוא, מהו, מה הוא יודע לבצע ומה בכלל הידע שלו. את כל זה אנחנו אורזים יפה ומכנים בשם ״סוכן״ לתחום מסוים.
כך בכל פעם שנרצה סוכן חדש, נבצע אותו דבר, נגדיר זהות אחרת, וניתן שם אחר, והופ: יש לנו עוד סוכן. ובשלב מסוים הם יכולים לייצר אינטראקציה ביניהם. שזה שלב מאוד מעניין.
אבל זה הרעיון: להגדיר System Prompt = להגדיר זהות לסוכן. החידוש בכך הוא שעל ידי כך, יש לנו אפשרות גם לטעון מאגר ידע נפרד לכל סוכן, וזו יכולת מאוד עוצמתית. גם System Prompt וגם ידע בלעדי.
למען הסר ספק, פרומפט זה הטקסט שאנו מזינים בשיחה עם מודל שפה. פרומפט מערכת זה טקסט שאנו מזינים במקום אחר, בקוד זה ממש מוגדר ידנית בחלק מסוים, שמגדיר את זהות המערכת. את המוח. המנוע.
ואיך אפשר בפועל להגדיר זאת?
בקוד אפשר כמובן עם LangChain המלך,
ועם CrewAI,
ועם AutoGen של מייקרוסופט,
ועם ה-API הרגיל של GPT או קלוד
וללא קוד?
כמובן עם Officely האדירים והישראלים שיש להם גם הנחה מיוחדת עם הקופון YUVALAI20
עם uchat האוסטרלים
עם botpress
עם voiceflow
עם flowiseai
עם AutoGen Studio
זה באמת עד כדי כך פשוט, ועד כדי כך עוצמתי. מקווה שקיבלתם ערך, ואם כן - תנו בלייק, תגובה, שיתוף! כל מעשה טוב יעזור! 🙏
*יובל אבידני*
נ.ב - התמונה נוצרה עם הגרסא החדשה של מחולל התמונות המדהים IDEOGRAM AI שמצליח לשלב טקסט מושלם! (לא, טרם בעברית)
כשאנחנו אומרים ״סוכני AI״, לרוב אנחנו מדברים על שימוש בשיחה עם קלוד או GPT באמצעות קוד, ומתן זהות נפרדת בחלק של השיחה שאחראי על הזהות של הצ׳אטבוט.
כדי שנבין: שיחה עם צ׳אט GPT או קלוד מתחלקת למרכיב של השיחה עצמה, אך גם למרכיב נוסף, שלא כולם מודעים אליו, שנקרא System Prompt. זה החלק שבו אנחנו אומרים לצ׳אט: שומע? אתה נציג מכירות, או שירות, או רופא, או מהנדס בניין. זה החלק שבו אנחנו אומרים לצ׳אט מי הוא, מהו, מה הוא יודע לבצע ומה בכלל הידע שלו. את כל זה אנחנו אורזים יפה ומכנים בשם ״סוכן״ לתחום מסוים.
כך בכל פעם שנרצה סוכן חדש, נבצע אותו דבר, נגדיר זהות אחרת, וניתן שם אחר, והופ: יש לנו עוד סוכן. ובשלב מסוים הם יכולים לייצר אינטראקציה ביניהם. שזה שלב מאוד מעניין.
אבל זה הרעיון: להגדיר System Prompt = להגדיר זהות לסוכן. החידוש בכך הוא שעל ידי כך, יש לנו אפשרות גם לטעון מאגר ידע נפרד לכל סוכן, וזו יכולת מאוד עוצמתית. גם System Prompt וגם ידע בלעדי.
למען הסר ספק, פרומפט זה הטקסט שאנו מזינים בשיחה עם מודל שפה. פרומפט מערכת זה טקסט שאנו מזינים במקום אחר, בקוד זה ממש מוגדר ידנית בחלק מסוים, שמגדיר את זהות המערכת. את המוח. המנוע.
ואיך אפשר בפועל להגדיר זאת?
בקוד אפשר כמובן עם LangChain המלך,
ועם CrewAI,
ועם AutoGen של מייקרוסופט,
ועם ה-API הרגיל של GPT או קלוד
וללא קוד?
כמובן עם Officely האדירים והישראלים שיש להם גם הנחה מיוחדת עם הקופון YUVALAI20
עם uchat האוסטרלים
עם botpress
עם voiceflow
עם flowiseai
עם AutoGen Studio
זה באמת עד כדי כך פשוט, ועד כדי כך עוצמתי. מקווה שקיבלתם ערך, ואם כן - תנו בלייק, תגובה, שיתוף! כל מעשה טוב יעזור! 🙏
*יובל אבידני*
נ.ב - התמונה נוצרה עם הגרסא החדשה של מחולל התמונות המדהים IDEOGRAM AI שמצליח לשלב טקסט מושלם! (לא, טרם בעברית)
דרמה שקטה אך רועשת: OpenAI משחררים לאוויר העולם כלי אדיר וחדש שאמור לעזור לנו להבין, מתחת למכסה המנוע, איך עובד מודל הטרנזפורמרים במודלים קטנים של שפה. הוא נקרא Transformer Debugger.
יש פה משמעות אדירה: נוכל סופסוף לנסות לחקור *למה* מודל שפה מבוסס טרנזפורמרים כמו GPT מתנהג בצורה שבה הוא מתנהג, להבין איך מנגנון תשומת הלב עובד, למה הוא נותן דגש במשפט מסוים ואיך, ואולי גם לחקור לעומק את היכולת של השפה העברית!
שלא במקרה, שחרור הקוד הזה בחינם לכולם, מתבצע לאחר הפרסום של אילון מאסק להפוך את מודל השפה שלו, גרוק, לקוד מקור פתוח. ב OpenAI מזהים את הסכנה ומגיבים במהירות האור כיאה לחברה בסדר הגודל שלהם.
הכלי דורש הבנה בלמידת מכונה וידע טכני די נרחב. אבל יש פה דרמה טכנית, ומאוד משמעותית.
לכלי: https://github.com/openai/transformer-debugger
*יובל אבידני*
יש פה משמעות אדירה: נוכל סופסוף לנסות לחקור *למה* מודל שפה מבוסס טרנזפורמרים כמו GPT מתנהג בצורה שבה הוא מתנהג, להבין איך מנגנון תשומת הלב עובד, למה הוא נותן דגש במשפט מסוים ואיך, ואולי גם לחקור לעומק את היכולת של השפה העברית!
שלא במקרה, שחרור הקוד הזה בחינם לכולם, מתבצע לאחר הפרסום של אילון מאסק להפוך את מודל השפה שלו, גרוק, לקוד מקור פתוח. ב OpenAI מזהים את הסכנה ומגיבים במהירות האור כיאה לחברה בסדר הגודל שלהם.
הכלי דורש הבנה בלמידת מכונה וידע טכני די נרחב. אבל יש פה דרמה טכנית, ומאוד משמעותית.
לכלי: https://github.com/openai/transformer-debugger
*יובל אבידני*
GitHub
GitHub - openai/transformer-debugger
Contribute to openai/transformer-debugger development by creating an account on GitHub.
הפצצתם אותי בפרטי אז הקלטתי סרטון זריז של השוואה בין GPT לקלוד בשאלות מתמטיות, על מודל שפה ומתמטיקה, על WOLFRAM ALPHA, על כמה נשאר נטו מברוטו למען השם ועוד! הקרנת בכורה ממש עכשיו:
https://youtu.be/g57R5lqOrVI
https://youtu.be/g57R5lqOrVI
YouTube
שאלתי את הAI כמה נטו נשאר משכר ברוטו - מי הצליח ומי נכשל? צפו!
בסרטון הזה נבחן את CHATGPT ואת קלוד, נשאל אותם כמה שכר נטו נשאר לאחר ניכוי הורדות משכר ברוטו. מי צודק? מי טועה? האם מודלים גדולים של שפה בכלל מסוגלים להתמודד עם זה? מה זה 0-SHOT ומה המסקנות?? איזה FOMO! צפו ועדכנו מה חשבתם.
🔥2🥰1
הקבוצה השקטה התמלאה מבלי ששמתי לב, ובשעה טובה פתחתי קבוצת עדכונים שקטה נוספת. אם יש מישהו/י שלא הצליח להצטרף אשמח אם תוכלו להעביר את הלינק, ובכלל אשמח על כל שיתוף 🙏
אנחנו מונים כבר אלפים בקבוצות השונות וזה כיף גדול אז תודה רבה לכם, בואו נצמח ב-AI ביחד!
קישור לערוץ השקט הנוסף - https://chat.whatsapp.com/Ds20o8yNmEuGdFaJcdHjYN
אנחנו מונים כבר אלפים בקבוצות השונות וזה כיף גדול אז תודה רבה לכם, בואו נצמח ב-AI ביחד!
קישור לערוץ השקט הנוסף - https://chat.whatsapp.com/Ds20o8yNmEuGdFaJcdHjYN
WhatsApp.com
עדכוני AI עם יובל אבידני #2
WhatsApp Group Invite
Media is too big
VIEW IN TELEGRAM
הבנו שAI הוא מגניב, אבל במה תכלס הוא יכול לעזור לנו שיהיה גם שימושי? בואו נדבר על זה >>>
❤3