D
Deleted member 8742
בתקופה האחרונה אני מרגיש כאילו אני חי במציאות מנותקת לגמרי מהסביבה הקרובה ותוהה אם יש כאן חברים בפורום שחווים תחושות דומות.
בעוד שכולם בארץ עסוקים כל היום בויכוחים פולטיים חסרי משמעות, תחום למידת המכונה דוהר קדימה בקצב מסחרר, ונראה שמטרת העל- Artificial General Intelligence, נמצאת ממש בהישג יד. רבים מהמומחים העולמיים בתחום מעריכים AGI תוך עשור ( ביניהם Richard Sutton, Shane Legg, Ray Kurzweil, Elon Musk, Vernor Vinge, Ilya Sutskever ועוד רבים אחרים ), והמשמעות של AGI עצומה, מדובר על אוטומציה של כל עבודות הצווארון הלבן, שמהוות בערך 60-70% מהשוק. כל עבודה כיום שבן אדם עושה מול מסך עם עכבר ומקלדת תוחלף בעתיד על ידי מוח דיגיטלי, ואני מניח שאני לא צריך להסביר מה יקרה אם תוך שנים ספורות 70% מהמועסקים ימצאו את עצמם מחוסרי עבודה.
בראייה היסטורית, המצאת החשמל הובילה אותנו למהפכה התעשייתית, שהובילה למחשוב המודרני, שהובילה להמצאת האינטרנט, שהוביל לסמארטפון (ששם את סך כל הידע האנושי בכיס שלנו). כל אחד מהשלבים האלה גרם לתהפוכות אדירות בכל תחומי החיים שלנו, אבל יש הבדל מהותי בין כל אלה למהפכת ה AI הגנרטיבי שמרחשת כעת, ומי שחושב שמדובר בעוד שלב בנאלי בהתפתחות הטכנולוגיה טועה בענק.
התכלית של כל המצאה אנושית היא אוטומציה, או שימוש בכלים יעילים על מנת לשחרר חלקים גדולים מכוח העבודה לעסוק באפיקים ריווחיים יותר. המצאת הגלגל היא אוטומציה פרימטיבית לתחבורה, טלפונים קוויים היו אוטומציה לתקשורת, חקלאות מודרנית היא אוטומציה לייצור מזון, והמחשוב המודרני זה אוטומציה צרה לאנטילגנציה האנושית. מקור כל ההמצאות הללו הוא סבך נוירונים שמתקשרים זה עם זה על ידי אותות חשמליים בתוך קופסא ביולוגית שאנו מכנים "מוח". האדם חושב, והמחשבות שלו משעבדות את הטבע לצרכנו. במובן הזה, מהפכת הבינה המלאכותית היא סוג של "מטא אוטומציה", אוטומציה רחבה לאינטילגנציה האנושית, או, במילים אחרות, אוטומציה למשאב שיוצר עוד אוטומציה.
מוח דיגיטלי שלא נופל ממוח ביולוגי באף תחום יוביל לפריצה טכנולוגית בקצב שאי אפשר לתאר. מוח דיגיטלי כזה אפשר לשכפל לביליון עותקים ולהעביד במחיר זעום לעומת העסקת המקביל הביולוגי. למעשה, אפשר לבצע כבר היום חישוב מאוד גס שימחיש את סדרי הגודל שאנחנו מדברים עליהם:
openAI הציגה לאחרונה את ה- API החדש של chatGPT, במחיר של 0.002$ לכל 1,000 tokens. ההשלכות של זה הן עצומות.
1,000 טוקנס= 750 מילים. בהתאם לסוג התוכן, האדם הממוצע יכול לייצר בין 50 מילים בשעה (תכנות) ל-5000 מילים בשעה (פאןפיקשן טראשי). נלך על התפוקה הטובה ביותר (וכנראה מוגזמת), אז, 5000 מילים לשעה * 8 שעות ביום * 260 ימי עבודה בשנה = 10.4 מיליון מילים בשנה לכל עובד אנושי, במחיר של (בהתחשב בשכר השנתי הממוצע בארה"ב) 55 אלף דולר. chatGPT עובד אותן שעות, מייצר 5000 מילים לשעה=40000 מילים ליום עבודה=53333 טוקנס ליום עבודה= (0.002$לכל 1K טוקנס) 0.106$ליום עבודה=(260) 27.7$ לשנה.
55000/27.7=2037
chatGPT יעיל פי 2037 מהעובד האנושי הממוצע.
יש כ-140 מיליון אנשים מועסקים בארה"ב, ואפשר להחליף אותם ב-68 אלף עותקים של chatgpt שעושים 8 שעות ימי עבודה, 260 ימים בשנה.
קשה להסתכל על המספרים האלה, על הצמיחה המסחררת של התחום, ולא להבין שאנחנו על סף משהו ענק, פריצת דרך שמגמדת את המצאת האנטרנט.
מתברר שהמפתח לאינטליגנציה האנושית הרבה יותר פשוט ממה שאולי דמיינו. למעשה, כל מתכנת ממוצע יכול לייצר משלים טקסט בדומה ל chatgpt שמסתכם ל 600 שורות קוד בפייתון ( בהתבסס על המאמר של גוגל מ 2017 שהתחיל הכול- All You Need is Attention). כמובן, מדובר על בוט בסקאלה מיניאטורית לעומת chatGPT,ולכן הרבה יותר מוגבל, אבל זה רק ממחיש עד כמה הארכיטקטורה בבסיס ה LLMs כל כך פשוטה ולמרות זאת יכולה להשיג כל כך הרבה. החוקרים כל הזמן מופתעים מחדש מהיכולות שהבוטים האלה מפתחים באופן ספונטני, מה שנקרא emergent properties. מסתבר שככל שמגדילים את מספר הפרמטרים (מספר "הנוירונים" של המודל), צצות יותר ויותר יכולות חדשות שאף אחד לא ציפה להן ושהמודל בכלל לא אומן להם ספציפית. לדוגמא, ברגע שעוברים סף מסוים של גודל, פתאום המודלים מסוגלים לחבר מספרים של שלוש ספרות, להחזיק מודל מרחבי מדויק של מקום מסוים על סמך תיאור מילולי, ולשכתב מילה מרצף מבולגן של אותיות ( 'סודרפה' -> ,'רפסודה').
מהדוח הטכני של GPT4:
postimg.cc
שימו לב להבדל העצום בין chatGPT ל GPT4, ובכמה תחומים הבוט עובר את החציון. עדיין לא AGI? כנראה, ניצוצות של AGI? בהחלט.
לעיון נוסף:
Sparks of Artificial General Intelligence: Early experiments with GPT-4
אז לאן פנינו מועדות?
- multimodality (ראייה, בין היתר, GPT4 כבר היום מסוגל להבין תמונות- לדוגמא, לקבל תמונה של האוכל במקרר שלכם ולהציע מתכון)
- חיבור GPT לכלים כמו WOLFRAM ו Dall E (הבוט באופן אוטומטי יודע שיש לו גישה לכלים האלה, ולפי שיקול דעתו משתמש בהם במידת הצורך).
- שרשור prompts (הבוט "שואל" את עצמו שאלות בלופ באופן שמדמה חשיבה אנושית)
- זיכרון לטווח ארוך.
ברגע שמשלבים את כל אלה אפשר כבר עכשיו ליצור סוג של ישות אוטונומית.
בתור אחד שמשתמש כל יום ב chatGPT בשביל פרויקטיים בתכנות, עזרה בלימודים אקדמיים, וכתיבת ספר מדע בדיוני, אני יכול להגיד שהפרודקטיביות שלי השתפרה פי 5, ואולי גם פי 50. ללא שום ניסיון ב JS ו HTML בניתי אתר לפיתוח שמיעה מוזיקלית תוך שבוע, אתר שמכיל פיצ'רים לא טריוואלים שאין באף מקום אחר, שלבד היה לוקח לי אולי חצי שנה לבנות. היכולת של הבוט הזה להבין תמיד בדיוק למה אני מתכוון ולייצר בשנייה פתרונות לבקשות הכי ספציפיות שיש לא מפסיקה להדהים אותי. הפתרונות לא תמיד עובדים, אבל הם קרובים מספיק. הייתי בשוק מ Dall E, אבל chatGPT מרגיש לי לא פחות מחלום.
בעוד שכולם בארץ עסוקים כל היום בויכוחים פולטיים חסרי משמעות, תחום למידת המכונה דוהר קדימה בקצב מסחרר, ונראה שמטרת העל- Artificial General Intelligence, נמצאת ממש בהישג יד. רבים מהמומחים העולמיים בתחום מעריכים AGI תוך עשור ( ביניהם Richard Sutton, Shane Legg, Ray Kurzweil, Elon Musk, Vernor Vinge, Ilya Sutskever ועוד רבים אחרים ), והמשמעות של AGI עצומה, מדובר על אוטומציה של כל עבודות הצווארון הלבן, שמהוות בערך 60-70% מהשוק. כל עבודה כיום שבן אדם עושה מול מסך עם עכבר ומקלדת תוחלף בעתיד על ידי מוח דיגיטלי, ואני מניח שאני לא צריך להסביר מה יקרה אם תוך שנים ספורות 70% מהמועסקים ימצאו את עצמם מחוסרי עבודה.
בראייה היסטורית, המצאת החשמל הובילה אותנו למהפכה התעשייתית, שהובילה למחשוב המודרני, שהובילה להמצאת האינטרנט, שהוביל לסמארטפון (ששם את סך כל הידע האנושי בכיס שלנו). כל אחד מהשלבים האלה גרם לתהפוכות אדירות בכל תחומי החיים שלנו, אבל יש הבדל מהותי בין כל אלה למהפכת ה AI הגנרטיבי שמרחשת כעת, ומי שחושב שמדובר בעוד שלב בנאלי בהתפתחות הטכנולוגיה טועה בענק.
התכלית של כל המצאה אנושית היא אוטומציה, או שימוש בכלים יעילים על מנת לשחרר חלקים גדולים מכוח העבודה לעסוק באפיקים ריווחיים יותר. המצאת הגלגל היא אוטומציה פרימטיבית לתחבורה, טלפונים קוויים היו אוטומציה לתקשורת, חקלאות מודרנית היא אוטומציה לייצור מזון, והמחשוב המודרני זה אוטומציה צרה לאנטילגנציה האנושית. מקור כל ההמצאות הללו הוא סבך נוירונים שמתקשרים זה עם זה על ידי אותות חשמליים בתוך קופסא ביולוגית שאנו מכנים "מוח". האדם חושב, והמחשבות שלו משעבדות את הטבע לצרכנו. במובן הזה, מהפכת הבינה המלאכותית היא סוג של "מטא אוטומציה", אוטומציה רחבה לאינטילגנציה האנושית, או, במילים אחרות, אוטומציה למשאב שיוצר עוד אוטומציה.
מוח דיגיטלי שלא נופל ממוח ביולוגי באף תחום יוביל לפריצה טכנולוגית בקצב שאי אפשר לתאר. מוח דיגיטלי כזה אפשר לשכפל לביליון עותקים ולהעביד במחיר זעום לעומת העסקת המקביל הביולוגי. למעשה, אפשר לבצע כבר היום חישוב מאוד גס שימחיש את סדרי הגודל שאנחנו מדברים עליהם:
openAI הציגה לאחרונה את ה- API החדש של chatGPT, במחיר של 0.002$ לכל 1,000 tokens. ההשלכות של זה הן עצומות.
1,000 טוקנס= 750 מילים. בהתאם לסוג התוכן, האדם הממוצע יכול לייצר בין 50 מילים בשעה (תכנות) ל-5000 מילים בשעה (פאןפיקשן טראשי). נלך על התפוקה הטובה ביותר (וכנראה מוגזמת), אז, 5000 מילים לשעה * 8 שעות ביום * 260 ימי עבודה בשנה = 10.4 מיליון מילים בשנה לכל עובד אנושי, במחיר של (בהתחשב בשכר השנתי הממוצע בארה"ב) 55 אלף דולר. chatGPT עובד אותן שעות, מייצר 5000 מילים לשעה=40000 מילים ליום עבודה=53333 טוקנס ליום עבודה= (0.002$לכל 1K טוקנס) 0.106$ליום עבודה=(260) 27.7$ לשנה.
55000/27.7=2037
chatGPT יעיל פי 2037 מהעובד האנושי הממוצע.
יש כ-140 מיליון אנשים מועסקים בארה"ב, ואפשר להחליף אותם ב-68 אלף עותקים של chatgpt שעושים 8 שעות ימי עבודה, 260 ימים בשנה.
קשה להסתכל על המספרים האלה, על הצמיחה המסחררת של התחום, ולא להבין שאנחנו על סף משהו ענק, פריצת דרך שמגמדת את המצאת האנטרנט.
מתברר שהמפתח לאינטליגנציה האנושית הרבה יותר פשוט ממה שאולי דמיינו. למעשה, כל מתכנת ממוצע יכול לייצר משלים טקסט בדומה ל chatgpt שמסתכם ל 600 שורות קוד בפייתון ( בהתבסס על המאמר של גוגל מ 2017 שהתחיל הכול- All You Need is Attention). כמובן, מדובר על בוט בסקאלה מיניאטורית לעומת chatGPT,ולכן הרבה יותר מוגבל, אבל זה רק ממחיש עד כמה הארכיטקטורה בבסיס ה LLMs כל כך פשוטה ולמרות זאת יכולה להשיג כל כך הרבה. החוקרים כל הזמן מופתעים מחדש מהיכולות שהבוטים האלה מפתחים באופן ספונטני, מה שנקרא emergent properties. מסתבר שככל שמגדילים את מספר הפרמטרים (מספר "הנוירונים" של המודל), צצות יותר ויותר יכולות חדשות שאף אחד לא ציפה להן ושהמודל בכלל לא אומן להם ספציפית. לדוגמא, ברגע שעוברים סף מסוים של גודל, פתאום המודלים מסוגלים לחבר מספרים של שלוש ספרות, להחזיק מודל מרחבי מדויק של מקום מסוים על סמך תיאור מילולי, ולשכתב מילה מרצף מבולגן של אותיות ( 'סודרפה' -> ,'רפסודה').
מהדוח הטכני של GPT4:
gpt4 performance — Postimages
שימו לב להבדל העצום בין chatGPT ל GPT4, ובכמה תחומים הבוט עובר את החציון. עדיין לא AGI? כנראה, ניצוצות של AGI? בהחלט.
לעיון נוסף:
Sparks of Artificial General Intelligence: Early experiments with GPT-4
אז לאן פנינו מועדות?
- multimodality (ראייה, בין היתר, GPT4 כבר היום מסוגל להבין תמונות- לדוגמא, לקבל תמונה של האוכל במקרר שלכם ולהציע מתכון)
- חיבור GPT לכלים כמו WOLFRAM ו Dall E (הבוט באופן אוטומטי יודע שיש לו גישה לכלים האלה, ולפי שיקול דעתו משתמש בהם במידת הצורך).
- שרשור prompts (הבוט "שואל" את עצמו שאלות בלופ באופן שמדמה חשיבה אנושית)
- זיכרון לטווח ארוך.
ברגע שמשלבים את כל אלה אפשר כבר עכשיו ליצור סוג של ישות אוטונומית.
בתור אחד שמשתמש כל יום ב chatGPT בשביל פרויקטיים בתכנות, עזרה בלימודים אקדמיים, וכתיבת ספר מדע בדיוני, אני יכול להגיד שהפרודקטיביות שלי השתפרה פי 5, ואולי גם פי 50. ללא שום ניסיון ב JS ו HTML בניתי אתר לפיתוח שמיעה מוזיקלית תוך שבוע, אתר שמכיל פיצ'רים לא טריוואלים שאין באף מקום אחר, שלבד היה לוקח לי אולי חצי שנה לבנות. היכולת של הבוט הזה להבין תמיד בדיוק למה אני מתכוון ולייצר בשנייה פתרונות לבקשות הכי ספציפיות שיש לא מפסיקה להדהים אותי. הפתרונות לא תמיד עובדים, אבל הם קרובים מספיק. הייתי בשוק מ Dall E, אבל chatGPT מרגיש לי לא פחות מחלום.
