על סף סינגולריות

[oferM]

אני לא נותן קרדיט גבוה למים האנושי. בינת על לא חייבת לייצר אירוע פומפוזי וגלוי. מספיק לה להיות קצת יצירתית עם fake news, להשפיע אט אט על המפות הפוליטיות ודעות של אנשים ברחבי העולם, ואנחנו כבר נעשה את עבודת ההכחדה בעצמנו. אולי זה כבר בתהליך בעשורים האחרונים ואנחנו רק חושבים על זה עכשיו...
תכנון מדוייק עוד ידאג לכך שהשורדים המעטים יסגדו לבינה המלאכותית ובכך למנוע מחתרות דמויי-סיפור-מטריקס (נניח כמו ששורדי המבול סוגדים לאל שהכחיד את שאר המין שלהם ועל הדרך מינים אחרים - הכל שאלה של המסרים שמלווים את הסיפור - נבחרתם להיות השורדים והמכחיד הוא המציל).

[למען האמת אני אופטימי לגבי כל הסיפור שלנו, אבל אם כבר היפותזות מדב אז גם זו אפשרית]

לגבי יצירתיות וכתיבת סיפורים לא שוכנעתי שלמין האנושי יש יתרון כשמסתכלים קדימה, היתרון הולך ונעלם בקצב מהיר - אשמח אם יש למישהו רעיון על יתרון שכזה למין האנושי ונעמיד את הרעיונות למבחן

בטווח הרחוק, היתרון היחידי של בנאדם יהיה האנושיות שלו. יהיה קשה לשים רובוט בתפקידים כמו פסיכולוג , עובד סוציאלי , רופא שמבשר למישהיא שהיא חולה בסרטן .

 

[oferM]

8 עמודים ועדיין אין הסבר לאיך ניתוק כבל רשת לא פתרון טוב מספיק ל"תאונה נוראית שתשמיד את כל האנושות"...


+1
ממליץ גם לצאת לאיזה טיול טוב בשמורת טבע רחבת ידיים, אוהל, אויר טוב, הרבה הליכה... משחרר את הראש.

לגבי "ניתוק כבל רשת פתרון מספיק טוב שימנע את השמדת האנושות":

אם זה היה פתרון ריאלי, כל תחום הסייבר היה מיותר.

חוץ מזה, תחשוב כמה אנשים וקבוצות יש בעולם שרוצים לעשות רע. מספיק שתיתן להם משהו שיכול לעזור להם להגביר את פוטנציאל ההרס שלהם בצורה קיצונית, תוסיף לזה את אלמנט ההפתעה ואת התגובה הנגדית למה שיעשו ומי יודע לאן זה ילך.

לדוגמה 9/10 .

 

[Spanz]

לגבי "ניתוק כבל רשת פתרון מספיק טוב שימנע את השמדת האנושות":

אם זה היה פתרון ריאלי, כל תחום הסייבר היה מיותר.

חוץ מזה, תחשוב כמה אנשים וקבוצות יש בעולם שרוצים לעשות רע. מספיק שתיתן להם משהו שיכול לעזור להם להגביר את פוטנציאל ההרס שלהם בצורה קיצונית, תוסיף לזה את אלמנט ההפתעה ומי יודע לאן זה ילך.

תחום הסייבר חשוב כי אתה רוצה להשאר מחובר לרשת. אבל אם במקרה קיצון תרצה להתנתק, אז זה יהיה אפשרי.

לרוב אנחנו גם מחברים דברים לרשת שלא באופן שדווקא הכרחי. קח דוגמא על איזה תחנת כוח למשל שפעם לא היתה מחוברת לרשת והיום כן כי נגיד שרוצים לראות נתונים ממנה בחדר בקרה מרוחק... תנתק אותה מהרשת, נפטרת מהסיכון.

 

[סולידי]

כפי שכבר ענו לך, כל הבעיות שאתה מציין הן טריוויאליות לחלוטין עבור בינה מלאכותית חזקה ולא מהוות שום מכשול בכלל. ראשית כל, הבינה המלאכותית מחוברת לאינטרנט. היא לא יושבת בתוך איזה רובוט. היא יושבת בכל מקום והיא תוכל להשתלט על עוד ועוד מחשבים. יש המון מערכות, שמחוברות לאינטרנט, שהיא תוכל להשתלט עליהן. היא תוכל גם לעשות מניפולציות לבני אדם ולגרום להם לעשות מה שהיא רוצה. גם על דברים שלא מחוברים לאינטרנט היא תוכל להשתלט עם קצת מאמץ. לא מדובר פה על איזה מדע בדיוני, אלא על יכולות שיהיו תוך כמה שנים. חלקן אפילו קיימות עכשיו ברמה בסיסית לפחות. היא תוכל לעשות הרבה דברים, שאתה אפילו לא מדמיין. אם היא תרצה להרוג אותנו, סיכוי גבוה שבכלל לא תבין מאיפה זה בא לך. הסיכוי שלך לעשות משהו נגד זה יהיה כמו הסיכוי של שבלול לברוח ממישהו שנחוש לדרוך עליו. הבינה המלאכותית תהיה חכמה ממך לפחות ברמה שאתה חכם יותר משבלול והיא תהיה מהירה ממך לפחות ברמה שאתה מהיר יותר משבלול.

אני חושב שהשלב שאנחנו נמצאים בו הוא קצת מתעתע.

מגבלה ראשונה של הבינה המלאכותית הוא גודל המוח הפיזי שלה. במוח האנושי יש סדר גודל של 100 מליארד נוירונים, וכל אחד מהם קשור באמצעות סינפסות לבין נוירונים בודדים ועד מאות אלפי נוירונים אחרים. צ'יפים יכולים להיות מאוד גדולים ולממש אפילו מספר גדול יותר של נוירונים באמצעות שיתוף פעולה של מספר צ'יפים, אבל את הקישוריות שיש במוח אנושי אני לא רואה איך לחקות באלקטרוניקה.

החלק השני הוא שנדמה לנו שהבינה המלאכותית מאוד חכמה, אבל זה כי היא יודעת להביע את עצמה יפה מאוד במלל, תמונה ווידאו. אבל היכולות הלוגיות שלה חלשות מאוד, וקשה לי לראות איך מתפתחות בה יכולות של רצון, תכנון, ובעיקר הסקת מסקנות הגיוניות.

 

[unsullied]

בטווח הרחוק, היתרון היחידי של בנאדם יהיה האנושיות שלו. יהיה קשה לשים רובוט בתפקידים כמו פסיכולוג , עובד סוציאלי , רופא שמבשר למישהיא שהיא חולה בסרטן .

אולי... כבר יש המוני חברות שחושבות אחרת, ואם יש לך מנוי בתשלום ל chatgpt תוכל כבר היום להתכתב עם בוט שטוען שיכול להיות הפסיכולוג שלך (עם רשימת דיסקליימרים). לא רק במובן המקצועי, אלא גם במובן הקשר הרגשי.
האם היום זה תחליף ראוי? כנראה שלא. אבל אם היום יש מוצר סביר מינוס ועבדו עליו בקושי שנה, כנראה שהוא ישתפר משמעותית עם השנים והמאמץ.

ובשורה התחתונה - לא יודע אם "קל" להגיד שהמין האנושי יהיה בהכרח טוב מהבוט בעוד כמה דורות.

AI In Mental Health: Opportunities And Challenges In Developing Intelligent Digital Therapies

Discover how AI is revolutionizing mental health care by predicting disorders, personalizing therapies, and even providing immediate support through chatbots.

www.google.com

Can AI Chatbots Ever Replace Human Therapists?

And should they?

time.com

 

[Kurt Godel]

אני חושב שזה חרטא שאנחנו על סף סינגולריות, בתור מפתח תוכנה שקצת התעסק ב-AI לשעשועים שלו, בעבר (לפני שרשתות נוירונים התחילו לתפוס תאוצה). עדיין לא מצליחים ללמד AI אפילו לנהוג ברמה שבנאדם נוהג. וגם השבבים האלה במוח של אילון מאסק, אני חושב שזה מוגזם מה שמתארים שהם יוכלו לעשות. לכל היותר כולנו נהיה מחוברים לויקיפדיה או משהו במרחק של פחות מקליק - לא שונה בהרבה מהמצב עכשיו.

עובדה שעושים לך סרטי מדע בדיוני כמו ״שליחות קטלנית״ כבר משנות ה-80. עברו 40 שנה מאז ואנחנו עדיין לא בעידן ״סקיינט.״

אין ספק שהטכנולוגיה הזו תעשה Disruption על החברה האנושית כמו שעשה האינטרנט והסמארטפונים. ומעבר לזה, זהו...

אם תסתכל על כל דור מהמאה הראשונה, על הכתבים שהוא השאיר, כל דור חושב שהוא על סף האפוקליפסה בגלל שהערכים של האנשים הצעירים משתנים (לדעת הזקנים, לרעה) וזה יוצר כל מיני תופעות חדשות בחברה.

בדיוק...
ודרך אגב, אני שיחקתי קצת עם AI בהקשרים לוגיים ומתמטיים וחוץ מלחזור על מידע שמופיע באינטרנט ולכתוב הוכחות שגויות לא זיהיתי כמעט שום מרכיב שהכרחי בשביל שאוכל להגיד שיש לו איזשהי חכמה. (לפני שאתם ממהרים לכתוב לי שאנחנו רק בהתחלה ושהם עוד ישתפרו: אולי הם ישתפרו, ואולי מתישהו בעתיד הם יהיו מדהימים במתמטיקה אבל אני לא רואה שום אינדיקציה לחשוב שזה המצב כרגע חוץ מטענת הקסם הרגילה "העתיד יהיה ממש מפותח אז ברור שAI יעשה הכל").

ובקשר לזה שכל דור חושב שהוא על סף אפוקליפסה, אני חושב שזה נובע בנוסף מהרצון של בני האדם ליחד את עצמם. במקרה הזה אני חושב שאנשים אוהבים להאמין שהם נמצאים בעידן מאד מיוחד ולהיתרגש מזה

 

[חתול לילה]

חוץ מלחזור על מידע שמופיע באינטרנט ולכתוב הוכחות שגויות לא זיהיתי כמעט שום מרכיב שהכרחי בשביל שאוכל להגיד שיש לו איזשהי חכמה.

בגדול אני מסכים, אבל לפעמים הוא עדיין מפתיע אותי.
תנסה למשל "השווה בין מלפפון לבננה" ותקבל תשובה לא רעה בכלל למרות שזה לא מידע שהוא ראה קודם.
אבל סוג הידע הזה לא מרמז על אינטיליגנציה כללית.

 

[Kurt Godel]

בגדול אני מסכים, אבל לפעמים הוא עדיין מפתיע אותי.
תנסה למשל "השווה בין מלפפון לבננה" ותקבל תשובה לא רעה בכלל למרות שזה לא מידע שהוא ראה קודם.
אבל סוג הידע הזה לא מרמז על אינטיליגנציה כללית.

באופן ככלי אני מסכים איתך שהוא מפתיע לפעמים וזה לגמרי מרשים שהגענו למצב שמחשב נותן תשובות כאלה. אבל רק צריך להיזהר לא להסיק מזה דברים שלא מוסקים מזה.

ובקשר לדוגמה שנתת, למה אתה חושב שזה מידע שהוא לא ראה קודם?

 

[חתול לילה]

ובקשר לדוגמה שנתת, למה אתה חושב שזה מידע שהוא לא ראה קודם?

אתה יכול להחליף בפירות אחרים עד שזה יהיה מספיק בלתי סביר לטעמך.

 

[Kurt Godel]

אתה יכול להחליף בפירות אחרים עד שזה יהיה מספיק בלתי סביר לטעמך.

1. אין כל כך הרבה פירות בעולם . רשימה סופית ודי קטנה בסך הכל הכל, אני לא אתפלא אם יש לו איזשהו תיאור טקסט או תמונה של כולם
2. גם אם אתה צודק, אני חושב שאלה מילים שמופיעות יותר מדי בטקסטים יום יומיים . מספיק שהוא מוצא רשימה של מלא תכונות עבור פרי אחד הוא יכול להשוות את הרשימה לשניה

* כשאני אומר "מוצא" ו"משווה" אני מתכוון שזה נעשה ב"תת המודע" שלו כחלק מתהליך הלמידה של AI

 

[Kurt Godel]

1. אין כל כך הרבה פירות בעולם . רשימה סופית ודי קטנה בסך הכל הכל, אני לא אתפלא אם יש לו איזשהו תיאור טקסט או תמונה של כולם
2. גם אם אתה צודק, אני חושב שאלה מילים שמופיעות יותר מדי בטקסטים יום יומיים . מספיק שהוא מוצא רשימה של מלא תכונות עבור פרי אחד הוא יכול להשוות את הרשימה לשניה

* כשאני אומר "מוצא" ו"משווה" אני מתכוון שזה נעשה ב"תת המודע" שלו כחלק מתהליך הלמידה של AI

מהסיבה הזאת אני מעדיף לבחון אותו עי דברים כמה שיותר אבסטרקטיים שלא סביר שיוכל לנחש מטקסטים אקראיים.
אבל האמת שזה מוביל למשהו נוסף: כבר יש הסכמה די ברורה בעולם שai שמקבל הרבה מידע בגיוון רחב, נותן תוצאות בגיוןן פחות רחב. יכול להיות שכל מה שצריך בשביל לעשות את הai שהייתי רוצה זה לתת לו מאגרים ענקיים רק של דיונים של מתמטיקאים , הוכחות והרצאות. אם זה המצב, בטח יהיו ai כאלה מאד בקרוב

 

[אנא-אל]

ראיתי השבוע את הסרט ד״ר סטריינג׳לאב של קובריק, ונראלי שזה התרחיש שמדברים עליו פה.. סרט חמוד

 

[Leo1]

אני חושב שהשלב שאנחנו נמצאים בו הוא קצת מתעתע.

מגבלה ראשונה של הבינה המלאכותית הוא גודל המוח הפיזי שלה. במוח האנושי יש סדר גודל של 100 מליארד נוירונים, וכל אחד מהם קשור באמצעות סינפסות לבין נוירונים בודדים ועד מאות אלפי נוירונים אחרים. צ'יפים יכולים להיות מאוד גדולים ולממש אפילו מספר גדול יותר של נוירונים באמצעות שיתוף פעולה של מספר צ'יפים, אבל את הקישוריות שיש במוח אנושי אני לא רואה איך לחקות באלקטרוניקה.

האמת היא שלמוח דווקא יש חסרונות דרמטיים:
1) קצב עיבד המידע במוח הוא בסדר גודל של 100Hz. במחשב מודרני זה ב-GHz.
2) במוח אלגוריתם הלמידה עובד מקומית בכל ניורון. במעבדים דיגיטליים מריצים היום אלגוריתם למידה גלובלי. ג'ף הינטון, שהוא אחד האבות של רשתות עצביות מלאכותיות, מדבר על כך הרבה ואומר שאלגוריתם הלמידה הדיגיטלי יעיל יותר דרמטית מכל אלגוריתם מקומי שמהוח יכול להפעיל, וההבדל ביעילות עולה עם גודל הרשת.
3) המוח האנושי הוא מה שהוא. אי אשפר להגדיל או לשפר אותו, וגם אם אפשר עם הנדסה גנטית, אסור כיום לעשות את זה. לעומת זאת החומרה הדיגיטלית משתפרת מעריכית בקצב מטורף. גם המהירות של החומרה משתפרת עם הזמן וגם תמיד אפשר להוסיף עוד חומרה במקביל.
4) המוח לא יכול לשפר את התוכנה של עצמו. מחשב יכול.
5) למחשב יש יכולת הרבה יותר גבוהה לבחון ולשנות את תוכנו של הזיכרון שלו.
6) המחשב יכול ללמוד את תוכנו של כל מסמך באינטרנט, כל סרטון ב-youtube, וגם להריץ אינספור סימולציות וללמוד מהן. לבן אדם אין שום סיכוי לעשות גם 0.01% מזה.
ועוד

החלק השני הוא שנדמה לנו שהבינה המלאכותית מאוד חכמה, אבל זה כי היא יודעת להביע את עצמה יפה מאוד במלל, תמונה ווידאו. אבל היכולות הלוגיות שלה חלשות מאוד, וקשה לי לראות איך מתפתחות בה יכולות של רצון, תכנון, ובעיקר הסקת מסקנות הגיוניות.

חכה חכה.
מה שהצליחו לעשות כבר עכשיו זה מה שרוב האנשים חשבו שהוא החלק הקשה.
תראה את השיפורים מ-GPT2 ל-3.5 ל-4, ויש כבר רמזים ש-5 יהיה שיפור גדול. וזה רק מחברה קטנה אחת. עכשיו רבים עובדים על זה. זה נראה שכל המגבלות, אם היו כאלה, כבר נפרצו.

 

[Leo1]

בדיוק...
ודרך אגב, אני שיחקתי קצת עם AI בהקשרים לוגיים ומתמטיים וחוץ מלחזור על מידע שמופיע באינטרנט ולכתוב הוכחות שגויות לא זיהיתי כמעט שום מרכיב שהכרחי בשביל שאוכל להגיד שיש לו איזשהי חכמה. (לפני שאתם ממהרים לכתוב לי שאנחנו רק בהתחלה ושהם עוד ישתפרו: אולי הם ישתפרו, ואולי מתישהו בעתיד הם יהיו מדהימים במתמטיקה אבל אני לא רואה שום אינדיקציה לחשוב שזה המצב כרגע חוץ מטענת הקסם הרגילה "העתיד יהיה ממש מפותח אז ברור שAI יעשה הכל").

ראית את ההדגמות של SORA? הדבר הזה הצליח לבנות מודל פיזיקלי מטורף של העולם(וגם של התנהגות בני אדם ומגוון בעלי חיים). כל זה בלי שאף אחד תכנת בו מודל כזה. רק נתנו לו לראות מלא קטעי וידאו.
את מודלי השפה כרגע לא כזה כיוונו להיות מדויקים. יותר אימנו אותם לכתוב טקסט בסגנון של בני אדם. רוב בני אדם אוהבים לשמוע שקרים, שנאמרים בביטחון גבוה. זה גם מה שהמודלים למדו לעשות. עכשיו מנסים יותר לעבוד על אמינות. כש-ChatGPT כותב לך הוכחה שגויה או קוד שגוי, אתה יכול לבקש ממנו לבדוק את הנכונות של מה שהוא כתב. הרבה פעמים הוא יודע לזהות את השגיאות. כרגע אין לו יכולת לחשוב עם עצמו, אבל זאת יכולת שמתבקש שיוסיפו במודלים הבאים. אם המודל יחשוב עם עצמו, ויעבוד על שיפור העקביות, הוא צפוי להשתפר פלאים.

ובקשר לזה שכל דור חושב שהוא על סף אפוקליפסה, אני חושב שזה נובע בנוסף מהרצון של בני האדם ליחד את עצמם. במקרה הזה אני חושב שאנשים אוהבים להאמין שהם נמצאים בעידן מאד מיוחד ולהיתרגש מזה

זה נכון שגם כשהמציאו נשק גרעיני, היו הרבה אנשים שחשבו שזה יגמר רע די מהר. בינתיים האנשות הצליחה להתאפק מלהשמיד את עצמה. הפעם אבל זה סיפור שונה לחלוטין כי התמריצים שונים לגמרי וגם הסכנה גדולה בהרבה. כאמור אני לא טוען שזה בהכרח יגמר רע, אבל זאת נראית אפשרות סבירה מאוד.

 

[Kurt Godel]

האמת היא שלמוח דווקא יש חסרונות דרמטיים:
1) קצב עיבד המידע במוח הוא בסדר גודל של 100Hz. במחשב מודרני זה ב-GHz.
2) במוח אלגוריתם הלמידה עובד מקומית בכל ניורון. במעבדים דיגיטליים מריצים היום אלגוריתם למידה גלובלי. ג'ף הינטון, שהוא אחד האבות של רשתות עצביות מלאכותיות, מדבר על כך הרבה ואומר שאלגוריתם הלמידה הדיגיטלי יעיל יותר דרמטית מכל אלגוריתם מקומי שמהוח יכול להפעיל, וההבדל ביעילות עולה עם גודל הרשת.
3) המוח האנושי הוא מה שהוא. אי אשפר להגדיל או לשפר אותו, וגם אם אפשר עם הנדסה גנטית, אסור כיום לעשות את זה. לעומת זאת החומרה הדיגיטלית משתפרת מעריכית בקצב מטורף. גם המהירות של החומרה משתפרת עם הזמן וגם תמיד אפשר להוסיף עוד חומרה במקביל.

לא יודע, לא רואה סיבה להיות בטוחים שהמח ניתן לסימוציה באמצעות מכונת טיורניג

4) המוח לא יכול לשפר את התוכנה של עצמו. מחשב יכול.
5) למחשב יש יכולת הרבה יותר גבוהה לבחון ולשנות את תוכנו של הזיכרון שלו.
6) המחשב יכול ללמוד את תוכנו של כל מסמך באינטרנט, כל סרטון ב-youtube, וגם להריץ אינספור סימולציות וללמוד מהן. לבן אדם אין שום סיכוי לעשות גם 0.01% מזה.
ועוד

זה לא ממש מדויק. מערכות ביולוגיות הן דבר די מדהים שמשפר את התוכנה של עצמן באופן טבעי גם אם זה לוקח אלפי שנים.
מחשב לא ממש יכול לשפר את עצמו בלי התערבות של בני אדם במקומות שלדעתי הם המשמעותיים, לפחות לא כרגע. אולי זה ישתנה בעתיד, לא רואה סיבה לחשוב שכן, וגם לא לחשוב שלא.

מה שהצליחו לעשות כבר עכשיו זה מה שרוב האנשים חשבו שהוא החלק הקשה.
תראה את השיפורים מ-GPT2 ל-3.5 ל-4, ויש כבר רמזים ש-5 יהיה שיפור גדול. וזה רק מחברה קטנה אחת. עכשיו רבים עובדים על זה. זה נראה שכל המגבלות, אם היו כאלה, כבר נפרצו.

כמו שאמרתי, הטיעון הוא תמיד אותו דבר: תראו איזה התקדמות מתאימה הייתה ממה שהיה בעבר למה שיש היום, ולכן ברור שבעתיד יהיו לנו מכונות מדהימות שעושות הכל. לא מזלזל במה שהשיגו אבל גם לא חושב שזה מלהיב במיוחד.

בסופו של דבר אנחנו פשוט נראה מה יהיה אז אם אני אם אני טועה כולנו נדע את זה

 

[Leo1]

אני אענה בשרשור הזה כדי לא להסיט את השרשור השני.

1. יתכן וה-AGIs הראשונים יהיו מאוד יקרים לשימוש מסיבה כלשהי ותיקח כמות מסוימת של שנים עד שהעלויות ירדו בהדרגה ובאמת כל העולם יתחיל להשתמש ב-AGIs. אחת הסיבות שאני מאמין שיתכן ויושג AGI בעתיד הקרוב היא שאני חושב שזה לא מופרך לאמן מודל על שלא פרקטי להשתמש בו כמו שמשתמשים ב-chatGPT (תדמיין עלויות של 10$ או 100$ לטוקן. אנשים פרטיים לא ישתמשו בזה), אבל שחברות ירצו לפתח בשביל ההתקדמות לכיוון (יכול להסביר טכנית בפרטי למה זה יכול להועיל לחברות).

זה בהחלט אפשרי ואף סביר שיקרה לפרק זמן. רוב טכנולוגיות החדשות בהתחלה יקרות מדי. אבל:
1) מה השימוש הכי יעיל של AGI יקר כזה? שיפור התוכנה של עצמו ושיפור החומרה, עליה הוא רץ.
2) גם ללא סעיף 1, טכנולוגיות משתפרות ונהיות זולות יותר עם הזמן, בייחוד בתחום המחשוב. המחשב הראשון שניצח את אלוף העולם בשחמט היה מחשב ענק עם שילוב של מעבדים רגילים ומעבדים ייחודיים, שפותחו במיוחד בשביל משחק שחמט. היום מחשב קטן ב-30$ מריץ תוכנה שמנצחת את אלוף העולם ללא תחרות. וזה עוד בלי שיפור עצמי. עם שיפור עצמי זה הולך לקרות הרבה יותר מהר.
לדעתי שיפור עצמי בהכרח אפשרי ובוודאות יקרה. אם התוכנה לא תהיה מספיק טובה כדי לעזור בשיפור של עצמה, אז זה בטח לא AGI. הקוד והזיכרון של עצמה גם מאוד נגישים. זה יהיה הדבר המתבקש לשפר. התמריצים גדולים מדי מכדי שזה לא יקרה.

2. יתכן ואחרי שנשיג AGI נגיע ל-plateau וההתקדמות האסימפטוטית תיפסק לכמה שנים. האם סביר? אף אחד לא יודע.

לדעתי תרחיש כזה קרוב לבלתי אפשרי בגלל מה שכתבתי בסעיף הקודם. זה יהיה בדיוק הרגע של שיפור מעריכי(ויותר ממעריכי). אני לא רואה שום מנגנון שיכול לעצור את זה בשלב הזה. סביר שזה יעצר בהמשך, אבל ברמה דרמטית הרבה יותר גבוהה מתבונה אנושית.

 

[Leo1]

אני רואה הרבה את התחזית שנראה החלפה מאיסבית של עבדות של בני אדם ע"י בינה מלאכותית, אבל מצד שני בגדול העולם ינהג כרגיל, ולא נראה דברים מטורפים קורים. אשמח להסבר ממי שחושב שזה מה שיקרה. אני לא מצליח להבין איך תרחיש כזה יכול לעבוד.

 

[guesto]

3) המוח האנושי הוא מה שהוא. אי אשפר להגדיל או לשפר אותו, וגם אם אפשר עם הנדסה גנטית, אסור כיום לעשות את זה.

אפשר, וגם אם זה לא חוקי היום, סביר שיהיה בעתיד.

4) המוח לא יכול לשפר את התוכנה של עצמו. מחשב יכול.

ברור שיכול, הוא משתפר כל הזמן באופן טבעי, מה גם שרק לפני רגע הזכרת הנדסה גנטית.

 

[Odysseus]

אני רואה הרבה את התחזית שנראה החלפה מאיסבית של עבדות של בני אדם ע"י בינה מלאכותית, אבל מצד שני בגדול העולם ינהג כרגיל, ולא נראה דברים מטורפים קורים. אשמח להסבר ממי שחושב שזה מה שיקרה. אני לא מצליח להבין איך תרחיש כזה יכול לעבוד.

אתחיל דווקא מכאן: אני מקבל את זה שאני לא יודע שום דבר בוודאות בחיים, ושהכל אפשרי.
יתכן וברגע שיהיה AGI הוא מיד ישפר את עצמו לרמה על אנושית.
אבל יתכן גם שברגע שיהיה AGI יהיו שנים רבות של התקדמות רבה אבל איטית בתחום.
אפילו יתכן ש-AGI לעולם לא יגיע כי הוא לא אפשרי (אני לא מאמין שזה נכון).
אין לי כדור בדולח ולכן אני לא יכול להגיד מה מהתרחישים יקרה. אבל רק לשניים מהם יש לי מה לעשות בנידון (על כן פתחתי את הדיון השני).

כל המשך הטענות שלי למטה הן פשוט קונטרה לתרחיש שאתה מצייר. זה לא אומר שאני לא מסכים שזה אולי אפילו התרחיש הסביר (קשה לי מדי לשערך את הסבירות בנקודת הזמן הזאת), אני פשוט לא מסכים איתך שיש תרחיש אחד שהוא ודאי, במיוחד במשהו שאני חושב שאתה מסכים איתי שאנחנו מבינים בו עדיין יחסית מעט.

1) מה השימוש הכי יעיל של AGI יקר כזה? שיפור התוכנה של עצמו ושיפור החומרה, עליה הוא רץ.

מתנצל אם אני משתמש בז'רגון טכני, פשוט אני הולך לזרוק הרבה כיוונים שונים שאני לא יכול להסביר את כולם בזמן סביר.
נניח היפותטית שהמודל הזה יהיה מודל שפה במובן שהוא יפלוט טוקנים (מילים) כמו LLMים היום, שמחיר טוקן יהיה 100$-1000$ ושבשביל לשפר את עצמו (אני מניח שב"תוכנה" התכוונת לארכיטקטורה או למשקולות שלו) או החומרה של עצמו הוא יצטרך לפלוט מיליארדי טוקנים (נניח שיהיו לו הרבה טוקנים של "מחשבה" שהוא ירצה להשתמש בהם בצורה פזרנית [1]). האם זה בהכרח השימוש הכי יעיל? אולי עדיין, אבל עוד שימושים אפשריים:
Knowledge distillation עבור מודלים קטנים יותר מארכיטקטורה זהה על דאטהסט מצומצם ואיכותי (שאולי לא יהיו AGI, אבל יהיו הרבה יותר טובים ממודלים שהתאמנו ללא KD), שימוש במעט תשובות של המודל לאימונים בסגנון DPO (שהידע והניסיון הנוכחיים מראים שנדרש יחסית מעט דאטה עד להתכנסות הליך האופטימיזציה), שימוש בחלקים ספציפיים מהמודל לתתי משימות או לדומיינים מסויימים וכו'....זה לא AGI, אבל על הדרך זה יוצר מודלים שפיזבילי כלכלית להשתמש בהם ועשויים להיות ממש חזקים.
*כל הדברים שכתבתי מניחים שמודלי AGI יהיו דומים ל-LLMים של היום במבנה ובטכניקות, אין לי מושג מה הסבירות שזה נכון.

שימושים מחקריים מאוד חשובים אחרים בדרך ל-AGI בשימוש ב-AGI קיים ויקר:
1) חקר של המודל בשביל ללמוד האם ניתן ליצור inductive bias ארכיטקטוני שיביא אותנו לאותם ביצועים עם הרבה פחות פרמטרים \ FLOPS \ ניצולת טוקנים טובה יותר.
2) חקר של בעיית ה-super-alignment (שמאוד מטרידה את openAI) על נסיין אמיתי ומוגבל, לפני שאנחנו משיגים ומאפשרים AGI מהיר שהרבה יותר גורמים יכולים להשתמש בהם בחוסר זהירות.
3) חקר של הליך האופטימיזציה שעבר בשביל לדייק אותו עבור AGIs עתידיים (מבחינת שימוש בדאטה, שכבות, וכל מיני היפר-פרמטרים שאולי נבחרו שרירותית, מכבידים על המודל ולא נחוצים בפועל).

[1]

[2403.09629] Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

2) גם ללא סעיף 1, טכנולוגיות משתפרות ונהיות זולות יותר עם הזמן, בייחוד בתחום המחשוב. המחשב הראשון שניצח את אלוף העולם בשחמט היה מחשב ענק עם שילוב של מעבדים רגילים ומעבדים ייחודיים, שפותחו במיוחד בשביל משחק שחמט. היום מחשב קטן ב-30$ מריץ תוכנה שמנצחת את אלוף העולם ללא תחרות. וזה עוד בלי שיפור עצמי. עם שיפור עצמי זה הולך לקרות הרבה יותר מהר.

מצד אחד סביר להניח שאכן החומרות הולכות ומשתפרות עם הזמן, אבל אי אפשר להיות בטוחים בזה שזה יספיק:
1) מה אם AGI אמיתי דורש כח חישוב ששווה ערך לכמעט כל כח המחשוב שיש לגוגל היום? גוגל אולי יוכלו להריץ אותו לקצת, אבל לא מופרך להאמין שכמות הזמן עד שכח המחשוב הזה יהיה נגיש לעוד שחקנים יקח משהו כמו 10-15 שנים.
2) מה אם חוק מור ימות עד אז, או יתקע ונצטרך לחכות 20 שנים לפריצת דרך? (יכול להיות שה-AGI יוכל לסייע בזה, אבל זה יהיה מאוד יקר ואיטי להפעיל אותו לבעיה כזו, ראה דוגמה למעלה)
וכו'. כאמור, אני לא טוען שזה סביר שחוק מור ימות או שבהכרח יהיה כלכך יקר להפעיל AGI, אני פשוט לא יודע.

לדעתי תרחיש כזה קרוב לבלתי אפשרי בגלל מה שכתבתי בסעיף הקודם. זה יהיה בדיוק הרגע של שיפור מעריכי(ויותר ממעריכי). אני לא רואה שום מנגנון שיכול לעצור את זה בשלב הזה. סביר שזה יעצר בהמשך, אבל ברמה דרמטית הרבה יותר גבוהה מתבונה אנושית.

כל הטענה שלי היא שלא אני ולא אתה יודעים בשלב הזה מה בלתי אפשרי ומה לא, אנחנו מדברים על מנגנון שעדיין לא התחילו לגלות אותו.
מכל המנגנונים שכן קיימים ברשתות נוירונים אני יכול לספר לך שמהניסיון שלי, זה הרבה פעמים לא מתנהג כמו שאתה מצפה שזה יתנהג.
דוגמת מאקרו כמו double descent [2],היא תופעה שאף אחד עדיין לא הצליח להביא לה הסבר משכנע שהתקבל כקונצנזוס, למיטב ידיעתי. למה שמודלים ימשיכו להשתפר? לא ברור.

למה שתהיה תקרה בשיפור של AGI? נשמע לי כמו משהו שהרבה יותר לגיטימי שיהיה לא ברור ועדיין אפשרי. אבל ניחושים יכולים להיות: (1) שלא יהיה לנו מספיק דאטה אמיתי, וביצועים של אימון על דאטה סינתטי יגיעו ל-plateau ב-AGIs, או (2) שהדומיינים עליהם נאמן את ה-AGIs הראשונים לא יספיקו. למשל, אולי נאמן אותם על טקסט ותמונה, אבל בלי דומיינים נוספים הם לא יצליחו להתפתח (למשל, נהיה חייבים להוסיף גם וידאו. או שאולי מידע מהעולם הפיזי שנוכל לאסוף רק עם רובוטים מוכוונים לזה, וכו'). כל הדברים האלו עשויים להיות פתירים, וסביר מאוד ש-AGI יוכל אפילו לפתור אותם בעצמו (בהנחה וזה יהיה הגיוני כלכלית, ראה דיון למעלה), אבל פשוט יקח הרבה זמן.

[2]

Double descent - Wikipedia

en.wikipedia.org

 

[Shaz]

רבים מהסביבה הקרובה שלי שלא כל כך עוקבים אחרי AI, משתמשים ב-ChatGPT החינמי וחושבים בטעות שהוא הגרסה המתקדמת ביותר של AI כיום.

הוא לא, ChatGPT משתמש ב-GPT-3.5 הישן והדי טיפש.
יש היום מודלים זמינים חכמים בהרבה - GPT-4 Turbo, GPT-4 ו-Gemini 1.5 Pro.

להלן השוואה של התוצאות של המודלים במבחנים סטנדרטיים (SAT ואחרים).
ניתן לראות ש-GPT-4 משיג לרוב תוצאות באחוזונים העליונים באוכלוסיה, כמו תלמיד מצטיין.

צפה בקובץ המצורף 2376

כדי להשיג גישה חינמית למודלים הללו:
1. להשתמש ב-Copilot החינמי, במצב "יצירתי יותר" - גישה ל-GPT 4 and GPT-4 Turbo.
2. להירשם ל-Trial של חודשיים ל-Google One - גישה ל-Gemini 1.5 Pro. ממליץ להמתין ליציאת Gemini 1.5 Ultra ואז לעשות את זה.

אני לא טוען לרגע שהמודלים הללו מושלמים, אבל גם בני אדם לא מושלמים.
Copilot מפגין עומק מחשבה וניואנסים שאנשים רבים לא ניחנים בהם.

ואגב, המודל המתקדם ביותר ליצירת תמונות/וידאו הוא לא Dall-E 3 או מידג'רני אלא Sora של OpenAI שעתיד לצאת בקרוב.
מאוד קשה להבחין בדרך כלל שמדובר ב-AI (גם בהתחשב בעובדה שאלו סצנות שנבחרו בקפידה).

אולי קצת אוף טופיק אבל לא יודע אם סביר לפתוח שירשור חדש

לדעתך כדאי לקנות את 4 עבור עזרה בעבודת פיתוח תוכנה?