על סף סינגולריות

[Leo1]

שמע, אם כל העננים שלך מסביב לזה הוא לשעשוע אינטלקטואלי וכו' אז סבבה להחזיק בדעות קיצוניות.

אגב למה אתה חושב שמה שתיארתי זאת דעה קיצונית ושזה לא הולך לקרות?

 

[oferM]

תמונת מצב של יכולות ה-AI כיום.
לפי הבנצ'מרק https://livebench.ai/ שמבוסס על שאלות עם תשובה אובייקטיבית + חסין יחסית ל"זיהום" (השאלות לא נחשפו במהלך אימון המודל), אפשר לראות ש:

1) GPT כמעט שלא התקדם ביכולות לאחרונה - המודל החדש 4o חכם רק במעט בהשוואה לגרסה מוקדמת של GPT 4 שיצאה ב-2023 (מודל שנקרא gpt-4-1106-preview).
2) קלוד 3.5 הוא המודל החכם ביותר והציג שיפור משמעותי בזמן קצר מאוד - קראתי פוסט של אנת'רופיק שזוקף את השיפור לדאטה סינטתי.
3) גוגל משתרכת מאחור - המודל המתקדם ביותר של גוגל ממאי (gemini-1.5-pro-api-0514), מפגר משמעותית ביכולות מול GPT וקלוד.

צפה בקובץ המצורף 2521


*ידוע לי שקיימים בנצ'מרקים אחרים להשוואה בין מודלים כמו lmsys אבל הם סובלים מבעיות כמו Sampling bias, "זיהום" ותשובות שלא נבדקות באופן אובייקטיבי.

הבנתי שchatgpt-o1 השתפר בעיקר בתחומים ספציפים. האם בנצמארק בודק זאת?

 

[Leo1]

באופן מצער, ככל שאני חושב על זה יותר, אני רק מצליח לחשוב על עוד טיעונים למה זה יביא להשמדת האנושות. אני יכול לחשוב גם על תרחישים טובים, אבל איכשהו הם נראים מאולצים, ואני לא יודע להגיד כמה הם מציאותיים. יש איתם לא מעט בעיות.
אני באמת אשמח לשמוע על תרחיש טוב בעל סבירות גבוהה. (רק בבקשה לא תרחישים בהם אנחנו מנסים אך לא מצליחים לפתח בינה מלאכותית על-אנושית. הסבירות של זה היא בדיוק אפס)

 

[OnTheVerge]

הבנתי שchatgpt-o1 השתפר בעיקר בתחומים ספציפים. האם בנצמארק בודק זאת?

O1 נחשב טוב ב-Reasoning ובמקצועות ה-STEM.

לפי בנצ׳מרקים אובייקטיביים עם שאלות שלא דלפו לרשת (כמו LiveBench ו-Scale.com) אכן יש שיפור בחלק מהתחומים כמו Reasoning, מתמטיקה, ניתוח נתונים, הבנת שפה וגם תכנות לפי אחד מהבנצ׳מרקים.

הבנצ׳מרקים מראים שיפור בחלק מהתחומים לעומת מודלים קודמים אבל אין כאן לדעתי קפיצת מדרגה משמעותית.
בנוסף, בהתחשב במחיר הגבוה מאוד של O1 פר טוקן לעומת Claude Sonnet 3.5, כרגע אין ממה להתרגש.

אנת׳רופיק צפויה לשחרר את Claude Opus 3.5 בשבוע הבא - יהיה מעניין.

 

[oferM]

באופן מצער, ככל שאני חושב על זה יותר, אני רק מצליח לחשוב על עוד טיעונים למה זה יביא להשמדת האנושות. אני יכול לחשוב גם על תרחישים טובים, אבל איכשהו הם נראים מאולצים, ואני לא יודע להגיד כמה הם מציאותיים. יש איתם לא מעט בעיות.
אני באמת אשמח לשמוע על תרחיש טוב בעל סבירות גבוהה. (רק בבקשה לא תרחישים בהם אנחנו מנסים אך לא מצליחים לפתח בינה מלאכותית על-אנושית. הסבירות של זה היא בדיוק אפס)

מה לגבי התרחיש שהגישה לבינה מלאכותית על אנושית תהיה מפוקחת מאוד, ברמה של נשק אטומי, ללא גישה לאנשים רעים , ולא תהיה לה הרצון והיכולת לפעול בתור ישות עצמאית?

מבחינת חסימת גישה לאנשים רעים, זאת שאלה טובה...

מבחינת חסימת יכולת של הבינה מלאכותית נראה לי שאפשרי ליצור sandbox אמין, מוכח מתמטית.

ומבחינת רצון של הבינה המלאכותית, לא חושב שחייב להיות לה רצון משלה.

 

[Leo1]

מה לגבי התרחיש שהגישה לבינה מלאכותית על אנושית תהיה מפוקחת מאוד, ברמה של נשק אטומי, ללא גישה לאנשים רעים , ולא תהיה לה הרצון והיכולת לפעול בתור ישות עצמאית?

כן, כי כרגע זה עובד ממש טוב עם לתת שלטון רק לאנשים טובים. רק תסתכל על המזרח התיכון, ועל ישראל בפרט. וגם בשאר העולם יש בעיות.
זה מה שאכן היה רצוי, אבל המבנה הפוליטי העולמי הנוכחי כל כך רחוק מזה, שזה נראה חסר סיכוי לחלוטין.

מבחינת חסימת גישה לאנשים רעים, זאת שאלה טובה...

אכן שאלה טובה. זה מצריך פיקוח אדוק ברמה של דיקטטורה נוקשה, מה שאנשים טובים בדרך כלל לא נוטים להאמין בו.

מבחינת חסימת יכולת של הבינה מלאכותית נראה לי שאפשרי ליצור sandbox אמין, מוכח מתמטית.

כרגע זה הולך בכיוון ההפוך בדיוק. כרגע הכל מחובר לאינטרנט. זה כאילו הכלל הראשון בכל סיפור מדע בדיוני של מה לא לעשות, והנה הפרנו אותו כבר על ההתחלה. וגם את שאר הכללים הפרנו.
לאף אחד אין שמץ של מושג איך לעשות שזה יהיה ניתן להוכחה מתמטית וספק רב אם זה אפשרי בכלל.

ומבחינת רצון של הבינה המלאכותית, לא חושב שחייב להיות לה רצון משלה.

היא חייבת רצון להיות מסוגלת לענות נכון כדי לעבוד. את זה כבר יש לה. מה שחסר במודלים הראשונים זה היכולת לשפר את עצמה. כרגע כבר עושים את זה עם אדם בחוג, אבל מי שרוצה לקבל בינה מלאכותית חזקה ככל האפשר מהר ככל האפשר יתן לה לשפר את עצמה. התמריצים הכלכליים, הביטחוניים והאחרים הם גדולים יותר מכל תמריץ שהיה אי פעם בהיסטוריה האנושית. והנה, יש לבינה המלאכותית רצון חזק.

וזאת רק ההתחלה. יש עוד בעיות.
ועם כל זאת, יש פה גם דברים שאנחנו לא מבינים ועלולים להפתיע את כולם.

 

[oferM]

כן, כי כרגע זה עובד ממש טוב עם לתת שלטון רק לאנשים טובים. רק תסתכל על המזרח התיכון, ועל ישראל בפרט. וגם בשאר העולם יש בעיות.
זה מה שאכן היה רצוי, אבל המבנה הפוליטי העולמי הנוכחי כל כך רחוק מזה, שזה נראה חסר סיכוי לחלוטין.

אכן שאלה טובה. זה מצריך פיקוח אדוק ברמה של דיקטטורה נוקשה, מה שאנשים טובים בדרך כלל לא נוטים להאמין בו.


כרגע זה הולך בכיוון ההפוך בדיוק. כרגע הכל מחובר לאינטרנט. זה כאילו הכלל הראשון בכל סיפור מדע בדיוני של מה לא לעשות, והנה הפרנו אותו כבר על ההתחלה. וגם את שאר הכללים הפרנו.
לאף אחד אין שמץ של מושג איך לעשות שזה יהיה ניתן להוכחה מתמטית וספק רב אם זה אפשרי בכלל.

היא חייבת רצון להיות מסוגלת לענות נכון כדי לעבוד. את זה כבר יש לה. מה שחסר במודלים הראשונים זה היכולת לשפר את עצמה. כרגע כבר עושים את זה עם אדם בחוג, אבל מי שרוצה לקבל בינה מלאכותית חזקה ככל האפשר מהר ככל האפשר יתן לה לשפר את עצמה. התמריצים הכלכליים, הביטחוניים והאחרים הם גדולים יותר מכל תמריץ שהיה אי פעם בהיסטוריה האנושית. והנה, יש לבינה המלאכותית רצון חזק.

וזאת רק ההתחלה. יש עוד בעיות.
ועם כל זאת, יש פה גם דברים שאנחנו לא מבינים ועלולים להפתיע את כולם.

לדעתי sandbox אמין מוכח מתמטית כבר קיים. למשל sel4. נראה לי שעוד טכנולוגיות בכיוון קיימות, אבל כנראה הצבא שומר עליהם הן להגנה והן בשביל שהוא יוכל לחדור למערכות של אויבים, ואזרחים(למשל חשודים בטרור). איך האינטרנט משתלב בכל זה, האם חייבים גישה, האם אפשר לתת גישה חלקית ובטוחה זה שאלות חשובות.

תראה מצד אחד יש הרבה תמריצים לכיוון רצון לבינה מלאכותית. אבל גם התמריצים השלילים חזקים מאוד. השאלה לאן זה ילך.

אם אנחנו לומדים מההיסטוריה של הטכנולוגיה תאמת זה לא נראה כ"כ טוב. היה את מפרץ החזירים, היה כמעט תאונות גרעיניות שהיו יכולות לגרום למלחמה שנעצרו במקרה על ידי החלטה של אדם אחד, היה את ה קורונה שבמזל לא היתה יותר אגרסיבית והיה לנו חיסון, והיה את 9/11 שבו קבוצה של טרוריסטים השתמשו במטוס כפצצה עצומה שהרגה אלפים והתחילה מלחמה. יש את האינטרנט עם כל השפעותיו הלא צפויות.

אז כן, יש לנו הצלחה חלקית ברגולציה של טכנולוגיות מסוכנות ואנחנו כנראה נכנסים לעולם יותר כאוטי, הרבה יותר כאוטי עם הבינה המלאכותית.

 

[מלפפון במלח]

באופן מצער, ככל שאני חושב על זה יותר, אני רק מצליח לחשוב על עוד טיעונים למה זה יביא להשמדת האנושות.

כמה שאלות -
1. למה שבינה מלאכותית תביא להשמדת האנושות?
2. אתה מכיר את ההתפתחויות בתחום? איך זה יכול לקרות?
3. נניח וזה נכון, למה השמדת האנושות זה משהו רע?

 

[Roi]

1. למה שבינה מלאכותית תביא להשמדת האנושות?

רטב הסיכויים שהיא תהיה תחת שליטה של אנשים מטומטמים...ראה את מנהגי העולם

נניח וזה נכון, למה השמדת האנושות זה משהו רע?

אם אתה מסתכל בתור בן אנוש בעל משפחה....נראה לי התשובה ברורה.

אם אתה מסתכל בתור כדור הארץ...אז לא ממש אכפת לו.

 

[קפה שחור]

אם אתה מסתכל בתור

Skynet?

 

[מלפפון במלח]

רטב הסיכויים שהיא תהיה תחת שליטה של אנשים מטומטמים...ראה את מנהגי העולם


אם אתה מסתכל בתור בן אנוש בעל משפחה....נראה לי התשובה ברורה.

אם אתה מסתכל בתור כדור הארץ...אז לא ממש אכפת לו.

לגבי התשובה הראשונה - הבינה המלאכותית שמדובר פה לא תהיה תחת השליטה של האנושות. על זה מבוסס כל הפחד שלו.

לגבי החלק השני - גם אם אני מסתכל בתור בן אנוש, לא חושב שהשמדת האנושות זה התרחיש הגרוע ביותר, אפילו לא בין הגרועים. אני חושב שהתרחישים הגרועים ביותר הן ירידה ברמת החיים של כולנו. בין אם זה בעקבות מלחמות אינסופיות, וירוסים אפוקליפטים, מחסור במשאבים בסיסים, מזג אויר קיצוני וכו'
השמדה או היעלמות של האנושות זה לא כזה גרוע, המשך קיום במצב רע זה גרוע אלפי מונים.

 

[Roi]

המשך קיום במצב רע זה גרוע אלפי מונים.

שכנעת !

 

[קפה שחור]

המשך קיום במצב רע

אנחנו במצב רע?

 

[מלפפון במלח]

אנחנו במצב רע?

זה תלוי למה אתה משווה.

בכל מקרה, כוונתי הייתה שהיעלמות של האנושות בן רגע עדיף על המשך קיום האנושות בתנאים רעים יותר מהתנאים הקיימים.

 

[קפה שחור]

זה תלוי למה אתה משווה.

בכל מקרה, כוונתי הייתה שהיעלמות של האנושות בן רגע עדיף על המשך קיום האנושות בתנאים רעים יותר מהתנאים הקיימים.

הזכרת לי את הסרט "don't look up"
לסצנריו כזה התכוונת?
או התאבדות קולקטיבית?

 

[מלפפון במלח]

הזכרת לי את הסרט "don't look up"
לסצנריו כזה התכוונת?
או התאבדות קולקטיבית?

לא ראיתי את הסרט, אז אני לא יודע.
אני סה"כ הגבתי ל @Leo1 שמפחד מהשמדת האנושות, אז אמרתי שהשמדה זה לא נורא

 

[Roi]

אנחנו במצב רע?

קפה... אתה מטריל?

זה בגלל ירידת סוכר? אל דאגה הצום אוטוטו נשבר

 

[קפה שחור]

קפה... אתה מטריל?

טיפה..

אל דאגה

לא צם, לא דואג
יושב במקום אחר בעולם ומתכתב עם אנשים שנמצאים פיזית במקום אחר באמצעות התקנים פיזיים
מתקשה למצוא איך המצב רע או גרוע או מחמיר
אני רק רואה ירוק בעיניים, השמש זורחת בבוקר בלווי שירת ציפורים (וחיות נוספות)
הקפה לצידי...

 

[Leo1]

מההצגה של OpenAI o3 ברור לי לחלוטין שמדובר ב-AGI, ואפילו כבר לא בסף התחתון של AGI, אלא גבוה יותר. לדעתי בשלב הזה פיתוח בינה מלאכותית על-אנושית ברמה של כמעט אלוהים הופכת לבעיה כמעט טריויאלית. אני לא רואה שום תרחיש שבו זה לא קורה בעשור הקרוב, אם לא יותר מהר מזה.(חוץ מאולי התערבות של חייזרים). החלק הקשה הוא לעשות את זה בלי שנשמיד את עצמינו.
קשה להאמין באיזה שטויות בני האדם מתעסקים כשזה מה שמתקרב אלינו. אם האנשות תושמד בקרוב, זה יקרה רק באשמת הטמטום האנושי. האמונות והשקפות העולם של רוב בני האדם לצערי מתאימות כיום לתקופת האבן ולא לאתגרים שעומדים לפנינו. עדיין אני מקווה שזה יסתדר, אבל אם זה יקרה, זה כנראה יהיה יותר מזל משכל.

 

[איניגו מונטויה]

לדעתי בשלב הזה פיתוח בינה מלאכותית על-אנושית ברמה של כמעט אלוהים הופכת לבעיה כמעט טריויאלית. אני לא רואה שום תרחיש שבו זה לא קורה בעשור הקרוב, אם לא יותר מהר מזה.(חוץ מאולי התערבות של חייזרים). החלק הקשה הוא לעשות את זה בלי שנשמיד את עצמינו.
קשה להאמין באיזה שטויות בני האדם מתעסקים כשזה מה שמתקרב אלינו. אם האנשות תושמד בקרוב, זה יקרה רק באשמת הטמטום האנושי.

עדיין אני מקווה שזה יסתדר, אבל אם זה יקרה, זה כנראה יהיה יותר מזל משכל.

מודל שפה נשמע לי רחוק מאוד מ"רמה של כמעט אלוהים", בטח שלא השמדה של האנושות תוך עשור.

אגב, גם אם אני טועה (וממש לא נראה לי שזה המצב) -
מכיוון שלי אישית (בתור אדם פשוט) יש השפעה זניחה לחלוטין על ההתפתחויות בנושא,
עדיף כנראה לחיות את העשור שנותר לי בלי חרדות שלא יתרמו לי שום דבר...