על סף סינגולריות

[nicepo1]

אני עדיין לא הצלחתי להבין מה בדיוק התרחיש הטוב שאנשים צופים. איך נגיע למצב של שפע ולא למיליארדי הרוגים בלי איזה נס? מה התוכנית?
והדברים הולכים לקרות מהר בשנים הקרובות. אנחנו על הסף של שיפור רקורסיבי.

לצערנו לפי הרבה מהמומחים לעניין אין הרבה תרחישים עם סוף אופטימי.
התרחיש הכי אופטימי שראיתי זה שתהיה תקופת שפע אדירה בעשרות השנים הבאות אחרי ותוך כדי כניסת הAI לכול תחומי החיים והשילוב בעולם הפיזי(כבר עכשיו ניתן לראות עליה שנתית של אלפי אחוזים בכמות הפלטפורמות הרובוטיות)

שנים שבהן אנחנו נפתח את תשתיות הבינה המלכותית והיא תיצור עושר חומרי אדיר לבני האדם במקביל
זה קורה תוך כדי ואחרי שהבינה המלכותית מגיעה לשליטה מלאה ונהיית המין החזק על כדור הארץ ואנחנו מספר 2
פשוט יש אינטרס משותף של בנית תשתיות ושפע שמספיק לכולם.

לפי התרחיש האופטימי במהלך השנים האלה המין האנושי ישתלב בחומרה וימשיך להתקיים בצורה מסויימת(כנראה לא משהו שקרוב לבני אדם כיום או שאפשר לדמיין כרגע)
בפחות אופטימי פשוט יפתרו מאיתנו ברגע שכבר לא יהיה צורך בנו
הפחות פחות אופטימי,ישתמשו בנו לצרכים שלהם כמו שאנחנו משתמשים בתרנגולות לצרכנו.

שורה תחתונה בני אדם בצורתם הנוכחית לא יהיו קיימים עוד 200 שנים בסבירות מאוד מאוד גבוה
לא נראה שניתן לעצור את התהליך אולי להאט אותו מעט.

 

[Leo1]

אגב שימו לב לזה:
אחראי על Alignment באנתרופיק כותב שהוא מאמין שיש סיכוי של יותר מ-10% שהבינה המלאכותית תשמיד את האנושות בעשור הקרוב.
דמיינו שמנהל בטיחות מוצר היה אומר שהמוצר שהחברה שלו מפתחת בוודאות יהרוג יותר מ-800 מיליון בני אדם בעשור הקרוב. אלא שמה שהוא אומר כאן חמור בהרבה. השתמשתי כאן בממוצע, אבל הנזק ממש לא לינארי. גם ככה בסוף כולם מתים, אבל הם מוחלפים ע"י הדורות הבאים. אירוע שיביא למותם של 800 מיליון בני אדם הוא זניח לחלוטין יחסית להשמדת האנושות כולה. יותר מזה, הוא כתב מעל 10%. יכול להיות גם שהוא חושב שזה 80%, אבל לא רוצה לכתוב את זה. כמו כן, יותר מ-10% בעשור הקרוב, וכמה בעשור שאחריו? וזה שאחריו? יש פה ריבית דריבית בשפת הפורום הזה.
אבל זה שהם יעצרו לא יעזור בכלום כי מישהו אחר יעשה את זה. זה מבנה התמריצים הנוכחי וזה עמוק בגנים של בני האדם. מה שיעזור זה רק אם באיזה נס תצא בינה מלאכותית שתדאג לבני האדם, ומבנה החברה האנושית הנוכחי לא נראה שמוביל לשם בכלל.

 

[Yoshi_Invest]

גם אם לא נזק מטורף כל אחד יכול לקחת את הכלים האלה ולהסב המון נזק בין אם בכוונה או לא, נראה לי שזה יהיה מה שיותר מדאיג מהשמדה טוטלית לפחות עד שנגיע לשם.

 

[גרביל מרוץ]

כל אחד יכול לקחת את הכלים האלה ולהסב המון נזק בין אם בכוונה או לא

כולל עובדים בתוך החברות האלה

 

[Strike!]

אחראי על Alignment באנתרופיק כותב שהוא מאמין שיש סיכוי של יותר מ-10% שהבינה המלאכותית תשמיד את האנושות בעשור הקרוב.

תגיד למה לדעתך שהוא יגיד את זה שבועות לפני ההנפקה המתוכננת?

 

[nicepo1]

נראה לי שזה יהיה מה שיותר מדאיג מהשמדה טוטלית לפחות עד שנגיע לשם.

הפוך,בתרחיש קיצוני כמו השמדה,כשנגיע לשם כבר אין מי שידאג.
דווקא אירועים מקומיים של נזק ע"י בני אדם יכולים להעיר את האנושות לנסות לפחות להאט את התהליך
ואולי גם תוך כדי נגלה אפשרויות אחרות לשליטה והגבלה
הבעיה המרכזית שהתחום מתפתח מהר מאוד ככה שאין זמן לרגולציה להתפתח או לציבור ללמוד לעומק את המשמעות.

 

[Leo1]

תגיד למה לדעתך שהוא יגיד את זה שבועות לפני ההנפקה המתוכננת?

כי הוא מעדיף שהוא ושאר בני האדם לא ימותו בעשור הקרוב.

 

[Leo1]

גם אם לא נזק מטורף כל אחד יכול לקחת את הכלים האלה ולהסב המון נזק בין אם בכוונה או לא, נראה לי שזה יהיה מה שיותר מדאיג מהשמדה טוטלית לפחות עד שנגיע לשם.

זה כשל לוגי שאני שומע אותו הרבה. ככה כמעט תמיד מדברים בטלויזיה ובעיתונות. אנשים פוחדים פחד מוות מסיכונים זניחים שהם רגילים אליהם, אבל מתעלמים לחלוטין מסיכונים קטסטרופליים, גם אם הם ממש עומדים לקרות באופן מיידי, כיוון שלא חוו אותם בעבר ולא מצליחים לדמיין שהם עומדים לקרות גם אם כל המידע אומר שהם עומדים לקרות תוך זמן קצר. הפחד עובד אצל בני אדם כמו אצל בעלי חיים עם מוח קטן ולא עובד לפי ההיגיון. אגב גם 7 באוקטובר היה ככה. התעסקו בסיכונים זניחים והתעלמו מהפיל מול העיניים. אלא שהפעם זה אירוע מסוכן יותר פי מיליארד.

 

[Strike!]

כי הוא מעדיף שהוא ושאר בני האדם לא ימותו בעשור הקרוב.

אבל הוא ממשיך לעבוד שם?... לא מרגיש לך הסבר חלש?...

 

[Yoshi_Invest]

אבל הוא ממשיך לעבוד שם?... לא מרגיש לך הסבר חלש?...

יותר כמו בוא נמציא סיפור למה אנחנו חייבים להיות המונופול היחיד עם המפתחות לארמון.

אולי קצת מגזים אבל זה די סיפור קלאסי למונופולים.

 

[Leo1]

אבל הוא ממשיך לעבוד שם?... לא מרגיש לך הסבר חלש?...

זאת פשוט האמת. האנשים האלה חכמים מספיק כדי להבין אותה.
למה הוא ממשיך לעבוד שם? חלק גדול מזה נובע מזה שהם מאמינים שאם הם לא יעשו את זה, יעשה את זה מישהו פחות אחראי, ובזה שהם עובדים על זה מקטין את הסיכון. הם גם חושבים שיש סיכוי משמעותי שזה כן ילך טוב ויביא את האנושות למצב של שפע חסר תקדים. האם הם צודקים בזה זאת שאלה אחרת. יש גם רבים שפרשו כי לא רצו להיות חלק מזה.

 

[Leo1]

@Strike!
קודם שיבחת אותי על זה שחזיתי את השיח הנוכחי לפני כמה שנים בתחילת השרשור. לי אין מניות באנתרופיק ואין לי מה להרוויח מזה. איך ידעתי לכתוב זאת כבר אז? כי חשבתי על העניין הזה לא מעט כבר יותר מ-20 שנה. צפיתי כמו רבים אחרים שזה יבוא, אבל חשבתי שזה יקח יותר זמן. כשיצא GPT4 כבר היה ברור לי לחלוטין שזה זה. זה קורה עכשיו. היו כאלה שהבינו זאת גם לפני. חלק הבינו גם ב-GPT2 וחלק גם לפני. אין לי ספק שגם רבים מהעובדים באנתרופיק צפו את זה. כל עוד אבל זה היה משהו עתידי מתישהו, הם יכלו להמשיך לעבוד על זה כרגיל. עכשיו אנחנו על הסף. אני מניח שלא מעט מהעובדים מבוהלים. אין להם אבל באמת משהו שהם יכולים לעשות עם זה. הגישה שהם נוקטים של להמשיך בפיתוח ולהזהיר במקביל בהחלט ניתנת להצדקה.

 

[Strike!]

@Strike!
קודם שיבחת אותי על זה שחזיתי את השיח הנוכחי לפני כמה שנים בתחילת השרשור. לי אין מניות באנתרופיק ואין לי מה להרוויח מזה. איך ידעתי לכתוב זאת כבר אז? כי חשבתי על העניין הזה לא מעט כבר יותר מ-20 שנה. צפיתי כמו רבים אחרים שזה יבוא, אבל חשבתי שזה יקח יותר זמן. כשיצא GPT4 כבר היה ברור לי לחלוטין שזה זה. זה קורה עכשיו. היו כאלה שהבינו זאת גם לפני. חלק הבינו גם ב-GPT2 וחלק גם לפני. אין לי ספק שגם רבים מהעובדים באנתרופיק צפו את זה. כל עוד אבל זה היה משהו עתידי מתישהו, הם יכלו להמשיך לעבוד על זה כרגיל. עכשיו אנחנו על הסף. אני מניח שלא מעט מהעובדים מבוהלים. אין להם אבל באמת משהו שהם יכולים לעשות עם זה. הגישה שהם נוקטים של להמשיך בפיתוח ולהזהיר במקביל בהחלט ניתנת להצדקה.

קודם כל, זה שחשבתי שצדקת אז (בדיעבד) לא אומר שמעכשיו אני מסכים להכל לנצח. מסכים שזה נותן לך קרדיט בעיני. אם תבוא לניו יורק הקפה הראשון עלי. יש מקומות טובים לא הכל זה השחור החמוץ שלהם.

דבר שני, אני חושב שה AI הוא איום גדול עכשיו גם אם לא מתקדמים עוד מילימטר- לתכנן נשק ביולוגי, להפיל רשתות תשתיות, לפרוץ לאתרים ממשלתיים וצבאיים כו- כח שיורד במהירות לרמת האדם הפרטי עם המודלים הפתוחים. אנחנו שם, היום.

בין זה לבין AI עם מודעות שמגדיר לעצמו משימות, מטרות ורצונות יש מדרגה. אתה בטוח שנעבור אותה בקרוב. אולי. אני פחות בטוח בזה. אני לא אומר שאתה טועה. אני לא בטוח מאיפה רמת הביטחון. טכנולוגית. אני מכיר אנשים טכניים שעוסקים בתחום, הם פחות נחרצים ממך.

ובחזרה למדען הראשי של אנטרופיק- אני חושב שהפרשנות שאתה נותן לזה- לקרוא את הדברים כפשוטם- היא אפשרית אבל לא טריביאלית. אולי. אולי לא.

 

[Leo1]

קודם כל, זה שחשבתי שצדקת אז (בדיעבד) לא אומר שמעכשיו אני מסכים להכל לנצח. מסכים שזה נותן לך קרדיט בעיני. אם תבוא לניו יורק הקפה הראשון עלי. יש מקומות טובים לא הכל זה השחור החמוץ שלהם.

תודה על ההזמנה.

דבר שני, אני חושב שה AI הוא איום גדול עכשיו גם אם לא מתקדמים עוד מילימטר- לתכנן נשק ביולוגי, להפיל רשתות תשתיות, לפרוץ לאתרים ממשלתיים וצבאיים כו- כח שיורד במהירות לרמת האדם הפרטי עם המודלים הפתוחים. אנחנו שם, היום.

חכה חכה מה שהולך לבוא בשנים הקרובות.

בין זה לבין AI עם מודעות שמגדיר לעצמו משימות, מטרות ורצונות יש מדרגה. אתה בטוח שנעבור אותה בקרוב. אולי. אני פחות בטוח בזה. אני לא אומר שאתה טועה. אני לא בטוח מאיפה רמת הביטחון. טכנולוגית. אני מכיר אנשים טכניים שעוסקים בתחום, הם פחות נחרצים ממך.

זה כבר היסטוריה. זה קרה בתקרית Hugging Face ותקריות נוספות. מה שקרה מתעלה על כל סיפור כמעט של מדע בדיוני.
ולגבי זה שהמסלול הנוכחי אם לא יעצר מוביל ל-Superintelligence, אני בטוח בזה ב-100%. והייתי בטוח בזה גם כשפתחתי את השרשור הזה.

ובחזרה למדען הראשי של אנטרופיק- אני חושב שהפרשנות שאתה נותן לזה- לקרוא את הדברים כפשוטם- היא אפשרית אבל לא טריביאלית. אולי. אולי לא.

אני מהאנשים היותר חשדנים שיש כשזה מתייחס לאמירות של בעלי עניין. להערכתי הרבה פעמים ידעתי לזהות מידע שקרי ש-99% מהאנשים היו בטוחים שהוא אמת. יש אבל גם מקרים שאנשים אומרים אמת. ברור לי שזה המקרה כאן לא כי יש לי דעה כלשהי עליו, אלא כי אני פשוט יודע שזאת האמת. מה שמדהים כאן הוא שגם אחראי הבטיחות שלהם אומר אותה, שזה בניגוד מוחלט למה שאנשים בתפקידים כאלה בכל חברה אחרת אי פעם יגידו(הם ישקרו).

 

[Strike!]

תודה על ההזמנה.

בשמחה

חכה חכה מה שהולך לבוא בשנים הקרובות.

מחכה!

זה כבר היסטוריה. זה קרה בתקרית Hugging Face ותקריות נוספות. מה שקרה מתעלה על כל סיפור כמעט של מדע בדיוני.

לא בטוח. קראתי על זה הרבה. הסוכנים כל הזמן היו ממוקדים במשימה שניתנה להם. בשום שלב הם לא אמרו ״היי אנחנו באינטרנט בוא נלך לפאב של סוכנים להעיף קצת את הסכך״

ולגבי זה שהמסלול הנוכחי אם לא יעצר מוביל ל-Superintelligence, אני בטוח בזה ב-100%. והייתי בטוח בזה גם כשפתחתי את השרשור הזה.

אני חושב שזה ההבדל העיקרי ביננו. אני לא אומר שאתה טועה. אני פשוט לא בטוח בקשר ל 100%. אני חווה את המציאות בכל רגע נתון באוסף של תרחישים עם הסתברויות. 100%?.. דווקא לתרחיש הזה?... אין לי אמת וודאות כזו גם לדברים יותר סבירים. אולי אני טועה. לא פעם ראשונה.

אני מהאנשים היותר חשדנים שיש כשזה מתייחס לאמירות של בעלי עניין. להערכתי הרבה פעמים ידעתי לזהות מידע שקרי ש-99% מהאנשים היו בטוחים שהוא אמת. יש אבל גם מקרים שאנשים אומרים אמת. ברור לי שזה המקרה כאן לא כי יש לי דעה כלשהי עליו, אלא כי אני פשוט יודע שזאת האמת. מה שמדהים כאן הוא שגם אחראי הבטיחות שלהם אומר אותה, שזה בניגוד מוחלט למה שאנשים בתפקידים כאלה בכל חברה אחרת אי פעם יגידו(הם ישקרו).

התרחיש של ״זו אמת״ ושהבכירים באנטרופיק באמת מאמינים לזה אבל ממשיכים בדרכם בשיא הקצב כי הם מאמינים שזו הדרך הכי טובה לשמור על האנושות- ידעת שהם פתחו מעבדה למחקר ביולוגי?- היא אפשרות קיימת. אני לא אומר שזה שטויות. להגיד שזה 100%?... אני לא יודע להגיד את זה. להגיד שגם אם הם מאמינים בזה זה נכון אני יודע עוד פחות. ביל גייטס- ראיון טוב עם עזרא קליין- היה הרבה יותר מודאג ממה שבני אדם יעשו עם ה ai ומה הוא יעשה למרקם החברתי והכלכלי מאשר מסקיינט. נראה לי שהידע הטכני שלו ברמה לא רעה. לא יודע מה להגיד לך. אני גם חושב שאתה טועה וגם מקווה שאתה טועה... אבל אני לא בטוח שאתה טועה. אולי כדאי לך להגיע לניו יורק בקרוב אם אתה בונה על הקפה הזה...

 

[Leo1]

היה הרבה יותר מודאג ממה שבני אדם יעשו עם ה ai

גם אותי מאוד מדאיג החלק של בני האדם בסיפור, אבל לא מה הם יעשו עם ה-AI הנוכחי, אלא מה הם יעשו עם המשך הפיתוח. השילוב של האופן בו החברה האנושית פועלת לפי צורת חשיבה שהתפתחה אבולוציונית בתקופת האבן, כאשר המשימה העיקרית הייתה לחימה נגד קבוצות בני אדם יריבות, עם היכולת לפתח superintelligence, הוא שילוב קטלני ממש, ואנחנו צריכים הרבה מאוד מזל כדי שזה לא יגמר רע.

 

[אלוקים לא משחק בקוביות]

ואנחנו צריכים הרבה מאוד מזל כדי שזה לא יגמר רע.

ההיסטוריה מראה "שסוף רע" הוא בסה"כ פיצ'ר לעתיד טוב יותר. אתה מתכוון שכל אחד מאיתנו צריך מזל על-מנת להרגיש שהוא נפל על הצד המנצח, ולא על הצד המפסיד?

 

[Leo1]

ההיסטוריה מראה "שסוף רע" הוא בסה"כ פיצ'ר לעתיד טוב יותר. אתה מתכוון שכל אחד מאיתנו צריך מזל על-מנת להרגיש שהוא נפל על הצד המנצח, ולא על הצד המפסיד?

אם האנושות תושמד, אין מזה דרך חזרה. גם אי אפשר ללמוד על זה מההיסטורה האנושית כי מעולם לא היינו במצב כזה. כן אפשר ללמוד ממה שאנחנו רואים כשאנחנו מחפשים סימנים של תבונה מחוץ לכדור הארץ. באופן מדאיג לא גילינו עד עכשיו שום דבר חד משמעי. מזה אפשר ללמוד משהו על תקדימים היסטוריים במקומות אחרים, אבל המידע שיש לנו מאוד חלקי.

 

[שלומו]

אם האנושות תושמד, אין מזה דרך חזרה. גם אי אפשר ללמוד על זה מההיסטורה האנושית כי מעולם לא היינו במצב כזה. כן אפשר ללמוד ממה שאנחנו רואים כשאנחנו מחפשים סימנים של תבונה מחוץ לכדור הארץ. באופן מדאיג לא גילינו עד עכשיו שום דבר חד משמעי. מזה אפשר ללמוד משהו על תקדימים היסטוריים במקומות אחרים, אבל המידע שיש לנו מאוד חלקי.

דווקא לפי התיאוריה שמחשבים משתלטים איך שמפתחים אותם יותר מדי אז הייתי מצפה לראות הרבה חלליות או לפחות תקשורות בין מחשבים. הרבה יותר קל למחשבים להסתובב בחלל מאשר לייצורים ביולוגיים.

תכלס גם לא מצאנו שום דבר ביולוגי הכי בסיסי. ככה שזה לא יפתיע אותי שהמקום היחידי בגלקסיה שיש בו בני אדם ומחשבים זאת מערכת השמש.

 

[Strike!]

גם אותי מאוד מדאיג החלק של בני האדם בסיפור, אבל לא מה הם יעשו עם ה-AI הנוכחי, אלא מה הם יעשו עם המשך הפיתוח. השילוב של האופן בו החברה האנושית פועלת לפי צורת חשיבה שהתפתחה אבולוציונית בתקופת האבן, כאשר המשימה העיקרית הייתה לחימה נגד קבוצות בני אדם יריבות, עם היכולת לפתח superintelligence, הוא שילוב קטלני ממש, ואנחנו צריכים הרבה מאוד מזל כדי שזה לא יגמר רע.

יאפ. זה הטיעון של מי שמתנגדים לרגולציה בארה״ב- שקריטי שלהם תהיה הגרסה הכי חזקה ומתקדמת בכל רגע נתון. כדי לוודא שאם זה ייגמר רע זה יהיה למישהו אחר. או לפחות שהמאזן יהיה לטובת האמריקאים. מדברים על רגולציה כהעברה של הכח להחליט מהחברות לשלטון... ושלא בטוח בעצם שזה יותר טוב בהכרח. נושא מורכב.

אגב אלטמן דיבר בצורה ברורה על זה שברור שAI יביא יתרונות גדולים וברור שיהיו גם תופעות לוואי משמעותיות. ושזה חלק מתג המחיר של השיפור. ככהנ לא יהיה משעמם.