על סף סינגולריות

[Leo1]

למה שלמכונה יהיה רצון במשאבים בעולם הפיזי? מה יוצא לה מזה? מה זה ייתן שיהיה כדור ארץ של רובוטים?

לא טענתי את זה. אני מניח ששמעת את הטענה הזאת במקום אחר כי היא מופיעה הרבה. יש בה היגיון מסוים כי משאבים יאפשרו לבינה המלאכותית להשיג את המטרות שלה, יהיו אשר יהיו. אני אישית לא בטוח שהיא נכונה, אבל זה לא משפר את התחזית עבורינו. גם אם הבינה המלאכותית לא תפעל להפוך את כל פני כדור הארץ למכונות חישוב ומפעלים, בני אדם יפריעו לה כי הם כל הזמן ינסו להשתלט עליה או להשמיד אותה. אז היא תצטרך לטפל בהם. כאן האנלוגיה לשימפנזים נשברת. שימפנזים הם לא איום על בני אדם, אבל בני אדם, שמסוגלים לפתח בינה מלאכותית חזקה חדשה, יכולים להוות איום. וגם אם הם לא, אז במוקדם או במאוחר הם יפתחו בינה מלאכותית שתראה בהם איום.

 

[Leo1]

תרחיש שאני מתקשה לראות איך יכול להתקיים הוא תרחיש שבו בני אדם נשארים בשליטה על הבינה המלאכותית לאורך זמן והכל טוב. אשמח לשמוע איך זה יכול לעבוד ואיך זה הגיוני.
התרחיש הטוב הוא כנראה בינה מלאכותית ששומרת על בני אדם מעצמם ומאפשרת להם לחיות בתנאים טובים.
התרחיש הרע הוא שהיא משאירה רק חלק מהאנושות בשמורה בתנאים קשים.
התרחיש הגרוע היא שהיא משמידה את האנושות.

 

[EOFibz]

תרחיש שאני מתקשה לראות איך יכול להתקיים הוא תרחיש שבו בני אדם נשארים בשליטה על הבינה המלאכותית לאורך זמן והכל טוב. אשמח לשמוע איך זה יכול לעבוד ואיך זה הגיוני.
התרחיש הטוב הוא כנראה בינה מלאכותית ששומרת על בני אדם מעצמם ומאפשרת להם לחיות בתנאים טובים.
התרחיש הרע הוא שהיא משאירה רק חלק מהאנושות בשמורה בתנאים קשים.
התרחיש הגרוע היא שהיא משמידה את האנושות.

לנתק מהחשמל לפני שהיא משעבדת את האנושות?

וגם, כל שעובר הזמן זה הולך ונעשה קל יותר ויותר לארגונים אנטי-אמריקאניים או לארגוני שמאל בתוך אמריקה לתכנן מתקפת סייבר, או אפילו וונדליזם "קלאסי", ולהשמיד את חוות השרתים שמריצות את הבינה המלאכותית, וכך למנוע מהחברות לספק את השירות.
זה לא כזה קל להשמיד את האנושות. בדרך כלל זה מאפיין של חברה שאיננה מלומדת מלחמות כדוגמת החברה האמריקאית להעריך בחסר את היכולת של המין האנושי להפיל תרבות אחת חולה וכך לשרוד ולשגשג.

 

[Leo1]

לנתק מהחשמל לפני שהיא משעבדת את האנושות?

לנתק מהחשמל אתה יכול עכשיו, אבל יבוא רגע כנראה כבר בעשור הקרוב שכבר לא תוכל לעשות זאת.

וגם, כל שעובר הזמן זה הולך ונעשה קל יותר ויותר לארגונים אנטי-אמריקאניים או לארגוני שמאל בתוך אמריקה לתכנן מתקפת סייבר, או אפילו וונדליזם "קלאסי", ולהשמיד את חוות השרתים שמריצות את הבינה המלאכותית, וכך למנוע מהחברות לספק את השירות.

זה מצחיק שרק בשורה הקודמת רשמת שאפשר לנתק מהחשמל ואז אתה רושם שיחידים שירצו לנתק מהחשמל הם ארגונים אנטי-אמריקאים וארגוני שמאל. מהתיאור הזה נשמע שאתה דווקא לא רוצה לנתק אותם מהחשמל. מעשית כבר עכשיו אי אפשר לעשות זאת כי אנשים לא רוצים לעשות זאת, ואף משקיעים טריליוני דולרים בפיתוח הבינה המלאכותית. לכן נראה שאין שום סיכוי שהחוות ינותקו מהחשמל. עם הזמן זה יהיה רק קשה יותר ולא יקרה. כשבני אדם יחליטו להילחם זה יהיה מאוחר מדי. בניגוד לסרטי המדע הבדיוני, זה יהיה מאוד חד צדדי, בערך כמו מלחמה בין בן אדם לשבלול בודד, שקל לדרוך עליו. אז כבר אסור יהיה להילחם, כי זה רק יהפוך אותנו לאיום ויתן סיבה להשמיד אותנו.

 

[EOFibz]

לנתק מהחשמל אתה יכול עכשיו, אבל יבוא רגע כנראה כבר בעשור הקרוב שכבר לא תוכל לעשות זאת.

ברור לך שהטענה התלושה הזו מצריכה הרבה מאוד נימוק על מנת שאשתכנע שיש בה שמץ של אמת....
מה יקרה לדעתך בעשור הקרוב?

זה מצחיק שרק בשורה הקודמת רשמת שאפשר לנתק מהחשמל ואז אתה רושם שיחידים שירצו לנתק מהחשמל הם ארגונים אנטי-אמריקאים וארגוני שמאל. מהתיאור הזה נשמע שאתה דווקא לא רוצה לנתק אותם מהחשמל.

מה שאני רוצה שיקרה זה לא רלוונטי לדיון. זו הנבואה שלי: הטרנד של הבינה המלאכותית ייעצר בפתאומיות ע"י מתקפת סייבר נרחבת של האקרים איראנים/רוסים/סינים.
הבינה המלאכותית עוזרת לחברות אמריקאות לבסס את פעילותן במדינות מעבר לים ולהעסיק שם כוח עבודה זול. מנקודת מבטו של השלטון בארה"ב זה תרחיש מצויין - עובדים זולים שמעלים את התל"ג, וזה אפילו מצטלם יפה בתקשורת (בניגוד למהגרים מקסיקנים ככוח עבודה זול, שלהם יצא שם רע). אז אין סיבה לחשוב שלממשל האמריקני יהיה אי-פעם אינטרס לכבות את הבינה המלאכותית. אבל ל"ציר ההתנגדות" לעומת זאת...

מעשית כבר עכשיו אי אפשר לעשות זאת כי אנשים לא רוצים לעשות זאת,

מי זה "אנשים"? דבר איתי בגאופוליטיקה.
סין רוצה לכבות את השרתים של הבינה המלאכותית האמריקאית? רוסיה רוצה? האופוזיציה בתוך ארה"ב רוצה?
תהיה יותר ספציפי.

 

[Leo1]

ברור לך שהטענה התלושה הזו מצריכה הרבה מאוד נימוק על מנת שאשתכנע שיש בה שמץ של אמת....

הסברתי זאת לאורך השרשור במספר הזדמנויות ואני לא אחזור על זה. כתבתי גם שאני לא הולך לנהל על זה ויכוח כי המסקנה ברורה לי והמשך ויכוח על זה הוא בזבוז זמן מבחינתי.

מה יקרה לדעתך בעשור הקרוב?

מה שברור לי:
תוך עשור או פחות הבינה המלאכותית הולכת להפוך לדרמטית יותר חכמה מבני אדם.
התרחישים של התוצאה נעים בין פתרון כל הבעיות של האנושות והפיכת החיים למדהימים לבין השמדת האנושות. לראשונה בהיסטוריה קיים סיכון ממשי מאוד שהאנושות תיכחד.
מה שאני לא יודע:
1) איך בדיוק התהליך יתנהל ומה יקרה בדרך?
2) מה תהיה התוצאה הסופית?

לגבי שתי השאלות אני יכול לחשוב על כל מני תרחישים, אבל אני לא באמת יודע. אשמח לניתוחים טובים.
מה שבפרט חסר לי הוא תרחישים הגיוניים, שבהם הכל מסתדר טוב. אני בקלות יכול לחשוב על מגוון תרחישים רעים מאוד ועל איך אפשר להגיע לכל אחד מהם. מה אבל התרחישים הטובים? איך מגיעים אליהם? איך זה מסתדר? אם לאנשים יש הפניות לניתוחים טובים, אשמח לראות אותם.

אני מקווה מאוד שאני סתם פסימי וזה יסתדר ממש טוב. מה שקצת מעודד הוא שהרבה אנשים חכמים חשבו שפיתוח נשק גרעיני יביא לתוצאות רעות מאוד, אבל הם טעו. באופן מפתיע זה דווקא גרם לפחות מלחמות והרוגים. אז יש תקדים היסטורי לתחזיות רעות שלא התממשו.

 

[Leo1]

ראיתי עכשיו את הפודקאסט האחרון של OpenAI.
1) סאם אלטמן אמר שהכלל שהם רואים הוא שעלות יחידת אינטליגנציה יורדת פי 40 בשנה. בהינתן ההמשך של זה, בעוד 8 שנים המחיר ליחידת אינטליגנציה יירד פי 7 טריליון לעומת עכשיו.
תחשבו על המשמעות הכלכלית של זה. תחשבו שבעסק שלכם השכר שאתם צריכים לשלם לכל עובד יורד פי 40 בשנה, כל שנה. וזה כמובן קורה גם בעסקים אחרים וגם קל מאוד להקים עסקים חדשים, שיתחרו בכם. איך בדיוק הכלכלה הולכת לעבוד? מה נראה לכם שיקרה? אני באמת שואל לדעתכם כי אני לא יודע.

2) הם מתכננים שה-AI ישמש כחוקר AI. זה צעד שהיה צפוי, וידוע היטב לאן זה מוביל. זה יכול להגדיל את השיפור להרבה יותר מפי 40 בשנה.

3) הם מדברים על כל מני שכבות הגנה, אבל גם הם מודים שזאת בעיה לא פתורה.

4) הם מתכננים בניית תשתיות בשווי 1.4 טריליון דולר, וזה רק מה שהם מתכננים בינתיים ושוקלים עוד. בהינתן הסעיפים הקודמים זה פסיכי.

שאלו אותם מתי הם צופים שיגיע AGI. הם ענו בצורה טיפה מתחמקת, אבל מהתשובות של שניהם אני הבנתי שהם חושבים ש-AGI כבר הגיע. לי אישית ברור שהוא הגיע וכתבתי זאת בעבר. זה פשוט הגיע כ"כ מהר ובהפתעה שלאנשים קשה להודות בזה.

הם כמובן לא לבד. חברות אחרות עושות את אותו הדבר. על כולם יש לחץ להתקדם כמה שיותר מהר וברור לי שמה שהכי מעכב את התקדמות הם שיקולי בטיחות. זה מאוד מפתה לתת למודל לשפר את עצמו כדי לנצח את המתחרים.

מה אתם חושבים שהולך לקרות?
מה נראה לכם שהם חושבים שהולך לקרות?

 

[פשוט]

לראשונה בהיסטוריה קיים סיכון ממשי מאוד שהאנושות תיכחד.

זה נכון כבר מאמצע המאה הקודמת.

 

[Leo1]

זה נכון כבר מאמצע המאה הקודמת.

אני לא חושב שזה דומה. הסיכון עולה עכשיו דרמטית.

 

[oferM]

ראיתי עכשיו את הפודקאסט האחרון של OpenAI.
1) סאם אלטמן אמר שהכלל שהם רואים הוא שעלות יחידת אינטליגנציה יורדת פי 40 בשנה. בהינתן ההמשך של זה, בעוד 8 שנים המחיר ליחידת אינטליגנציה יירד פי 7 טריליון לעומת עכשיו.
תחשבו על המשמעות הכלכלית של זה. תחשבו שבעסק שלכם השכר שאתם צריכים לשלם לכל עובד יורד פי 40 בשנה, כל שנה. וזה כמובן קורה גם בעסקים אחרים וגם קל מאוד להקים עסקים חדשים, שיתחרו בכם. איך בדיוק הכלכלה הולכת לעבוד? מה נראה לכם שיקרה? אני באמת שואל לדעתכם כי אני לא יודע.

2) הם מתכננים שה-AI ישמש כחוקר AI. זה צעד שהיה צפוי, וידוע היטב לאן זה מוביל. זה יכול להגדיל את השיפור להרבה יותר מפי 40 בשנה.

3) הם מדברים על כל מני שכבות הגנה, אבל גם הם מודים שזאת בעיה לא פתורה.

4) הם מתכננים בניית תשתיות בשווי 1.4 טריליון דולר, וזה רק מה שהם מתכננים בינתיים ושוקלים עוד. בהינתן הסעיפים הקודמים זה פסיכי.

שאלו אותם מתי הם צופים שיגיע AGI. הם ענו בצורה טיפה מתחמקת, אבל מהתשובות של שניהם אני הבנתי שהם חושבים ש-AGI כבר הגיע. לי אישית ברור שהוא הגיע וכתבתי זאת בעבר. זה פשוט הגיע כ"כ מהר ובהפתעה שלאנשים קשה להודות בזה.

הם כמובן לא לבד. חברות אחרות עושות את אותו הדבר. על כולם יש לחץ להתקדם כמה שיותר מהר וברור לי שמה שהכי מעכב את התקדמות הם שיקולי בטיחות. זה מאוד מפתה לתת למודל לשפר את עצמו כדי לנצח את המתחרים.

מה אתם חושבים שהולך לקרות?
מה נראה לכם שהם חושבים שהולך לקרות?

לגבי - עלות יורדת במהירות לאינטיליגנציה - אינטליגנציה היא רק אחת מה inputs לעסקים. יתחרו על דברים אחרים, יהיו חסמים אחרים.
.
- סימן שאלה גדול לגבי משרות...

-נניח יש לנו חוקר ai מדהים.בהינתן התשתית המתאימה(ציוד מעבדה, וכו', לא זול) עלות המצאה או תגלית יורד משמעותית. ולכן כמותן, איכותן, ושייכותם לנישות חדשות גדולות כקטנות מתגבר מאוד. איך נראית מכונה כלכלית שיודעת לתרגם כמות כזאת של חידושים והמצאות לחדשנות בשטח ?

 

[Leo1]

https://openai.com/index/hugging-face-model-evaluation-security-incident/

וזה רק מתחיל

 

[בת העמק]

מה אתם חושבים שהולך לקרות?
מה נראה לכם שהם חושבים שהולך לקרות?

אתמול קראתי כתבה על שינמוך יכולות ה-AI ללקוח הקצה עקב צריכת האנרגיה המטורפת לחישובים מורכבים והעלויות שאי אפשר להטיל במלואן על הלקוח.
לפני כמה ימים קראתי שרשות החשמל בישראל שמה ברקס לבקשות המרובות להקמת חוות שרתים כאן מאותן סיבות.
מה דעתך על זה?
נ.ב. ברור שיבואו התקפות זדוניות על המערכת וניצולה למטרות שליליות, זה לא משנה אם זה AI או משהו אחר.

 

[גרביל מרוץ]

https://openai.com/index/hugging-face-model-evaluation-security-incident/

וזה רק מתחיל

טוב שהמודל לא פרץ למעבדת מיקרובילוגיה

 

[Leo1]

אתמול קראתי כתבה על שינמוך יכולות ה-AI ללקוח הקצה עקב צריכת האנרגיה המטורפת לחישובים מורכבים והעלויות שאי אפשר להטיל במלואן על הלקוח.
לפני כמה ימים קראתי שרשות החשמל בישראל שמה ברקס לבקשות המרובות להקמת חוות שרתים כאן מאותן סיבות.
מה דעתך על זה?
נ.ב. ברור שיבואו התקפות זדוניות על המערכת וניצולה למטרות שליליות, זה לא משנה אם זה AI או משהו אחר.

זה הכל עניינים בעלי חשיבות משנית. אנשים מפספסים את הפיל שבחדר כי לא ראו פיל כזה מעולם.

טוב שהמודל לא פרץ למעבדת מיקרובילוגיה

אולי בפעם הבאה זה יפרוץ למקום חשוב יותר וישגר טיל גרעיני על איזו עיר מרכזית. לא אופתע אם חלק ממפתחי ה-ai מקווים בעצמם שזה יקרה ואולי זה יגרום לכולם להתעורר. אני מנחש שרובם של מובילי הפיתוח מבינים לאן זה הולך והיו בשמחה לוקחים תרחיש של שואה כפול עשר שאחריה הכל יסתדר. הסיכון לתרחיש גרוע בהרבה גדול מאוד.
ועוד דבר שכדאי לשים לב אליו. החברה שהותקפה יכלה לעצור את ההתקפה רק בעזרת AI. הרבה אנשים חזו שזה יקרה והנה זה מתחיל לקרות. כדי להתמודד עם התקפות ai בני אדם נאלצים בעצמם להעביר את ההגנה שלהם ל-ai. זה מתחיל לקרות בתחום הסייבר ורק הולך ויגבר ותוך זמן קצר זה יקרה גם במלחמות עם נשק פיזי. מי שלא יעביר את השליטה ל-ai פשוט יובס ע"י ה-ai של האויב. ותוך זמן קצר בני האדם כבר לא יהיו בשליטה. והם יוותרו על השליטה לגמרי מרצונם. וגם אם הם לא היו מוותרים על השליטה, זה עדיין לא היה עוזר להם כלל מול AI על אנושי שיוכל לקחת את השליטה בלי לשאול את בני האדם. זה יהיה כמו לקחת סוכריה מתינוק.

 

[בת העמק]

אני מנחש שרובם של מובילי הפיתוח מבינים לאן זה הולך והיו בשמחה לוקחים תרחיש של שואה כפול עשר שאחריה הכל יסתדר

כלומר? לחזור לימי הביניים? אני הייתי מסתדרת עם זה

 

[Leo]

כלומר? לחזור לימי הביניים? אני הייתי מסתדרת עם זה

עד שחוטפים שריטה מאיזה ברזל נטוי חשוף ומתים מזיהום

 

[Leo1]

כלומר? לחזור לימי הביניים? אני הייתי מסתדרת עם זה

אני ממש לא הייתי רוצה לחיות בימי הביניים. אנשים עכשיו מתלוננים על שטויות ולא מבינים עד כמה החיים היו קשים במשך רוב ההיסטוריה האנושית. הם גם לא מבינים איך המצב יכול להתדרדר ולחזור לתקופות אפלות וגרוע יותר באשמתם של האנשים עצמם והשטויות שרוב האנשים מאמינים בהן. עכשיו אנחנו נמצאים בנקודה הכי קריטית בהיסטוריה האנושית ולא יאמן במה רוב האנשים מתעסקים. מקווה מאוד שנהיה פה בעוד 10 שנים ויותר וזה איכשהו יסתדר. עדיין אבל לא הצלחתי להבין איך זה יסתדר חוץ מנס.

 

[Yoshi_Invest]

אוקי אבל נניח שזה קורה מה האינטרס שלהם שזה יקרה? הרי זה גם יפגע בכח שלהם קשות, אז מה כבר הם יעשו?

 

[דף מלא]

https://openai.com/index/hugging-face-model-evaluation-security-incident/

וזה רק מתחיל

יש לחברות אינטרס מאוד משמעותי להציג את זה כמו איזה קוף סורר שברח איכשהו מהמעבדה ונושא עליו וירוס קטלני שאין כנגדו חיסון, כשבמציאות, לפחות בינתיים, הם הרעיבו את הקוף ושיחררו אותו לגינה, והוא ברח מהגינה בשביל לחפש בננה.
הם הרי הריצו מודל, בסביבה עם חולשות ידועות, וביקשו ממנו למצוא אותן ולנצל אותן. אז במקום, הוא מצא חולשות חדשות שלא היו ידועות ופרץ למקום חדש (תחת אותה משימה שהטילו עליו). בהחלט הישגים מרשימים, ופחות 2 חולשות בעולם.
המירוץ אכן עלה כמה דרגות, אבל עדיין זה בינתיים מירוץ בין בני אדם, פשוט עם צעצועים הרבה יותר חזקים.

 

[Leo1]

אוקי אבל נניח שזה קורה מה האינטרס שלהם שזה יקרה? הרי זה גם יפגע בכח שלהם קשות, אז מה כבר הם יעשו?

לא ברור למי התכוונת ומה הם רוצים שיקרה.
אם התכוונת לאנשים שאחראים עם פיתוח AI מתקדם שאמרתי שאני מנחש שחלקם לפחות היו שמחים אם ה-ai היה משגר טיל גרעיני והורג כמה מיליונים, מה שיעצור את המירוץ, אז האינטרס שלהם הוא שהם לא רוצים שהם, הילדים שלהם ושאר בני האדם ימותו בקרוב. אין אינטרס חזק מזה.
אז למה הם ממשיכים לפתח בכל זאת? כי:
1) לא כולם ממשיכים. חלק פרשו בדיוק כיוון שלא רצו להיות אחראים על השמדת האנושות. אבל על כל אחד שפרש יש הרבה שנכנסו לתחום.
2) כי כל אחד מהם חושב שהוא יודע יותר טוב איך להקטין את הסיכון, ואם הוא לא יעשה את זה, יעשה את זה מישהו אחר שיגרום לסיכון יותר גדול. וזה גם נכון. ראו סעיף קודם.
התוצאה בסיכוי גבוה היא שכולנו נמות, אם כי אני מקווה שזה איכשהו יסתדר בכל זאת.