על סף סינגולריות

[Leo1]

אני מניח שיהיו עוד אזהרות. בפעם הבאה זה יכול להיות רציני יותר. השאלה מה אנשים יעשו. האם אתם רואים תרחיש בו עוצרים את פיתוח ה-AI? מה יקרה כשתהיה תקרית רצינית יותר?

 

[שלומו]

אני מניח שיהיו עוד אזהרות. בפעם הבאה זה יכול להיות רציני יותר. השאלה מה אנשים יעשו. האם אתם רואים תרחיש בו עוצרים את פיתוח ה-AI? מה יקרה כשתהיה תקרית רצינית יותר?

יכול להיות שהרגולציה תהיה יותר הדוקה. אולי כמו אנרגיה גרעינית.

 

[nolim]

אני מניח שיהיו עוד אזהרות. בפעם הבאה זה יכול להיות רציני יותר. השאלה מה אנשים יעשו. האם אתם רואים תרחיש בו עוצרים את פיתוח ה-AI? מה יקרה כשתהיה תקרית רצינית יותר?

זה עושה לי חשק לראות את הסרט מטריקס - הראשון והמקורי.
מניח שמה שאני אעשה, זה לצפות בסרט

 

[Leo1]

זה עושה לי חשק לראות את הסרט מטריקס - הראשון והמקורי.
מניח שמה שאני אעשה, זה לצפות בסרט

ממליץ על זה:

The Animatrix - The Second Renaissance Part I (1/2) [HD]

The Animatrix Voice Over Artists: Julia Fletcher, Jill Talley, Dwight Schultz, James Arnold Taylor Director: Mahiro Maeda Writers: Lana Wachowski, Lilly Wa...

youtu.be

 

[Leo1]

יכול להיות שהרגולציה תהיה יותר הדוקה. אולי כמו אנרגיה גרעינית.

איזו רגולציה בדיוק?

 

[oferM]

יכול להיות שהרגולציה תהיה יותר הדוקה. אולי כמו אנרגיה גרעינית.

הai זה כבר די בקוד פתוח. אני לא אתפלא אם כבר עכשיו יש איזה ארגון טרור שיש לו כמה GPU חזקים, את המודל ai האחרון הפתוח שהוא פרוץ(עונה גם על שאלות בנושאים רעים כמו נשק), וערמה של ספרים שהוריד מהאינטרנט בכל מיני נושאים טכניים כמו כימיה , ביולוגיה ואחרים, ומנסה לחשוב איך להזיק

 

[Leo1]

הai זה כבר די בקוד פתוח. אני לא אתפלא אם כבר עכשיו יש איזה ארגון טרור שיש לו כמה GPU חזקים, את המודל ai האחרון הפתוח שהוא פרוץ(עונה גם על שאלות בנושאים רעים כמו נשק), וערמה של ספרים שהוריד מהאינטרנט בכל מיני נושאים טכניים כמו כימיה , ביולוגיה ואחרים, ומנסה לחשוב איך להזיק

זה סיכון שולי. הסיכון האמיתי יגיע כשלאנשים כאלה(או אפילו לאנשים עם כוונות פחות רעות) תהיה גישה למודל שמסוגל לשפר את עצמו ולהשתלט על העולם. וזה רק עניין של זמן עד שנהיה שם.
הסיכון פה הוא לא של משהו בסדר גודל של 7.10. וגם לא בסדר גודל של השואה, שגם היא עוד עלולה להיראות כאירוע זניח לחלוטין אם זה באמת ילך רע.

 

[TechPeon]

הai זה כבר די בקוד פתוח. אני לא אתפלא אם כבר עכשיו יש איזה ארגון טרור שיש לו כמה GPU חזקים, את המודל ai האחרון הפתוח שהוא פרוץ(עונה גם על שאלות בנושאים רעים כמו נשק), וערמה של ספרים שהוריד מהאינטרנט בכל מיני נושאים טכניים כמו כימיה , ביולוגיה ואחרים, ומנסה לחשוב איך להזיק

בגדול זה מה שחברות סייבר וארגוני ביון כבר עושים. המודלים של מעבדות ה-frontier יחסמו בקשות שיתויגו כנסיון להפעיל אותם לטובת שימושים בתחום הסייבר, אז הם קונים כמות ענקית של compute, וטוענים לשם מודל קוד פתוח.

 

[שלומו]

איזו רגולציה בדיוק?

אפשר לפקח על החומרה.

 

[גרביל מרוץ]

אפשר לפקח על החומרה.

שי ג'ינפינג בוחן את הצעתך

 

[oferM]

שי ג'ינפינג בוחן את הצעתך

חחחח
לך תדע, בסוף the great Chinese firewall
אולי תסתמן ההחלטה היסטורית מבריקה

 

[Roi]

אני מניח שיהיו עוד אזהרות. בפעם הבאה זה יכול להיות רציני יותר. השאלה מה אנשים יעשו. האם אתם רואים תרחיש בו עוצרים את פיתוח ה-AI? מה יקרה כשתהיה תקרית רצינית יותר?

אני חושש שהשד יצא מהבקבוק, זה מרוץ חימוש קלאסי ואף אחד לא יעשה רגולציה כשמולך עומדים הסינים, זה רק יתן להם בסוף את השליטה ואני ממש לא רוצה להיות בעולם כהז, אם בכלל יש דרך חזרה.

 

[oferM]

אני חושש שהשד יצא מהבקבוק, זה מרוץ חימוש קלאסי ואף אחד לא יעשה רגולציה כשמולך עומדים הסינים, זה רק יתן להם בסוף את השליטה ואני ממש לא רוצה להיות בעולם כהז, אם בכלל יש דרך חזרה.

אפשר אולי להמשיך את מירוץ החימוש אבל לסגור עם הסינים שישמרו על הכל בקוד סגור, ולהחליט על איזה מסגרת מגבלות רק לציבור(למשל חסימת שימוש לצורך סייבר).

בסך הכל, גם הסינים מפסידים מזה שמודלים חזקים יופעלו ליצירת נזק בעולם.

אלא אם כן הם כן רוצים להזיק, חלק ממשחק המלחמה הכלכלית שהעולם נמצא בו, ושהם משחקים באגרסיביות, וזה לא פחות מפחיד.

 

[Roi]

אולי להמשיך את מירוץ החימוש אבל לסגור עם הסינים שישמרו על הכל בקוד סגור, ולהחליט

לא רואה את זה קורה איתם

 

[oferM]

לא רואה את זה קורה איתם

כן, לא סביר

 

[Strike!]

תחזיות אין לי, אבל זה מרשים לדעתי ש @Leo1 פתח את השרשור הזה לפני שנתיים וחצי, ובמובן מסויים חזה את מה שקורה עכשיו ואת הדיון הנוכחי. למיטב זכרוני הוא גם פתח שרשור על הקורונה בו הוא חזה לא רע בשלב מאוד מוקדם את מה שיקרה, לפני שחלק גדול מהאנשים היו מודעים לזה בכלל. @Leo1 , אם רק תתמקד בחיזוי העתיד של חברות ספציפיות, אולי תזכה לרווחה כלכלית גדולה יותר לפני שAI יחסל את כולנו! אם הכישרון שלך הוא בעיקר לתהליכים היסטוריים/חברתיים ופחות מסחריים... אז לפחות יש שרשורים מעניינים לקרוא לפני שנמות!

 

[Leo1]

החלק המעניין הוא לחזות מה יקרה עכשיו. בקטע הזה אני לא חכם יותר ממה שהייתי בתחילת השרשור. לא קרה שום דבר משמעותי שלא היה אפשר לצפות(חוץ מזה שטראמפ חזר להיות נשיא ארצות הברית והולך להיות האיש שיקבל החלטות שישפיעו על גורל האנושות)
אני עדיין לא הצלחתי להבין מה בדיוק התרחיש הטוב שאנשים צופים. איך נגיע למצב של שפע ולא למיליארדי הרוגים בלי איזה נס? מה התוכנית?
והדברים הולכים לקרות מהר בשנים הקרובות. אנחנו על הסף של שיפור רקורסיבי.

 

[איניגו מונטויה]

החלק המעניין הוא לחזות מה יקרה עכשיו. בקטע הזה אני לא חכם יותר ממה שהייתי בתחילת השרשור

אני עדיין לא הצלחתי להבין מה בדיוק התרחיש הטוב שאנשים צופים. איך נגיע למצב של שפע ולא למיליארדי הרוגים בלי איזה נס?

אם אנחנו באמת עומדים בפני נקודה סינגולרית,
אין לך (או לאף אחד אחר) שום אפשרות לצפות מה יקרה.

זו ממש ההגדרה לנקודה סינגולרית:
נקודה שבה לאובייקט מתמטי או פיזיקלי יש התנהגות חריגה, והחוקים או המודלים הרגילים חדלים להיות תקפים בה.

בני אדם צפו בתפוחים נופלים ובשמש זורחת ושוקעת אין ספור פעמים עד שהבינו את החוקים שעומדים מאחורי זה.
אין שום אפשרות לצפות את החוקיות של משהו שעוד לא קרה עד עכשיו, ושאינו חלק ממערכת החוקים ומהמודלים שאנחנו מכירים...

בקיצור, אולי אתה לא מצליח להבין את התחזיות החיוביות (בלי נס),
אבל גם לתחזיות השחורות אין שום ערך.

אז אולי כדאי להפסיק לדאוג לדברים שאין לנו אפשרות לחזות...
"אַל תֵּצַר צָרַת מָחָר, כִּי לֹא תֵדַע מַה יֵּלֶד יוֹם" (בן סירא כ"ח, א').

 

[קפה שחור]

עם כל הכבוד, אני רואה זאת הפוך ממך,
טעה לחלוטין בקורונה, וטועה לחלוטין כרגע
אבל זאת דעתי כמובן

תחזיות אין לי, אבל זה מרשים לדעתי ש @Leo1 פתח את השרשור הזה לפני שנתיים וחצי, ובמובן מסויים חזה את מה שקורה עכשיו ואת הדיון הנוכחי. למיטב זכרוני הוא גם פתח שרשור על הקורונה בו הוא חזה לא רע בשלב מאוד מוקדם את מה שיקרה, לפני שחלק גדול מהאנשים היו מודעים לזה בכלל. @Leo1 , אם רק תתמקד בחיזוי העתיד של חברות ספציפיות, אולי תזכה לרווחה כלכלית גדולה יותר לפני שAI יחסל את כולנו! אם הכישרון שלך הוא בעיקר לתהליכים היסטוריים/חברתיים ופחות מסחריים... אז לפחות יש שרשורים מעניינים לקרוא לפני שנמות!

 

[Leo1]

ראיון מעניין עם הבחור שפרש מאנטרופיק ועכשיו מופיע בהרבה מקומות בטלויזיה. בהחלט בחור חכם. אני מקווה מאוד שהוא צודק במה שהוא אומר על המטרה של אנטרופיק ושבאמת יש להם ביצים להשתלט על העולם ולמנוע מאחרים לפתח AI מסוכן. מצחיק להגיד את זה כשהוא פרש משם על הרקע הזה. בזה אין לי מושג אם הוא צודק. אם המירוץ ימשיך קשה לי מאוד לראות איך זה יכול להיגמר בטוב עבור האנושות.
רוב מה שהוא אומר תואם למה שאני חושב וגם חשבתי כבר שנים. הוא מוסיף גם מידע מעניין על מה שקורה בתוך החברות, לפחות מההתרשמות שלו. אני אבל פחות אופטימי ממנו לגבי הסיכויים. אני מסכים איתו שאפשר לשפר את ה-alignment של המודלים, אבל יש לי ספק רב אם זה באמת יועיל בטווח הארוך. גם אם אפשר לפתור 90% מהבעיה, ה-10% הנותרים שלה עדיין יהרגו אותנו, וגם אם אפשר לפתור 100%(מה שיש לי ספק רב לגביו), זה עדיין לא יפתור כלום כי בני אדם בעצמם הם unaligned לחלוטין להצלחת האנושות אפילו עם הטכנולוגיה הנוכחית.