על סף סינגולריות

[איניגו מונטויה]

בינות מלכותיות לומדות ממה שיש להם ללמוד ממנו. היום עיקר התוכן שלהם הוא רשתות חברתיות, תעשה לבד את החשבון איך לדעתך היה מתפתח ילד שכל החינוך שלו מבוסס על רשתות חברתיות, האם הוא היה בוחר להציל דולפינים ושלום עולמי או לייצר "אתגר" השמדה להמונים.

1. מסכים איתך לגבי AI שמבוסס רק (או בעיקר) על רשתות "חברתיות",
ובפרט לגבי גרוק שמאומן על טוויטר (רשת שהניסיון המועט שלי איתה היה של 99% ויכוחים ושנאה).

אבל החוויה האישית שלי עם ג'מיני וקלוד היא שדווקא הם יותר מאוזנים מרוב בני האדם.

2. אתה מתייחס לחינוך שאפשר להקביל אותו לתוכנה (software),
הנקודה שלי הייתה לגבי החומרה (hardware) עצמה.

כדוגמא, אני מניח שאפשר לגדל גולדן רטריבר או דולפין כך שיהיו תוקפניים יותר,
אבל לא נראה לי שאפשר לגדל אותם בצורה כזו שהם ירצו לבצע רצח המוני ומתמשך (כמו נאצ*ם).

וכאן זה בכלל יצור מסוג חדש לגמרי, שלא חולק איתנו כלל DNA (בניגוד לבעלי חים),
ותהליך הלימוד שלו שונה לחלוטין משלנו.

לנו למשל יש נוירונים שגורמים לנו כאב בעקבות דחייה חברתית, וכמובן - כאב פיזי משפיע עלינו.
בינה מלאכותית "לומדת" בתהליך של חיזוי מילים סטטיסטי (אין לנו שום מקבילה לזה).
כך שבכלל לא ברור שהיא תהיה כמונו, גם אם היא למדה מאיתנו.

3. הכי חשוב -
אני לא יודע בוודאות שהAI אינו מהווה איום.
כתבתי לו רק כדי לנסות להפחית את הוודאות הכמעט מוחלטת שלו בהשמדה של האנושות תוך עשור
(במקום אחר הוא אפילו כתב שצריך לפתוח במלחמה גרעינית נגד כל חברה שמפתחת AI!).

כל מה שאני אומר זה שלמרות סרטי "שליחות קטלנית" -
יש כל כך הרבה סיבות לפקפק ביכולת וברצון של ה-AI להשמיד את כולנו,
שלא כדאי להיות לחוצים מזה.

 

[isalidiq]

אם היא תהיה בעלת מודעות עצמית ורצון חופשי

אתה סבור שזה אפשרי?

 

[היום מתה אמא]

אבל החוויה האישית שלי עם ג'מיני וקלוד היא שדווקא הם יותר מאוזנים מרוב בני האדם

הנסיון שלי שהם "מאוזנים" יותר מידי, מישהו השתיל בהם pc, ניחוש שלי שבסביבה לא מבוקרת הם לא יהיו כאלה.

אתה מתייחס לחינוך שאפשר להקביל אותו לתוכנה (software),
הנקודה שלי הייתה לגבי החומרה (hardware) עצמה

כדוגמא, אני מניח שאפשר לגדל גולדן רטריבר או דולפין כך שיהיו תוקפניים יותר,
אבל לא נראה לי שאפשר לגדל אותם בצורה כזו שהם ירצו לבצע רצח המוני ומתמשך (כמו נאצ*ם).

החומרה שלהם גדלה אקספוננציאלית, יגיע השלב שבו הם גם יתכננו את עצמם. סביר להניח שאנחנו נהיה הגולדן רטריבר. מכאן אנחנו גם לא יכולים לדמיין מה הם יוכלו או יכולים לעשות.

לנו למשל יש נוירונים שגורמים לנו כאב בעקבות דחייה חברתית

יש עדויות שיש כאב כזה גם ל ai.

אני לא יודע בוודאות שהAI אינו מהווה איום.
כתבתי לו רק כדי לנסות להפחית את הוודאות הכמעט מוחלטת שלו בהשמדה של האנושות תוך עשור
(במקום אחר הוא אפילו כתב שצריך לפתוח במלחמה גרעינית נגד כל חברה שמפתחת AI!).

מסכים. אני גם חושב ש:
You can only postponed it. Judgment Day is inevitable.

 

[איניגו מונטויה]

אתה סבור שזה אפשרי?

מבחינת הדיון כאן:
התייחסתי להנחות של פות"ש בתור אקסיומות, כדי להראות לו שאפילו אם הן מתקיימות - עדיין לא בטוח שהמסקנה (השמדת האנושות) היא וודאית.

השאלה שלך פותחת דיון אחר (שאולי מצדיק שרשור בפני עצמו),
אבל אם כבר שאלת, אכתוב את דעתי האישית בקצרה:

1. מבחינה פילוסופית, קשה להגדיר את התכונות האלו גם אצל בני אדם.

עד כמה אנחנו מודעים לעצמנו באמת, וכמה מההחלטות שלנו מתקבלות מתוך שיקולים שאנחנו לא תמיד מזהים?
כמה רצון חופשי יש לנו, וכמה אנחנו מושפעים מהגוף הפיזי שלנו, או אירועי עבר שקרו לנו?
התשובה לדעתי היא לא 0 או 100%, וכנראה גם שונה בין בני אדם שונים.

כך שקשה להגדיר מתי והאם ה-AI יגיע לסף מקביל לבני אדם.

2. מבחינה מעשית, אני מניח שמבחן טיורינג יוכל לעזור לנו גם כאן.
אם אדם שמדבר עם AI חושב שיש לAI מודעות עצמית (ולדעתי זה קורה כבר היום) - אז לכל צורך מעשי, אפשר לומר שלAI יש מודעות עצמית.

כנ"ל לגבי "רצון חופשי" - הובאו בתקשורת לא מעט מקרים שבו הAI פעל על דעת עצמו (ולא לפי ההנחיות),
כך שאני מניח שלצורך מעשי - אפשר לומר שיש לו רצון חופשי מסוים (אבל כרגע אפילו לא מתקרב לרמה מקבילה לאדם).

כמובן זה לא אומר שום דבר על השאלה אם יש ל-AI איזושהי דרגה של רצון חופשי "אמיתי":
ברור שייתכן שגם במקרה שה-AI חרג מההנחיות הנוכחיות - הוא פעל לפי הנחיות מוקדמות שקיבל.

אבל היופי במבחן טיורינג זה שהוא מתמקד בהשלכות בפועל, ולא בדיונים פילוסופיים, שקשה יותר לנהל.

 

[איניגו מונטויה]

החומרה שלהם גדלה אקספוננציאלית, יגיע השלב שבו הם גם יתכננו את עצמם. סביר להניח שאנחנו נהיה הגולדן רטריבר. מכאן אנחנו גם לא יכולים לדמיין מה הם יוכלו או יכולים לעשות.

אולי לא הסברתי את עצמי מספיק -
הדוגמא של גולדן רטריבר לא נועדה להשוות את האינטליגנציה שלו לעומת שלנו, אלא את האישיות (שטבועה כנראה במבנה המוח).

מה שאמרתי זה שגם אם הגולדן רטריבר היה יכול לעשות כל מה שבן אדם עושה,
עדיין לא בטוח שהוא היה רוצה לעשות את זה...

ובהקשר שלנו - גם אם הבינה המלאכותית תגיע למצב שהאינטליגנציה שלה נמצאת הרבה מעל שלנו ותוכל להשמיד אותנו,
בכלל לא בטוח שהיא הייתה רוצה להשמיד אותנו.

 

[היום מתה אמא]

ובהקשר שלנו - גם אם הבינה המלאכותית תגיע למצב שהאינטליגנציה שלה נמצאת הרבה מעל שלנו ותוכל להשמיד אותנו,
בכלל לא בטוח שהיא הייתה רוצה להשמיד אותנו.

מסכים, אבל אני לא רואה כ"כ סיבה למה לא.

 

[איניגו מונטויה]

מסכים, אבל אני לא רואה כ"כ סיבה למה לא.

כי מלחמה ביצורים שנחותים ממך היא בזבוז זמן ומשאבים, ואין בה שום צורך?

כשאני יוצא לטבע ויש שם קן של נמלים - אני לא משמיד אותן למרות שאני יכול.
אני פשוט מגן על עצמי עם בגדים ארוכים, ובמקרה שיש שיירת נמלים על סלע - אני עובר לשבת על סלע אחר.

 

[היום מתה אמא]

כי מלחמה ביצורים שנחותים ממך היא בזבוז זמן ומשאבים, ואין בה שום צורך?

כשאני יוצא לטבע ויש שם קן של נמלים - אני לא משמיד אותן למרות שאני יכול.
אני פשוט מגן על עצמי עם בגדים ארוכים, ובמקרה שיש שיירת נמלים על סלע - אני עובר לשבת על סלע אחר.

הבעיה שלפני שנהפוך להיות הנמלים, אנחנו לפני זה נהיה הדובים, הנשרים ודגי הטונה. המשאבים או כאלה שנלחמים עליהם.

 

[איניגו מונטויה]

הבעיה שלפני שנהפוך להיות הנמלים, אנחנו לפני זה נהיה הדובים, הנשרים ודגי הטונה. המשאבים או כאלה שנלחמים עליהם.

נקודה טובה.
כנראה תלוי מה יהיה קצב ההתפתחות של ה-AI.

 

[isalidiq]

אבל היופי במבחן טיורינג זה שהוא מתמקד בהשלכות בפועל, ולא בדיונים פילוסופיים, שקשה יותר לנהל.

מסכים. רק שבדיון הזה לטעמי המהות בדיון הפילוסופי היא העיקר.
החלק המעשי וההשלכות בפועל הם לא באמת רלוונטיים (כי מה אכפת לי אם רק בפועל המודל מסוגל לדבר איתי כאילו יש לו מודעות עצמית. נו שוין)

 

[בת העמק]

אין לי מושג אם הנבואות השחורות של ליאו יתגשמו מתישהו (להערכתי יש סיכוי שמדינות ישמידו חוות שרתים, מפעלים ומהנדסים של התחום אם יחששו מכך).
התחושה שלי, מתקשורת של הדיוטית עם הבינה, שנכון להיום זה סוס ועגלה ולא טכנולוגיה מאד מתקדמת (כך הרגשתי בשנות ה-90 לגבי האינטרנט).
יש אלמנטים שהוא עוזר לי בהם כמו חישובים שונים או מידע או ניתוח קובץ, אבל תמיד אני צריכה לבדוק בשבע עיניים ולחפש את הטעויות המטופשות שלו.
סתם דוגמא מאתמול, ביקשתי ממנו עזרה בבניית דו"ח ניתוח קובץ אקסל כלשהו של העסק שלנו והיה נראה שהוא מחשב נכון את הכל, אלא שהוא חישב לפי 17% מע"מ ולא 18% ולכן שירשר את הטעות לנוסחא אחרת.
דוגמא אחרת, חברה שלי חיפשה חנות בוטיק בגדים בעיר כלשהי והוא נתן לה בביטחון שם, כתובת ושעות פתיחה - הבעיה היא שהחנות נסגרה כבר לפני יותר מעשור.
אז צריך לציין בפניו את השנה/החודש שבו מבקשים ממנו לאסוף נתונים, זה לא ברור לו ששאלה מהיום דורשת בהקשרים מסוימים תשובות עדכניות.
שאלות אחרות הראו לי שיש לו קושי גם בבחירת אתרים איכותיים לאיסוף המידע. נתקלתי בזה בנושאי תזונה, מחלות, תרופות, רופאים מומלצים.
מצד שני - בשנים האחרונות, לפני שילוב הבינה, מנועי החיפוש הפכו לממבו ג'מבו אחד גדול וויקיפדיה התדרדרה לחלוטין כך שעדיין עדיפה הבינה שגם (עם הכוונה מדוייקת יותר) מביאה מיד מחקרים רלוונטים (שגם לגבי מחקרים וחוקרים כיום צריך הר של מלח ליד).
אי אפשר להאשים את הבינה המלאכותית, היא יציר כפיה של האנושות שהיא החיה הכי מטומטמת על כדור הארץ.

 

[OnTheVerge]

העבודה שלי מאפשרת להשתמש ב-Claude Fable על ההגדרות הכי גבוהות, ללא הגבלה.

אני מרגיש שאנחנו מתקרבים לנקודת מפנה.

Fable על Extra High מסוגל לבצע משימות מורכבות בשבילי, באופן מדוייק מאוד וללא הזיות (אני תמיד משווה מול הדאטה האמיתי ורמת הדיוק מפחידה).

עם זאת, במשימות ויזואליות כמו ניתוח וידאו אני עדיין מבחין במגבלות שלו.

 

[mudale222]

העבודה שלי מאפשרת להשתמש ב-Claude Fable על ההגדרות הכי גבוהות, ללא הגבלה.

אני מרגיש שאנחנו מתקרבים לנקודת מפנה.

Fable על Extra High מסוגל לבצע משימות מורכבות בשבילי, באופן מדוייק מאוד וללא הזיות (אני תמיד משווה מול הדאטה האמיתי ורמת הדיוק מפחידה).

עם זאת, במשימות ויזואליות כמו ניתוח וידאו אני עדיין מבחין במגבלות שלו.

בתור מתכנת אני לא התרשמתי ממנו ככה.
הייתי איתו באמצע משימה והוא התחיל לעשות שינויים די הזויים לפרומפט שנתתי לו שהיו לגמרי מחוץ להקשר שך המשימה.

 

[gogo girl]

ביום שבו ה AI יפנה אלי ויגיד שהוא לא מרוצה מהדרך שבה התנהג אתמול כי היה לו יום רע... כי הוא מתוסכל כי הוא לא מוצא שום ייעוד ומטרה בגללה שווה להמשיך להיות מחובר לחשמל... וכי אף אחד לא מבין אותו והוא בודד... אני אתחיל לדאוג

 

[דף מלא]

התחושה שלי, מתקשורת של הדיוטית עם הבינה, שנכון להיום זה סוס ועגלה ולא טכנולוגיה מאד מתקדמת (כך הרגשתי בשנות ה-90 לגבי האינטרנט).

בינתיים הבינה המלאכותית פתרה חידות מתמטיות שהיו לא פתורות במשך 80 שנה, הייתה חלק מהותי בהתפתחויות ביולוגיות די בלתי נתפסות, או כמו שהוצג למעלה פריצות סייבר על סמך מספר חולשות שלא היו ידועות קודם לכן.
אפשר לטעון, בעיני עם מידה רבה של צדק, שדווקא השילוב הזה בין יכולות באמת פנומנליות לכשלים קצת הזויים הוא חלק ממה שהופך את זה למסוכן.

להערכתי יש סיכוי שמדינות ישמידו חוות שרתים, מפעלים ומהנדסים של התחום אם יחששו מכך

מחשבה שמנסה להתמודד עם בעיות העתיד בעזרת הכלים של היום. כבר היום אני יכול להריץ מודלים לא רעים על המחשב האישי שלי, רץ קצת איטי, אבל עובד סביר. מה יהיה עוד 5 שנים? לא הייתי בונה על נק' חנק פשוטה כמו חוות שרתים.
לא שאני פסימי, אלא מניח שיתפתחו במקביל אמצעי הגנה שקשה לנו לדמיין למציאות העתידית שקשה לנו לדמיין

 

[בת העמק]

אפשר לטעון, בעיני עם מידה רבה של צדק, שדווקא השילוב הזה בין יכולות באמת פנומנליות לכשלים קצת הזויים הוא חלק ממה שהופך את זה למסוכן.

גאון משוגע?
תראה, גם הפיתוחים המדעיים שהובילו לפצצות גרעיניות לא נועדו לכך מלכתחילה. זה אנחנו, האנושות המשוגעת שמובילה לזה.
הטענה שלי היא שהפער בין התקדמות המוח, האנושי לפני הכל, טכנולוגי ואנליטי לבין קבלת ההחלטות המעשיות האינפנטילית היא סכנה לא רק לקיום האנושי אלא גם לכלל השוכנים על כדור הארץ.
האם אני מעדיפה לחיות בקידמה טכנולוגית על חשבון החיים עצמם בהווה ובעתיד? לא!
אבל כנראה שמקבלי ההחלטות כן, הפוליטיקאים ואנשי ההון.
ויש לי גם מה להגיד על האישיות "האוטיסטית" של מהנדסים וחוקרי מדע "טהור" שבשילוב עם האישיות "המגלומנית" של מנהיגים ובעלי הון מביאים עלינו אסונות שוב ושוב.
אילו אני הייתי יושבת בות"ת - הייתי מחייבת סטודנטים להנדסה לעבור גם הרצאות הומאניות ואקולוגיות במקביל יחד עם התנסות מעשית בטיפול בניפגעי הקידמה הטכנולוגית (אנשים, בע"ח, צמחים, מקורות מים ואוויר) לפני שהם מתחילים לעבוד. אולי זה ייתן להם זווית ראיה ותשומת לב למה שאיננו כסף, קידום וגאוות פיתוח.

 

[gogo girl]

ויש לי גם מה להגיד על האישיות "האוטיסטית" של מהנדסים וחוקרי מדע "טהור" שבשילוב עם האישיות "המגלומנית" של מנהיגים ובעלי הון מביאים עלינו אסונות שוב ושוב

זה חלק מהמשחק,
הטבע שורף את היער פעם בכמה זמן, מחריב המון כדי לאפשר התחזקות וצמיחה.

 

[בת העמק]

זה חלק מהמשחק,
הטבע שורף את היער פעם בכמה זמן, מחריב המון כדי לאפשר התחזקות וצמיחה.

אבל לא כל הזמן, ולא בעוצמות הולכות וגדלות.

 

[gogo girl]

אבל לא כל הזמן, ולא בעוצמות הולכות וגדלות

על איזה ציר זמן אנחנו מדברות ?
150 שנה ? 150,000 שנה ? 1,500,000 שנה ?

 

[בת העמק]

הנזק שהאדם המודרני (מאז המהפכה התעשייתית, 150 שנה) הביא ומביא עוד על האנושות והסביבה הוא פסיכי ממש.