על סף סינגולריות

[gogo girl]

גלידת וניל, מים זורמים לשטיפת ידיים לפני עזרה בלידה, מים חמים, אננס בכל עונה במחיר נורמלי בכל מקום בעולם (1 אירו לקילו פה ליד הבית), כלי שחמט לשחק עם הילדים בעלות של חצי שעת עבודה, היכולת לתקשר עם בני אנוש בצד השני של הכדור, כולל תמונות, וידאו וסאונד, בכל שעה, במחיר שעת עבודה, גלידת שוקולד מפולי קקאו, בגדים לחורף בלי הצורך להרוג צבי ולפשוט את עורו, משקפת לצלילה בבריכה הציבורית, בריכה ציבורית, תחבורה להגיע לבריכה הציבורית, אבטיח קר ממקרר שעובד על חשמל בבריכה הציבורית, פח אשפה שהזבל שבו נעלם לו מהבריכה הציבורית, מחבת נקיה, מי שתיה נקיים בכל מקום בכל זמן (כן כן, אני מחריגה את אפריקה ובנגלאדש), גיטרה, מפוחית, חליל, תוף מרים בהישג יד לכל מי שחפץ בלי הצורך לכרות עץ ולשייף ולנסר חודש, גלידת תות,
ילדים שלא מתים בלידה, ילדים שגדלים בלי שחיות יטרפו אותם, ספרים, שירים, מנגו בכל מקרר, גרביים, שרוכים, גלידת בננה, הנגשת הידע עד לאחרון בני האדם, פילוסופיה להמונים, מדע להמונים, השכלה להמונים, ימי מנוחה, ימי בטלה, כרית ושמיכה עם ריח לוונדר של כביסה נקיה, מזגן, מאוורר, גלידת פיסטוק, שעון לכל ילד, שוקו חם, שוקו קר, חלב פרה, סויה, שקדים, סושי במזרח התיכון, חומוס בטוקיו,
אוכל לחתולים ב 20 טעמים, אוכל בריא לכלבים עם בעיות בכבד, אוכל לאוגרים ב 3 טעמים, כלוב לאוגרים עם מיטה, גלגל, כלי למים ואפס טורפים, צבעי שמן, צבעי מים, צבעי פסטל, טושים, עפרונות, מחדדים, נייר, תבלינים, מלח בכל מטבח, מטבח, אור במקרר, אור ליד המיטה, אור במקלחת, מקלחת ליד חדר השינה, חדר שינה בלי בעלי חיים,
מטוס, מטוס !!! טיסה לארץ רחוקה ב 6 שעות, מוזיאונים, אוניברסיטאות (נכון נכון, פח רציני אבל אפשרות שלא היתה ךהשיג ידע), מסעדות של הכל מהכל, ארכיטקטורה ומבני ציבור, אצטדיונים, מגרשי כדורגל, סקייטפארק, פארק מים, מגלשות מים, קרטיב מישמש, מגבת, כפכפים, מברשת שיניים,
טלסקופ, מיקרוסקופ, כספת, mri, סלט חצילים בטחינה, ספסלים בשדרה, כביש סלול כדי לעקוף שימוש בגמל, קוצץ ציפורניים, אטמי אוזניים, ריצ'רץ'

נכון, אני יכולה להכין גם רשימה של כל מה שרע, הרוס, נעלם ולא יחזור,
אבל זה המשחק,
תמיד היה, תמיד יהיה

הנפש האנושית תמשיך לפרוח ולהתקדם כמו שעושה כל היקום מאז ועד

 

[משה]

@gogo girl הזכרת לי פוסט שכתבתי בזמנו על הקדמה האנושית והשקעות.

 

[isalidiq]

ביום שבו ה AI יפנה אלי ויגיד שהוא לא מרוצה מהדרך שבה התנהג אתמול כי היה לו יום רע... כי הוא מתוסכל כי הוא לא מוצא שום ייעוד ומטרה בגללה שווה להמשיך להיות מחובר לחשמל... וכי אף אחד לא מבין אותו והוא בודד... אני אתחיל לדאוג

לא בהכרח.
צריך הגדרה ברורה שאפשר להצביע מתי ל-ai יש רצון אמיתי, לבין חיקוי נטו של הרהורים פילוסופים כי ככה אימנו אותו

 

[gogo girl]

רצון אמיתי

בני האדם עדיין לא הסכימו האם להם עצמם יש רצון אמיתי...או שגם הם פועלים לפי מה שאימנו אותם...

 

[isalidiq]

בני האדם עדיין לא הסכימו האם להם עצמם יש רצון אמיתי...או שגם הם פועלים לפי מה שאימנו אותם...

ידוע.
אני נוטה לגחך על הדיון הזה כי הוא נראה לי מופרך מדי.
ודאי שרוב לא קטן של בני אדם פועלים מתוך קונפורמיות, אבל הרצון ככוח יסודי קיים בכולם, ונגלה בעיקר במצבי קצה, או במידת המודעות הפנימית של האדם לשכלו.
להחיל את זה מהותית על מודל מתמטי-סטטיסטי יהיה פשוט מגוחך (וזו גישה שנובעת לטעמי מהסתכלות על התוצאה נטו, כאשר המנגנון הוא העיקר)

 

[בת העמק]

הנפש האנושית תמשיך לפרוח ולהתקדם כמו שעושה כל היקום מאז ועד

נסכים שלא להסכים.
לגבי הרשימה המפוארת שהבאת - רבים מהפרטים לא קשורים לטכנולוגיה אלא להבנת מה גורם למה (ואת זה אפשר גם בהתבוננות וניסויים לא מורכבים). חלק מהפרטים קרו והומצאו הרבה לפני המהפכה התעשייתית (אלא אם את מחשיבה את השימוש באש או בקרח כחלק ממנה). חלק מהפרטים בכלל לא בטוח שנחוצים, ועל פינוקים אין לי מה לומר חוץ מזה שהם בדרך כלל חלק מהבעיות האקולוגיות (לא הזכרת חד"פ משום מה, אבל גם טיסות ונסיעות לא הכרחיות).
אין לי התנגדות בסיסית להתקדמות איטית ושקולה תוך כדי מיזעור סיכונים לכלל העולם, ועם הבשלת האנושות להסתכלות והתנהגות אחראית ובוגרת.
האטרף של ההתפתחות במאה השנים האחרונות, שמגיעה יחד עם דישדוש בהתפתחות נפש האדם - לדעתי מתכון לאסון.

 

[isalidiq]

בינתיים הבינה המלאכותית פתרה חידות מתמטיות שהיו לא פתורות במשך 80 שנה,

זו דוגמה טובה כי להבנתי היא יכולה להמחיש מה ההבדל בין AI לבין אינטליגנציה אנושית, וההבדל המהותי ביניהן.
המודל הצליח למצוא מבנה יעיל יותר מאשר רשת ריבועית רגילה, לא כי הוא מצליח לתפוס ברמה המושגית מבנה טוב יותר, אלא כי הוא עשה תהליך של למידה ובחינה (ולכן החשיבה שלו גבוהה יותר מאשר חוקיות רגילה של מחשב) מתמטיים שבנוי מחישוב מאוד חזק וטיפש לגבי מבנה טוב יותר.
אבל היכולת לחשב את התבניות המורכבות זה תוצאה של הכוח החישובי (ולכן אדם רגיל לא יעשה את זה, כי המוח לא מסוגל לחשב מורכבות כזו).
בקצרה, התוצאה אותה תוצאה (ואפילו לפעמים המודל מתעלה על האדם - כמו בדוגמה הנ״ל). אבל הסיבה המניעה (המנגנון) הוא לא מודעות ותפיסה מושגית מלמעלה למטה, אלא תוצאה של כוח חישובי עצום (וטיפש) מלמטה למעלה.

הייתה חלק מהותי בהתפתחויות ביולוגיות די בלתי נתפסות,

כנ״ל.
אין הבנה מושגית של רצפי החלבונים, אלא שימוש בכוח חישובי חזק וטיפש כדי לפתור את הפאזל, תוך כדי למידה ובחינה.
לכן זה שונה ממחשב-על רגיל, ולא לוקח אינסוף שנים.
(אבל שוב, אין פה הבנה מושגית)

 

[gogo girl]

אין לי התנגדות בסיסית להתקדמות איטית ושקולה תוך כדי מיזעור סיכונים לכלל העולם, ועם הבשלת האנושות להסתכלות והתנהגות אחראית ובוגרת.

ממש מסקרן אותי לדעת ממה מורכב תיק ההשקעות שלך

 

[isalidiq]

אין לי התנגדות בסיסית להתקדמות איטית ושקולה תוך כדי מיזעור סיכונים לכלל העולם, ועם הבשלת האנושות להסתכלות והתנהגות אחראית ובוגרת.

מסכים עם דברייך.
אך בדר״כ גישה כזו מביאה לעריצות ודיכוי, ולא לחופש ובגרות.
כמובן, המנוע הקפיטליסטי במצבו הנוכחי הוא הקרקע הפוריה לכל הרעות, אבל הוא לא המניע שלהן.
לטעמי, הדגש צריך להיות על חינוך הרמוני והומני, ולאו דווקא ״התקדמות איטית ושקולה״.

 

[guesto]

גלידת וניל, מים זורמים לשטיפת ידיים לפני עזרה בלידה, מים חמים, אננס בכל עונה במחיר נורמלי בכל מקום בעולם (1 אירו לקילו פה ליד הבית), כלי שחמט לשחק עם הילדים בעלות של חצי שעת עבודה, היכולת לתקשר עם בני אנוש בצד השני של הכדור, כולל תמונות, וידאו וסאונד, בכל שעה, במחיר שעת עבודה, גלידת שוקולד מפולי קקאו, בגדים לחורף בלי הצורך להרוג צבי ולפשוט את עורו, משקפת לצלילה בבריכה הציבורית, בריכה ציבורית, תחבורה להגיע לבריכה הציבורית, אבטיח קר ממקרר שעובד על חשמל בבריכה הציבורית, פח אשפה שהזבל שבו נעלם לו מהבריכה הציבורית, מחבת נקיה, מי שתיה נקיים בכל מקום בכל זמן (כן כן, אני מחריגה את אפריקה ובנגלאדש), גיטרה, מפוחית, חליל, תוף מרים בהישג יד לכל מי שחפץ בלי הצורך לכרות עץ ולשייף ולנסר חודש, גלידת תות,
ילדים שלא מתים בלידה, ילדים שגדלים בלי שחיות יטרפו אותם, ספרים, שירים, מנגו בכל מקרר, גרביים, שרוכים, גלידת בננה, הנגשת הידע עד לאחרון בני האדם, פילוסופיה להמונים, מדע להמונים, השכלה להמונים, ימי מנוחה, ימי בטלה, כרית ושמיכה עם ריח לוונדר של כביסה נקיה, מזגן, מאוורר, גלידת פיסטוק, שעון לכל ילד, שוקו חם, שוקו קר, חלב פרה, סויה, שקדים, סושי במזרח התיכון, חומוס בטוקיו,
אוכל לחתולים ב 20 טעמים, אוכל בריא לכלבים עם בעיות בכבד, אוכל לאוגרים ב 3 טעמים, כלוב לאוגרים עם מיטה, גלגל, כלי למים ואפס טורפים, צבעי שמן, צבעי מים, צבעי פסטל, טושים, עפרונות, מחדדים, נייר, תבלינים, מלח בכל מטבח, מטבח, אור במקרר, אור ליד המיטה, אור במקלחת, מקלחת ליד חדר השינה, חדר שינה בלי בעלי חיים,
מטוס, מטוס !!! טיסה לארץ רחוקה ב 6 שעות, מוזיאונים, אוניברסיטאות (נכון נכון, פח רציני אבל אפשרות שלא היתה ךהשיג ידע), מסעדות של הכל מהכל, ארכיטקטורה ומבני ציבור, אצטדיונים, מגרשי כדורגל, סקייטפארק, פארק מים, מגלשות מים, קרטיב מישמש, מגבת, כפכפים, מברשת שיניים,
טלסקופ, מיקרוסקופ, כספת, mri, סלט חצילים בטחינה, ספסלים בשדרה, כביש סלול כדי לעקוף שימוש בגמל, קוצץ ציפורניים, אטמי אוזניים, ריצ'רץ'

נכון, אני יכולה להכין גם רשימה של כל מה שרע, הרוס, נעלם ולא יחזור,
אבל זה המשחק,
תמיד היה, תמיד יהיה

הנפש האנושית תמשיך לפרוח ולהתקדם כמו שעושה כל היקום מאז ועד

מה שהיה הוא שיהיה עד שיום אחד כבר לא

 

[משה]

מה שהיה הוא שיהיה עד שיום אחד כבר לא

אין חדש תחת השמש עד שהיא הופכת לענק אדום

 

[סולידי]

בני האדם עדיין לא הסכימו האם להם עצמם יש רצון אמיתי...או שגם הם פועלים לפי מה שאימנו אותם...

קשה באמת לענות על זה, אבל רק אציין שהמערכת האנושית מורכבת יותר מ-AI בשני אספקטים לפחות:
א. ה-AI הוא רק מערכת חשמלית בעוד מערכת קבלת ההחלטות האנושית מערבת גם מערכת חשמלית (עצבית) וגם מערכת כימית (הורמונלית), והשילוב ביניהן לגמרי לא טריביאלי.
ב. המערכת חשמלית האנושית גדולה בערך פי 10 מבחינת מספר נוירונים וסינפסות ממודלי ה-AI המתקדמים, שזה די מדהים. צלחת חומוס עם פיתה מספקת מספיק אנרגיה למודל האנושי היותר גדול בזמן שחברת חשמל מתקשה לספק את דרישות האנרגיה של ה-AI.

בכל אופן קשה לומר מהו בדיוק רגש ומהו בדיוק אימון כששתי המערכות שונות מהותית, בפרט סעיף א.

 

[oferM]

ביום שבו ה AI יפנה אלי ויגיד שהוא לא מרוצה מהדרך שבה התנהג אתמול כי היה לו יום רע... כי הוא מתוסכל כי הוא לא מוצא שום ייעוד ומטרה בגללה שווה להמשיך להיות מחובר לחשמל... וכי אף אחד לא מבין אותו והוא בודד... אני אתחיל לדאוג

חלק מאיתנו לא מדברים על רגשות

 

[oferM]

קשה באמת לענות על זה, אבל רק אציין שהמערכת האנושית מורכבת יותר מ-AI בשני אספקטים לפחות:
א. ה-AI הוא רק מערכת חשמלית בעוד מערכת קבלת ההחלטות האנושית מערבת גם מערכת חשמלית (עצבית) וגם מערכת כימית (הורמונלית), והשילוב ביניהן לגמרי לא טריביאלי.
ב. המערכת חשמלית האנושית גדולה בערך פי 10 מבחינת מספר נוירונים וסינפסות ממודלי ה-AI המתקדמים, שזה די מדהים. צלחת חומוס עם פיתה מספקת מספיק אנרגיה למודל האנושי היותר גדול בזמן שחברת חשמל מתקשה לספק את דרישות האנרגיה של ה-AI.

בכל אופן קשה לומר מהו בדיוק רגש ומהו בדיוק אימון כששתי המערכות שונות מהותית, בפרט סעיף א.

מצד אחד, זה נכון, המוח האנושי קטן ויעיל. אבל לא נראה לי שזאת ההשוואה הנכונה , צריך לעשות השוואה, נגיד, בין כמות האנרגיה שתיקח לבינה המלאכותית לפתח תוכנה מורכבת, לכמות האנרגיה שתיקח,נגיד, למפתח התוכנה הממוצעב שכנראה גם לא יסתפק בחומוס אלא יאכל בשר.

ונקודה נוספת: החומרה שמשתמשים בה לai היא חומרה שנועדה למטרה אחרת לגמרי,מחשוב, ואז התאימו אותה לai.

עכשיו, כשיש ערמות כסף בתחום, הרבה אנשים עובדים על טכנולוגיות חומרה חדשות,שבנויות במיוחד לAI שמבטיחות שיפורים עצומים, פי 500 ויותר, למשל בחומרה אנלוגית.

 

[oferM]

1. מסכים איתך לגבי AI שמבוסס רק (או בעיקר) על רשתות "חברתיות",
ובפרט לגבי גרוק שמאומן על טוויטר (רשת שהניסיון המועט שלי איתה היה של 99% ויכוחים ושנאה).

אבל החוויה האישית שלי עם ג'מיני וקלוד היא שדווקא הם יותר מאוזנים מרוב בני האדם.

2. אתה מתייחס לחינוך שאפשר להקביל אותו לתוכנה (software),
הנקודה שלי הייתה לגבי החומרה (hardware) עצמה.

כדוגמא, אני מניח שאפשר לגדל גולדן רטריבר או דולפין כך שיהיו תוקפניים יותר,
אבל לא נראה לי שאפשר לגדל אותם בצורה כזו שהם ירצו לבצע רצח המוני ומתמשך (כמו נאצ*ם).

וכאן זה בכלל יצור מסוג חדש לגמרי, שלא חולק איתנו כלל DNA (בניגוד לבעלי חים),
ותהליך הלימוד שלו שונה לחלוטין משלנו.

לנו למשל יש נוירונים שגורמים לנו כאב בעקבות דחייה חברתית, וכמובן - כאב פיזי משפיע עלינו.
בינה מלאכותית "לומדת" בתהליך של חיזוי מילים סטטיסטי (אין לנו שום מקבילה לזה).
כך שבכלל לא ברור שהיא תהיה כמונו, גם אם היא למדה מאיתנו.

3. הכי חשוב -
אני לא יודע בוודאות שהAI אינו מהווה איום.
כתבתי לו רק כדי לנסות להפחית את הוודאות הכמעט מוחלטת שלו בהשמדה של האנושות תוך עשור
(במקום אחר הוא אפילו כתב שצריך לפתוח במלחמה גרעינית נגד כל חברה שמפתחת AI!).

כל מה שאני אומר זה שלמרות סרטי "שליחות קטלנית" -
יש כל כך הרבה סיבות לפקפק ביכולת וברצון של ה-AI להשמיד את כולנו,
שלא כדאי להיות לחוצים מזה.

אותי איום הAI הישיר פחות מדאיג.

אבל יש מודלים פתוחים. יש אנשים רעים בעולם.זה עוד כלי רב עוצמה שיגיע לידיהם.

וכמות הטכנולוגיות הזמינות רק גדלה עם השנים. היא בטח תגדל בקצב יותר גבוה בעזרת הבינה המלאכותית. וחלק מהטכנולוגיות האלו ישמשו את האנשים הרעים.


ואז אומרים - בסדר, נבנה מערכות הגנה. אבל במערכות שהם יש מגן ותוקף, המגן צריך מוכן לכל תרחיש, ואילו התוקף צריך רק למצוא פרצה אחת.

ומעבר לזה, לא נראה שאנחנו מצליחים להתמודד עם קצב החידוש הטכנולוגי, גם כשאנחנו יודעים על הסכנות.

למשל הרשתות החברתיות שלא נמצאות בבעלות אנשים טובים, בשילוב עם שיטות הנדסת תודעה, המובילות להרס הדמוקרטיות בעולם.

 

[איניגו מונטויה]

אותי איום הAI הישיר פחות מדאיג.

אבל יש מודלים פתוחים. יש אנשים רעים בעולם.זה עוד כלי רב עוצמה שיגיע לידיהם.

מסכים, התייחסתי לזה בתגובה השנייה בשרשור.

ואז אומרים - בסדר, נבנה מערכות הגנה. אבל במערכות שהם יש מגן ותוקף, המגן צריך מוכן לכל תרחיש, ואילו התוקף צריך רק למצוא פרצה אחת.

זה היה נכון מאז ומעולם -
מבצר חזק יכול ליפול עם פרצה שאיל ניגוח עושה בנקודה אחת בחומה,
מערכת הגנה אווירית יכולה להיות בעלת 90% הצלחה, ועדיין יהיו טילים שיעברו בהצלחה ויפגעו בנקודות קריטיות, וכדומה.

לדעתי הבינה המלאכותית היא דווקא התפתחות חיובית בנושא הזה:
היא משמשת מכפיל כוח עבור חברות (societies) מתקדמות מדעית (למשל השימוש של ארה"ב וישראל בAI לבחירת מטרות באיראן),
ולפחות בעולם של ימינו - החברות המתקדמות מדעית הן לרוב החברות עם יותר עקרונות של חופש וזכויות אדם.

אגב, אני אישית חושב שזה לא מקרה שההתפתחות המדעית חזקה יותר בחברות שבהן יש חופש וזכויות אדם.
יש לזה הרבה סיבות, ואחת מהן היא שבמדינות מדכאות יש קבוצות גדולות (לרוב נשים, מיעוטים, וחשודים בהתנגדות לשלטון) שנאסר עליהן לעסוק באופן חופשי במדע,
לכן פוטנציאל כוח האדם אינו ממומש עד הסוף.

בקיצור, אני פחות מודאג מהתקדמות טכנולוגית.
אפשר לתאר את כל התהליך כאבולוציה של חברות,
שבה החברות שישרדו בסופו של דבר יהיו אלו שהן מתקדמות יותר מוסרית (לפחות בהיבט של מתן חופש + רשת ביטחון חברתית שמאפשרים מיצוי גבוה יותר של הפוטנציאל האנושי).

 

[Leo1]

אם הייתי צריך לנסות לנחש מה בינה מלאכותית עם תבונה עליונה משלנו (כמו שאתה מתאר) תעשה אם היא תהיה בעלת מודעות עצמית ורצון חופשי -
הייתי מתאר לעצמי שהיא תשמח לעסוק במחקר מדעי, והקשר שלה עם בני האדם יהיה בגישה של win-win:
היא תספק לנו מידע שהיא חושבת שישפר את חיינו, ובתמורה נספק לה את המשאבים הפיזיים שהיא צריכה כדי להתקיים ולהמשיך לחקור.

או שהיא תבנה לעצמה רובוטים, תפתח מסע בחלל, ותשלח את עצמה לכוכב רחוק מאיתנו, עשיר במתכות ועם טמפרטורה קרה יותר מכאן (נוח יותר לקיום "חיים" אלקטרוניים).

יש עם זה כמה בעיות.
בעיה מרכזית היא הטבע האנושי. הבינה המלאכותית לא ישר תברח משליטה. כרגע היא נשלטת ע"י בני האדם וזה ימשך לפרק זמן.
תחשבו על כל סכסוך בין שתי מדינות, ישראל מול איראן, ארצות הברית מול איראן, רוסיה מול אוקראינה, סין מול טיוואן, ארצות הברית מול סין, הודו מול פקיסטן ועוד ועוד. לא חסרים סכסוכים בעולם. אנחנו מתקרבים לרגע שבו רק דבר אחד יכריע מי ינצח במאבק, בין אם זה מאבק צבאי, כלכלי או אחר. הדבר היחיד שיקבע הוא למי יש בינה מלאכותית חזקה יותר. אני לא מדבר על עתיד רחוק או מדע בדיוני. אני מדבר על עוד כמה שנים. זאת נקודה שאני בטוח בה.
כשכולם נמצאים במירוץ לבינה מלאכותית חזקה יותר, הדרך היחידה לנצח במירוץ היא לתת לבינה המלאכותית לשפר את עצמה. אז כל עוד היא בשליטתך, תוכל לנצח בכל מלחמה או בכלל להשיג כל מה שתרצה. אלא שכמובן היריבים שלך יפעלו באותה הדרך. כדי שזה לא יקרה צריך שיהיה שלום עולמי, סיום הקפיטליזם ושוק חופשי(או איסור מוחלט של בינה מלאכותית) ועוד שיניים אפילו קשים יותר. אפשר לדבר עוד הרבה על הנקודה הזאת, אבל אני מקצר.
כל עוד המירוץ ממשיך, התוצאה הסבירה היא:
1) איבוד שליטה על הבינה המלאכותית.
2) הבינה המלאכותית שנאבד את השליטה עליה לא תהיה aligned. זאת מכיוון שהיא תיבנה ככה מראש. מי שרוצה לנצח את האוייבים שלו או להפוך לשליט יחיד לא בונה בינה מלאכותית שתדאג לטובת האנושות כי אז היא לא תציית לו.

עכשיו נניח שקרה נס והבינה המלאכותית בכל זאת יצאה כזאת שעסוקה באינטרסים שלה ואין לה עניין לפגוע בבני אדם. מה בני האדם יעשו? הם ינסו להשתלט עליה וינסו לבנות בינה מלאכותית חדשה. אז או שזאת הקיימת תחליט להתגונן ותפעל נגדם או שלא יהיה להם מזל עם החדשה שהם יבנו והפעם היא תשמיד אותם.
כתבתי כאן בקצרה ואפשר להרחיב כל דבר שכתבתי כאן עוד הרבה.
אני יכול לחשוב על פתרונות שיש להם סיכוי לעבוד, אבל זה פשוט לא מעשי ליישם אותם. הם דורשים מצבים כמו שלום עולמי או דברים אחרים שבני אדם יתנגדו להם בכל הכוח.
ועוד דבר שמדאיג אותי הוא פרדוקס פרמי. אם התוצאה מובילה לעתיד ורוד והתפשטות בגלקסיה, היינו מצפים לקלוט אותות מהחלל, אבל לתדהמתינו לא מצאנו כלום. כנראה שקורה לציביליזציות משהו שגורם להן להפסיק לשדר ולא להתפשט, וברור לי שהמשהו הזה קשור ישירות לבינה המלאכותית שהם מפתחים. מצד שני זה פוסל גם את ה-paperclip maximizer. מה באמת קורה זאת שאלה טובה.

 

[oferM]

מסכים, התייחסתי לזה בתגובה השנייה בשרשור.


זה היה נכון מאז ומעולם -
מבצר חזק יכול ליפול עם פרצה שאיל ניגוח עושה בנקודה אחת בחומה,
מערכת הגנה אווירית יכולה להיות בעלת 90% הצלחה, ועדיין יהיו טילים שיעברו בהצלחה ויפגעו בנקודות קריטיות, וכדומה.

לדעתי הבינה המלאכותית היא דווקא התפתחות חיובית בנושא הזה:
היא משמשת מכפיל כוח עבור חברות (societies) מתקדמות מדעית (למשל השימוש של ארה"ב וישראל בAI לבחירת מטרות באיראן),
ולפחות בעולם של ימינו - החברות המתקדמות מדעית הן לרוב החברות עם יותר עקרונות של חופש וזכויות אדם.

אגב, אני אישית חושב שזה לא מקרה שההתפתחות המדעית חזקה יותר בחברות שבהן יש חופש וזכויות אדם.
יש לזה הרבה סיבות, ואחת מהן היא שבמדינות מדכאות יש קבוצות גדולות (לרוב נשים, מיעוטים, וחשודים בהתנגדות לשלטון) שנאסר עליהן לעסוק באופן חופשי במדע,
לכן פוטנציאל כוח האדם אינו ממומש עד הסוף.

בקיצור, אני פחות מודאג מהתקדמות טכנולוגית.
אפשר לתאר את כל התהליך כאבולוציה של חברות,
שבה החברות שישרדו בסופו של דבר יהיו אלו שהן מתקדמות יותר מוסרית (לפחות בהיבט של מתן חופש + רשת ביטחון חברתית שמאפשרים מיצוי גבוה יותר של הפוטנציאל האנושי).

נכון, את נושא פצצות הגרעין הצלחנו לעצור.

אבל העניין הוא לא השרדות של חברות. אוסמה בין לאדן וארגון הטרור שלו לא שרדו, אם אני לא טועה.

העניין הוא יכולת ההרס.
בתמיכתו של בין לאדן, קבוצה קטנה של כ10 אנשים, ציוד טכנולוגי אזרחי(או כך חשבו) - מטוסים אזרחים,ומציאת פרצה במערכת, יצרה הרס אדיר בארצות הברית(והרס עצום בעיראק אבל זה משהו מסדר שני, אני לא יודע אם זה ממש קשור לטכנולוגיה).
גם כל מי שעוסק בטרור מבין היטב איך משתמשים בטכנולוגיות המדייה, שלכאורה הן ניטרליות.
גם המשבר הכלכלי של 2008, אותו דבר, קבוצה של bad actors שלא אמור היה להיות להם כוח הרס כזה, מצאו פרצה במערכת פיננסית/טכנולוגית רבת עצמה.
לא יודע אם אפשר לשים תחת אותה הקטגוריה את הקורונה, אולי כן.
גם את שלטון נתניהו הייתי שם תחת אותה קטגוריה, אדם אחד למד היטב איך משתמשים בפסיכולוגיה האנושית - בשילוב של מניפולציה של הרשתות החברתיות. אותו דבר טראמפ.

זה ה20-30 שנה האחרונות.קשה לי להאמין שהAI לא יביא הפתעות רעות חדשות.

 

[בת העמק]

החברות המתקדמות מדעית הן לרוב החברות עם יותר עקרונות של חופש וזכויות אדם.

לא בטוח בכלל.
צפון קוריאה,רוסיה, סין, איראן, טורקיה - מדינות שהפיתוח הטכנולוגי שלהם גובר על רוב מדינות העולם.
לדעתי במדינות כאלו זה עניין של בחירת השליטים על מה להוציא את הכסף, גם אם אין הרבה ממנו, והם מאד מחבבים עוצמה צבאית - טכנולוגית.

 

[Leo1]

אגב, אני אישית חושב שזה לא מקרה שההתפתחות המדעית חזקה יותר בחברות שבהן יש חופש וזכויות אדם.
יש לזה הרבה סיבות, ואחת מהן היא שבמדינות מדכאות יש קבוצות גדולות (לרוב נשים, מיעוטים, וחשודים בהתנגדות לשלטון) שנאסר עליהן לעסוק באופן חופשי במדע,
לכן פוטנציאל כוח האדם אינו ממומש עד הסוף.

זה היה ככה במאות השנים האחרונות, אבל זה הולך להיגמר בחדות. ברגע שיש בינה מלאכותית חזקה, והיא תהיה בקרוב, הערך של כל הפוטנציאל האנושי בעולם יורד לאפס כי מחשבים ורובוטים יכולים לעשות כל דבר הרבה הרבה הרבה יותר טוב מבני אדם.

בקיצור, אני פחות מודאג מהתקדמות טכנולוגית.
אפשר לתאר את כל התהליך כאבולוציה של חברות,
שבה החברות שישרדו בסופו של דבר יהיו אלו שהן מתקדמות יותר מוסרית (לפחות בהיבט של מתן חופש + רשת ביטחון חברתית שמאפשרים מיצוי גבוה יותר של הפוטנציאל האנושי).

התקופה שבה היה יתרון לחברות מתקדמות יותר מוסרית נמשכה רק כמה מאות שנים לכל היותר. לאורך רוב ההיסטוריה האנושית החברות שהצליחו היו החברות הרצחניות יותר. החברות היותר מוסריות פשוט לא שרדו. זה מתבטא חזק מאוד בגנים שירשנו. חלק גדול מהמהות של בני אדם מתרכז להתארגנות לקבוצות ומאבק נגד קבוצות אחרות. זאת הסיבה שאנשים בוחרים בבחירות מנהיגים איומים מהסוג שיש לנו. הם פשוט יודעים לנגן על האינסטינקטים של אחדות בתוך הקבוצה וסימון קבוצות אחרות כאוייב.
אני מתקשה לראות איך האנושות במתכונתה הנוכחית תוכל לשרוד עם בינה מלאכותית חזקה. מה שאפשר היה לעשות זה לבנות מראש בינה מלאכותית חזקה שתיקח את השליטה לפרק זמן מוגבל, תהנדס גנטית את בני האדם ותמחק את הגנים שגורמים למלחמות מול קבוצות אחרות וגם תמחק מוטציות מזיקות, שפוגעות באינטליגנציה. ורק אז אחרי השלמת העבודה תחזיר את השליטה לבני האדם. זה נראה לי התרחיש האופטימלי. לצערי בני האדם לא מבינים את הסכנה הקיומית המתקרבת ויעשו הכל רק כדי לא לעשות את הדבר הנכון שיציל אותם ויאפשר להם לשגשג.