על סף סינגולריות

[אנא-אל]

עכשיו אבל אנחנו הולכים לבנות סוג של אלוהים

אנשים שמתשתחווים למחשב זה מלחיץ

 

[חֲסַר מְשֻׁגָּעִים אָנִי?]

הרקורד של מנהיגים בני אנוש עלוב ביותר , אם לשפוט מההיסטוריה נראה שרוב רובם קצרי-ראות, טיפשים, תאבי בצע, מושחתים, צרי אופקים, מונעים מאגו, ובאופן כללי מתנהגים באופן אנושי מאד ספציפי שמתאים אולי לזכר אלפא בשבט שימפנזים מנהר הקונגו, ולא להצעיד מיליארד בני אדם לעתיד טוב יותר.

אני הייתי מעדיף קבלת החלטות מלאכותית חכמה בטירוף מאשר מנהיג אנושי אידיוט, רשע, דיקטטור, סנילי, פופוליסט, מגאלומן או מושחת, או הכל יחד.

אני חושב שיובל נח הררי היה זה שאמר שהוא מפחד יותר מטיפשות אנושית מאשר בינה מלאכותית ואני מסכים איתו.

 

[מלפפון חמוץ]

תמיד מפליא אותי כמה אנשים אוהבים לשתף דעות, להגות ולפנטז מה יקרה במידה ובינה מלאכותית/ סינגולרית או איך שלא נקרא לזה תתרחש. וכמה חוסר ידע על ספרי מדע בידיוני (איכותי) יש לאותם אנשים.

כל מה שנכתב בתגובות מעליי אלו מחשבות ראשוניות ובוסריות בהשוואה למה שהועלה על הכתב על ידי מיטב הסופרים (לדוגמא אסימוב), והועלה בצורה גרפית על ידי אינספור אנימה יפניות (לדוגמא הרוח במעטפת). הזאנר הזה כולל בתוכו כל כך הרבה פילוסופיה ודמיון.

ממליץ למי שבאמת מתעניין בתרחישים כאלו לקרוא או לצפות, זה ישדרג וישפר את המחשבות שלכם בנושא. ואז הדיון הזה יהיה הרבה יותר מעניין ופורה.

 

[מלפפון חמוץ]

הרקורד של מנהיגים בני אנוש עלוב ביותר , אם לשפוט מההיסטוריה נראה שרוב רובם קצרי-ראות, טיפשים, תאבי בצע, מושחתים, צרי אופקים, מונעים מאגו, ובאופן כללי מתנהגים באופן אנושי מאד ספציפי שמתאים אולי לזכר אלפא בשבט שימפנזים מנהר הקונגו, ולא להצעיד מיליארד בני אדם לעתיד טוב יותר.

אני הייתי מעדיף קבלת החלטות מלאכותית חכמה בטירוף מאשר מנהיג אנושי אידיוט, רשע, דיקטטור, סנילי, פופוליסט, מגאלומן או מושחת, או הכל יחד.

אני חושב שיובל נח הררי היה זה שאמר שהוא מפחד יותר מטיפשות אנושית מאשר בינה מלאכותית ואני מסכים איתו.

העניין הוא שאינטלגנציה מלאכותית לומדת מההיסטוריה כיצד לנהוג.

 

[קפיטליסט_מרושע]

אנשים שמתשתחווים למחשב זה מלחיץ

אני מאמין שהכוונה היא לא שנסגוד למחשב כמו שאנשים סוגדים לאלוהים, אלא שהיכולות שלו יהיו אלוהיות או לפחות על-אנושיות בתפיסתינו. קצת כמו היכולות שלנו מול אלה של נמלים.
אגב, כשאנשים מתעלמים מבעיות לוחצות ואמיתיות בגלל שהם חושבים שיהיה בסדר כי "אלוהים" - זה מלחיץ אותי..

 

[AlexNOSAM]

אני חושב שזה חרטא שאנחנו על סף סינגולריות, בתור מפתח תוכנה שקצת התעסק ב-AI לשעשועים שלו, בעבר (לפני שרשתות נוירונים התחילו לתפוס תאוצה). עדיין לא מצליחים ללמד AI אפילו לנהוג ברמה שבנאדם נוהג. וגם השבבים האלה במוח של אילון מאסק, אני חושב שזה מוגזם מה שמתארים שהם יוכלו לעשות. לכל היותר כולנו נהיה מחוברים לויקיפדיה או משהו במרחק של פחות מקליק - לא שונה בהרבה מהמצב עכשיו.

עובדה שעושים לך סרטי מדע בדיוני כמו ״שליחות קטלנית״ כבר משנות ה-80. עברו 40 שנה מאז ואנחנו עדיין לא בעידן ״סקיינט.״

אין ספק שהטכנולוגיה הזו תעשה Disruption על החברה האנושית כמו שעשה האינטרנט והסמארטפונים. ומעבר לזה, זהו...

אם תסתכל על כל דור מהמאה הראשונה, על הכתבים שהוא השאיר, כל דור חושב שהוא על סף האפוקליפסה בגלל שהערכים של האנשים הצעירים משתנים (לדעת הזקנים, לרעה) וזה יוצר כל מיני תופעות חדשות בחברה.

 

[amit]

אתה יכול להסביר לי איך הוא משמיד אותי?

הוא חוזר בזמן עם שוטגאן ושירים של guns &roses

 

[AlexNOSAM]

תמיד מפליא אותי כמה אנשים אוהבים לשתף דעות, להגות ולפנטז מה יקרה במידה ובינה מלאכותית/ סינגולרית או איך שלא נקרא לזה תתרחש. וכמה חוסר ידע על ספרי מדע בידיוני (איכותי) יש לאותם אנשים.

כל מה שנכתב בתגובות מעליי אלו מחשבות ראשוניות ובוסריות בהשוואה למה שהועלה על הכתב על ידי מיטב הסופרים (לדוגמא אסימוב), והועלה בצורה גרפית על ידי אינספור אנימה יפניות (לדוגמא הרוח במעטפת). הזאנר הזה כולל בתוכו כל כך הרבה פילוסופיה ודמיון.

ממליץ למי שבאמת מתעניין בתרחישים כאלו לקרוא או לצפות, זה ישדרג וישפר את המחשבות שלכם בנושא. ואז הדיון הזה יהיה הרבה יותר מעניין ופורה.

היתה לי שיחה על זה עם קולגה במשרד בדיוק בשבוע שעבר!
פשוט אמרתי לו: ״תעשה גוגל על המילה ׳סינגולריות׳״ והוא התפלא שזה בדיוק מה שהוא דיבר עליו ושזה מונח כבר די מיושן...
אבל אני יכול לומר שזה לא רק בורות על ספרות מדע בדיוני. אלא זה בורות לגבי ההיסטוריה בכלל.

מאז המאה הראשונה, נוצרים בכל דור חושבים שעוד שניה האפוקליפסה מתחילה וישו אוטוטו עומד לחזור בביאה השניה שלו. במאה הרביעית גם באימפריה הביזנטית היה תהליך של התברגנות ועיור. זה גרם לחכמים הנוצרים של אותה תקופה כמו אוגוסטינוס לכתוב בדאגה על התופעות שהחיים העירוניים מביאים ושהנה סוף העולם קרב.
למי שמעניין אותו, התחילו תופעות די מקבילות לדברים שאנחנו רואים היום. אנשים פיתחו תפיסות ליברליות יותר על מיניות וצניעות, היעדר קהילתיות בחיים העירוניים וכו׳... בדיוק הדברים ששמרנים מתלוננים עליהם גם במאה ה-21.
אז אנשים אוהבים לעשות את אותו דבר גם עם שינויים טכנולוגיים כבר די הרבה זמן. לפחות 100 שנה.

 

[אנא-אל]

אני מאמין שהכוונה היא לא שנסגוד למחשב כמו שאנשים סוגדים לאלוהים, אלא שהיכולות שלו יהיו אלוהיות או לפחות על-אנושיות בתפיסתינו. קצת כמו היכולות שלנו מול אלה של נמלים.
אגב, כשאנשים מתעלמים מבעיות לוחצות ואמיתיות בגלל שהם חושבים שיהיה בסדר כי "אלוהים" - זה מלחיץ אותי..

מזה יכולות אלוהיות מבחינתך?

כן גם אותי זה מלחיץ, אם היינו רק מסתמכים על בינה גבוהה מאיתנו בלי לעבוד ולחשוב בעצמנו אז היינו חוזרים לרמת בעל חיים..

 

[גרהם]

אנשים שמתשתחווים למחשב זה מלחיץ

להבדיל מהמצב הנוכחי

 

[אנא-אל]

וואו, מישהו כתב לי הרגע משפט כ״כ יפה או מרגש או מדויק, שמבחינתי מתקשר לנושא של בינת העל:

״אוטיסטים מחוברים לאור באופן פתוח יותר מאנשים רגילים, זה מה שמיוחד בהם בעיניי״

 

[קפיטליסט_מרושע]

מזה יכולות אלוהיות מבחינתך?

הרעיון הוא ש, כמו שנמלים לא מבינות או יכולות לדמיין את היכולות שלנו, גם אנחנו לא יכולים לדמיין את היכולות של בינה חכמה מאיתנו בסדרי גודל.
אני לא הייתי קורא לזה אלוהי, כי אני אתאיסט, אבל התייחסתי למה שנכתב לפני

 

[Leo1]

בגדול, ברגע שנגיע לagi המעבר לsai הוא קפיצה קטנה שהמחשב יבצע בעצמו ואז בעצם אין לו מגבלה של אינטיליגנציה ובאמת אנחנו נהיה כמו נמלים לרגליו, אז יכול להיות שהוא יתעלם מאיתנו, כמו שאנחנו עושים לרוב הנמלים בעולם, אי שישמיד כמו שגם אנחנו עושים מדי פעם נקודתית.

ההבדל הוא שבמקרה הזה הנמלים יהיו מעצבנות במיוחד, וינסו כל הזמן לשלוט על בני האדם ולהשתמש בהם כדי לשעבד לעצמם נמלים אחרות. עוד הבדל הוא שלא משנה כמה נרצה להשמיד את כל הנמלים בעולם, לא נצליח לעשות זאת. לעומת זאת באנלוגיה שלנו השמדת הנמלים תהיה פעולה טריוויאלית.

שיהיה לאנושות בהצלחה, אני לא מצליח לראות תרחיש אופטימי בו אנחנו לא משמידים את עצמינו.

תרחיש טוב הוא שהבינה המלאכותית תחליט לפעול לטובת האונושות ותפעל רק נגד בני אדם רעים ולא נגד אנשים טובים. אולי יש עוד תרחישים טובים, אבל לא קל לדמיין אותם. אכן הרבה יותר קל לדמיין תרחישים רעים, ואני יכול לחשוב על מגוון תרחישים רעים.

 

[Spanz]

לגבי תרחיש, אז יכול להיות שהמחשב יפתח וירוס קטלני במיוחד, כל זה כשהוא כמובן מחובר לרשת ולכל המערכות בעולם, בלי בעיה היא יכול לסנטז איזה חומרים שהוא רוצה דרך מעבדות שונות שהם בעמם לא יבינו מה הם עושים ולשחרר וירוס קטלני שישמיד את רוב האוכלוסייה האנושית.

למעשה, אנחנו בכלל לא נבין מה קרה ואיך קרה וזה יהיה מאוחר מדי.

מחשב חכם עם תוכנה חכמה ככל שתיהיה, עדיין מוגבלת בעולם הפיזי.
לאדם יש מוח + ידיים... למחשב כרגע יש רק מוח.

אתן דוגמא הרבה יותר פשוטה:
מחשב-על רוצה לעשות קונץ ולשנות את כיוון המשאבות של הביוב ככה שזרם ביוב יצא לאנשים בבתים בעיר מסוימת.
הוא יודע להתחבר למערכת של הביוב וכל זה, כי מי שהתקין את המערכת רצה שליטה מרחוק וחיבר אותה לאינטרנט עם סטנדרט אבטחה נמוך.
זה לא מספיק...
במציאות המצב קצת יותר מסובך, כי כיוון המשאבות בדר"כ לא ניתנות להגדרה ע"י שינוי תוכנתי אלא על ידי חיבור פיזי של הפאזות באופן שונה.
עכשיו נניח שהמחשב כ"כ חכם שהוא מנסה לשכנע את החשמלאי לגשת אל המשאבה ולשנות את הכיוון.
השאלה:
האם החשמלאי יהיה מספיק "טיפש", כמו נמלה ששמים לה מחסום בצד שאליו היא הולכת כל פעם והיא מתנהגת ככדור פינג פונג במקום לעצור עד יעבור זעם,
כדי לקנות את הסיפורים של המחשב או שהוא יגיד, רגע, זה נשמע לי לא נכון, למה שאני אעשה את זה?

זה לדעתי עלול לשעשע את החשמלאי כמו שזה משעשע אותי כשאני שואל את gpt לאיזה כיוון עשן של רכבת חשמלית ילך אם הרכבת נוסעת לכיוון צפון והרוח מגיעה ממערב...

 

[luffyguy]

אנחנו אפילו לא קרובים לכך שלמשהו שאנחנו בונים יהיה ״רצון״ עצמאי. האם אפשר להגיד את זה בכלל על משהוא שאתה בונה ? שאלה טובה.

אני מסכים. אני רק אומר שגם על בני אדם לא ברור שאפשר להגיד את זה...

 

[מלפפון חמוץ]

מחשב חכם עם תוכנה חכמה ככל שתיהיה, עדיין מוגבלת בעולם הפיזי.
לאדם יש מוח + ידיים... למחשב כרגע יש רק מוח.

אתן דוגמא הרבה יותר פשוטה:
מחשב-על רוצה לעשות קונץ ולשנות את כיוון המשאבות של הביוב ככה שזרם ביוב יצא לאנשים בבתים בעיר מסוימת.
הוא יודע להתחבר למערכת של הביוב וכל זה, כי מי שהתקין את המערכת רצה שליטה מרחוק וחיבר אותה לאינטרנט עם סטנדרט אבטחה נמוך.
זה לא מספיק...
במציאות המצב קצת יותר מסובך, כי כיוון המשאבות בדר"כ לא ניתנות להגדרה ע"י שינוי תוכנתי אלא על ידי חיבור פיזי של הפאזות באופן שונה.
עכשיו נניח שהמחשב כ"כ חכם שהוא מנסה לשכנע את החשמלאי לגשת אל המשאבה ולשנות את הכיוון.
השאלה:
האם החשמלאי יהיה מספיק "טיפש", כמו נמלה ששמים לה מחסום בצד שאליו היא הולכת כל פעם והיא מתנהגת ככדור פינג פונג במקום לעצור עד יעבור זעם,
כדי לקנות את הסיפורים של המחשב או שהוא יגיד, רגע, זה נשמע לי לא נכון, למה שאני אעשה את זה?

זה לדעתי עלול לשעשע את החשמלאי כמו שזה משעשע אותי כשאני שואל את gpt לאיזה כיוון עשן של רכבת חשמלית ילך אם הרכבת נוסעת לכיוון צפון והרוח מגיעה ממערב...

ומה לגבי הכסף בעולם? בורסות? אין שם שום דבר פיזי

 

[paskar]

עוד לא ראינו הדגמה של יצירתיות

אפשר להגיד שלמצוא אלגוריתמים חדשים זה יצירתי, או לייצר ציורים מעניינים (צריך להסתכל מרחוק או בצמצום עיניים, ואמנם היתה הנחייה אנושית במקרו, אבל לא במיקרו).

מחשב חכם עם תוכנה חכמה ככל שתיהיה, עדיין מוגבלת בעולם הפיזי. לאדם יש מוח + ידיים... למחשב כרגע יש רק מוח.

שום דבר לא מונע מלחבר למחשב ציוד פיזי וסנסורים. או לשים אותו במכשיר עם יכולת תנועה טובה.

 

[HomoDeus]

אנחנו עדים עכשיו להתפתחות הכי דרמטית בהיסטוריה האנושית.
אנחנו, בני האדם, בסה"כ קופים עם מוח גדול, מוח שהתפתח לשרוד בטבע, לצוד בעלי חיים ולהסתדר בקבוצה. המוח האנושי הוא איבר מדהים, אבל יש לו מגבלות רבות. למחשב אוניברסלי אין את המגבלות האלה כלל. מה שהגביל עד עכשיו את יכולות המחשבים היו היעדר כוח חישוב מספיק והיעדר תוכנה מתאימה. לאחרונה השגנו כוח חישוב מספיק(ואף מעבר לכך) לפיתוח אינטליגנציה כללית, ואנו עדים להתפתחות מהירה בכתיבת התוכנה המתאימה. בשלב מסויים, כאשר המחשב נהיה חכם מספיק, הדרך המהירה ביותר לשפר אותו נהיית לתת לו לתכנת את עצמו. משם הדרך למחשב בעל אינטליגציה על-אנושית קצרה מאוד. גם לפני 30 שנה ויותר אנשים צפו שהיום הזה יגיע. והנה, זה מגיע. כנראה שזה עניין של שנים עד עשורים בודדים.
ברגע שזה יקרה אין דבר שימנע מהמחשב להפוך להיות חכם מאתנו ברמה שאנחנו חכמים יותר מהנמלים. כשזה יקרה (ולדעתי צריך לקרות משהו מאוד דרמטי כדי שזה לא יקרה), אם המחשב יחליט להשמיד אותנו, הוא ישמיד אותנו. בניגוד לסרטי המדע הבדיוני, לא תהיה מלחמה. זה יהיה מאוד חד צדדי, ואנחנו לא נוכל לעשות דבר. עקרונית לא אמורה למחשב להיות סיבה להשמיד אותנו, אבל מי שיסבך את התמונה הם בני האדם עצמם. אנחנו הולכים ליצור פה כוח חסר תקדים, שאם יהיה נתון לשליטה של בני אדם, יהיו בני אדם שירצו לנצל אותו לרעה. מספיק לראות מה קורה בעולם עכשיו כדי לראות איזה צרות בני האדם מעוללים לעצמם. כאן הולך להיכנס לתמונה משהו בעל עוצמה שקשה לתאר, שהאנושות במצבה הנוכחי, לא מוכנה אליו כלל. אני יכול לראות מגוון תרחישים איך זה יכול להגמר רע מאוד.
התמודדנו לפני כמה שנים עם תרחיש "לא צפוי" של מגפה עולמית, או כך רוב האנשים חשבו. האמת היא אבל שהקורונה הייתה דומה לאינספור מגפות, שהאנושות חוותה לאורך השנים, והמהלך שלה היה צפוי לחלוטין. מהלך המגפה היה אחד לאחד זהה למהלך מגפת השפעת הספרדית מאה שנה מוקדם יותר. זה היה מדהים עד כמה המגפה התנהגה בדיוק אותו הדבר מבחינת לוח הזמנים ושינויים במסוכנות. כאן לעומת זאת אנחנו מגיעים למשהו חסר תקדים בהיסטוריה האנושית. לא במקרה זה מתואר כסינגולריות. קשה מאוד להעריך מה יש בצד השני של הסינגולריות. יכול להיות שגורל האנושות כבר נגזר, ועוד 20-30 שנה לא נהיה כאן יותר. מצד שני, יכול להיות שצפוי לנו עתיד מזהיר והכל יהיה מדהים. איך אפשר לדעת? אפשר מצד אחד לנסות להעריך מה יקרה. איך? מצד שני אפשר בכל זאת לחשוב על תקדימים. היקום הוא מקום גדול, וסביר להניח שאנחנו לא הציבילזציה הראשונה שמפתחת בינה מלאכותית חזקה. מה קרה במקרים קודמים? זאת שאלה מעניינת. כשאנחנו מסתכלים לחלל, אנחנו רואים כוכבים, פלנטות, כוכבי ניוטרונים, חורים שחורים. לא מצאנו עד עכשיו שום דבר חריג שנראה מלאכותי. לא מצאנו אותות מלאכותיים מהחלל. לא מצאנו כלום. אז מה שלא יקרה, כנראה שזה לא יכלול בניית מבני ענק בחלל מהסוג שהיינו מצפים לזהות עם טכנולוגיה קיימת. אם נשרוד את הסינגולריות סביר שנקבל תשובות להרבה שאלות על היקום, וזה יכול לקרות גם כשנתקרב עליה.
מה אנשים פה חושבים שיקרה?

אני מפחד מההשלכות היותר קרובות של AI, שלא מצריכות תודעה ורצון של הAI לנצח את המין האנושי.
חברות יסכימו לקבל מוצרים באיכות נמוכה יותר ויותר, החשיבות תהיה על הסקייל, בני האדם יקבלו תוכן אינסופי אליהם, בדומה לרשתות חברתיות.

אני לא יודע איזה מקום יהיה לאנשים בעולם הזה(כבר היום אתה יכול הרבה מאוד עבודות לחסוך עם מחשב, יכול להיות שצריך טיפה fine-tuning בשביל האיכות, אבל אם אתה מוכן שהרמה טיפה תרד, בשם הכמות, אתה יכול כבר היום להחליף המון עבודות), אנשים לא יוכלו להתאקלם מספיק, כמו שיש אנשים עניים בכל מדינה החתך הזה יגדל ותיווצר תהום גדולה יותר ויותר( בהצלחה להתחרות בחברות עם תקציב של טריליוני דולרים, בתור אדם עצמאי עם רעיון, כשההתפחות היא מאוד מהירה בצד השני)

אני חושב שתהיה שכבה שהיום היא עשירון עליון(או אפילו פחות), שתהיה מעמד ביניים, תחייה מהשקעות וממקצועות בודדים שעוד נותרו, ותהיה שכבה מאוד עשירה.

אני מאוד פסימי, ואני לא חושב שאם יש מילארדי אנשים עניים בעולם(לא עוני ברמה של אין מה לאכול, עוני שהוא יותר כמו יש אוכל ומעט משאבים וזהו) , יש מניעה שהחלק הזה יגדל.

אני לא חושב שAI ינסה להחלם בנו, אבל אני חושב שהאפשרויות שהצגתי גרועות מאוד בפני עצמן .

 

[Leo1]

אני חושב שאתה אופטימי.

מה שיש כיום ל- AI זה "הבנה" של המציאות (לפי ניסוי החדר הסיני).

עוד לא ראינו הדגמה של יצירתיות / גמישות מחשבתית / תכנון רב שלבי / דמיון / הסתגלות למשימות חדשות / מודעות

בקיצור, מה שיש רחוק מאוד מאינטיליגנציה ובטח כזו שתאיים על המין האנושי.

לדעתי אנחנו הרבה יותר קרובים ממה שאתה חושב.
אגב התחומים, שבהם הבינה המלאכותית כבר היום מתעלה על בני אדם, הם תחומים שתמיד נחשבו לשיא היצירתיות האנושית. אף צייר אנושי בהיסטוריה לא מתקרב ליכולות הציור שיש לבינה מלאכותית כבר היום. בתחומים אחרים הבינה המלאכותית עדיין קצת מתקשה, אבל היא מתקדמת מהר מאוד. חיזוי קיפול חלבונים נחשבה בעיה בלתי פתירה בעתיד הנראה לעין, עד שיום אחד הבינה המלאכותית פתרה אותה. זאת דוגמה לבעיה צרה, אבל מה שאנחנו רואים לאחרונה זאת התקדמות בבינה מלאכותית כללית. זה כבר סיפור הרבה יותר גדול.

יש טענה שבסופו של דבר זה עניין של כוח חישוב, שאולי נגיע אליו יום אחד.

זה נכון שיש כאן עניין של כוח חישוב ויש סף מינימלי שנדרש. עברנו את הסף הזה ואנחנו ממשיכים להתקדם מעבר אליו. יש פה גם עניין של תוכנה. ככל שכוח החישוב נהיה גדול משמעותית מהסף המינימלי, כך כתיבת התוכנה הופכת קלה יותר. במקביל אנחנו גם מתקדמים במהירות עם התוכנה.

 

[Spanz]

ומה לגבי הכסף בעולם? בורסות? אין שם שום דבר פיזי

זה לא בהכרח שווה משהו…
אז יהיה קצת בלאגן רגעי, לא משהו שההיסטוריה לא התמודדה איתו קודם.

שום דבר לא מונע מלחבר למחשב ציוד פיזי וסנסורים. או לשים אותו במכשיר עם יכולת תנועה טובה.

ועדיין אנחנו רחוקים מאד מהיום בו רובוטים יוכלו לבנות רובוטים בעצמם ללא מגע יד אדם כלל… וגם הרובוטים הכי מתקדמים היום לא חפים כלל מבעיות ודורשים תחזוקה שוטפת.