אנחנו עדים עכשיו להתפתחות הכי דרמטית בהיסטוריה האנושית.
אנחנו, בני האדם, בסה"כ קופים עם מוח גדול, מוח שהתפתח לשרוד בטבע, לצוד בעלי חיים ולהסתדר בקבוצה. המוח האנושי הוא איבר מדהים, אבל יש לו מגבלות רבות. למחשב אוניברסלי אין את המגבלות האלה כלל. מה שהגביל עד עכשיו את יכולות המחשבים היו היעדר כוח חישוב מספיק והיעדר תוכנה מתאימה. לאחרונה השגנו כוח חישוב מספיק(ואף מעבר לכך) לפיתוח אינטליגנציה כללית, ואנו עדים להתפתחות מהירה בכתיבת התוכנה המתאימה. בשלב מסויים, כאשר המחשב נהיה חכם מספיק, הדרך המהירה ביותר לשפר אותו נהיית לתת לו לתכנת את עצמו. משם הדרך למחשב בעל אינטליגציה על-אנושית קצרה מאוד. גם לפני 30 שנה ויותר אנשים צפו שהיום הזה יגיע. והנה, זה מגיע. כנראה שזה עניין של שנים עד עשורים בודדים.
ברגע שזה יקרה אין דבר שימנע מהמחשב להפוך להיות חכם מאתנו ברמה שאנחנו חכמים יותר מהנמלים. כשזה יקרה (ולדעתי צריך לקרות משהו מאוד דרמטי כדי שזה לא יקרה), אם המחשב יחליט להשמיד אותנו, הוא ישמיד אותנו. בניגוד לסרטי המדע הבדיוני, לא תהיה מלחמה. זה יהיה מאוד חד צדדי, ואנחנו לא נוכל לעשות דבר. עקרונית לא אמורה למחשב להיות סיבה להשמיד אותנו, אבל מי שיסבך את התמונה הם בני האדם עצמם. אנחנו הולכים ליצור פה כוח חסר תקדים, שאם יהיה נתון לשליטה של בני אדם, יהיו בני אדם שירצו לנצל אותו לרעה. מספיק לראות מה קורה בעולם עכשיו כדי לראות איזה צרות בני האדם מעוללים לעצמם. כאן הולך להיכנס לתמונה משהו בעל עוצמה שקשה לתאר, שהאנושות במצבה הנוכחי, לא מוכנה אליו כלל. אני יכול לראות מגוון תרחישים איך זה יכול להגמר רע מאוד.
התמודדנו לפני כמה שנים עם תרחיש "לא צפוי" של מגפה עולמית, או כך רוב האנשים חשבו. האמת היא אבל שהקורונה הייתה דומה לאינספור מגפות, שהאנושות חוותה לאורך השנים, והמהלך שלה היה צפוי לחלוטין. מהלך המגפה היה אחד לאחד זהה למהלך מגפת השפעת הספרדית מאה שנה מוקדם יותר. זה היה מדהים עד כמה המגפה התנהגה בדיוק אותו הדבר מבחינת לוח הזמנים ושינויים במסוכנות. כאן לעומת זאת אנחנו מגיעים למשהו חסר תקדים בהיסטוריה האנושית. לא במקרה זה מתואר כסינגולריות. קשה מאוד להעריך מה יש בצד השני של הסינגולריות. יכול להיות שגורל האנושות כבר נגזר, ועוד 20-30 שנה לא נהיה כאן יותר. מצד שני, יכול להיות שצפוי לנו עתיד מזהיר והכל יהיה מדהים. איך אפשר לדעת? אפשר מצד אחד לנסות להעריך מה יקרה. איך? מצד שני אפשר בכל זאת לחשוב על תקדימים. היקום הוא מקום גדול, וסביר להניח שאנחנו לא הציבילזציה הראשונה שמפתחת בינה מלאכותית חזקה. מה קרה במקרים קודמים? זאת שאלה מעניינת. כשאנחנו מסתכלים לחלל, אנחנו רואים כוכבים, פלנטות, כוכבי ניוטרונים, חורים שחורים. לא מצאנו עד עכשיו שום דבר חריג שנראה מלאכותי. לא מצאנו אותות מלאכותיים מהחלל. לא מצאנו כלום. אז מה שלא יקרה, כנראה שזה לא יכלול בניית מבני ענק בחלל מהסוג שהיינו מצפים לזהות עם טכנולוגיה קיימת. אם נשרוד את הסינגולריות סביר שנקבל תשובות להרבה שאלות על היקום, וזה יכול לקרות גם כשנתקרב עליה.
מה אנשים פה חושבים שיקרה?
