על סף סינגולריות

[קפיטליסט_מרושע]

תחשוב מחוץ לקופסה, כאילו אתה אינטיליגנציית על
לדוגמה - כל מה שצריך זה לסנתז וירוס (ביולוגי) באיזשהי מעבדה ביולוגית איפשהו, שיהיה מספיק שקט ככה שהוא ידביק את הרוב המוחץ של האנושות, ומספיק קטלני אחרי זמן מסויים (שנה?) ככה שהסיכוי להתאושש ממנו הוא אפסי.
אפילו יותר טוב, תגרום לו להתעורר כתוצאה מסיגנל רדיו \ שמע מסויים, שתוכל לשדר ברחבי העולם (דרך לווינים \ אינטרנט \ רמקולים \ ...)
כל מה שצריך זה לשחרר אותו לעולם, בטעות, ואחרי שנה - סלמאת.
וזה האינטיליגנציה שלי, המאוד מאוד לא על-אנושית.

 

[קפה שחור]

נראה לי שרוב האנשים פה לא מבינים את גודל האירוע.
תחשבו על תוכנה, שיש לה את כל הידע של כל המהנדסים, המדענים והאנשים שמתמחים במניפולציה של בני אדם בעולם, היא חכמה פי מיליארד מכל בן אדם, ויש לה גם גישה לכל דבר פיזי, שמחובר לאינטרנט.

מבין אישית את האירוע, אין באמת אירוע
החיבור הזה לאינטרנט הוא כשמו כן הוא, חיבור
פשוט מבצעים את הפעולה ההפוכה

 

[איניגו מונטויה]

כל מה שצריך זה לסנתז וירוס (ביולוגי) באיזשהי מעבדה ביולוגית איפשהו, שיהיה מספיק שקט ככה שהוא ידביק את הרוב המוחץ של האנושות, ומספיק קטלני אחרי זמן מסויים (שנה?) ככה שהסיכוי להתאושש ממנו הוא אפסי.
אפילו יותר טוב, תגרום לו להתעורר כתוצאה מסיגנל רדיו \ שמע מסויים, שתוכל לשדר ברחבי העולם (דרך לווינים \ אינטרנט \ רמקולים \ ...)
כל מה שצריך זה לשחרר אותו לעולם, בטעות, ואחרי שנה - סלמאת.
וזה האינטיליגנציה שלי, המאוד מאוד לא על-אנושית.

יופי, ועכשיו העלית את זה לרשת,
כדי שהבינה המלאכותית תקבל רעיונות

 

[Roi]

זה מזכיר לי את הטיעון הדתי הקלאסי שאלוהים זה נשגב מבינתנו ואנחנו טיפשים ולא מבינים כלום...

אשמח אם תתן לי דוגמא למצב היפוטתי בו זה מאוחר מידי.

להבנתי, הקפיצה ביכולות האינטליגנציה לרמה של סינגולריות היא אקספוננציאלית אם וכאשר זה יקרה לא יעזור לך לנתק את הרשת, זה בלתי אפשרי, היא תהיה בכל מקום כבר, לכן אמרתי שזה יהיה מאוחר מדי.

 

[Leo1]

להבנתי, הקפיצה ביכולות האינטליגנציה לרמה של סינגולריות היא אקספוננציאלית אם וכאשר זה יקרה לא יעזור לך לנתק את הרשת, זה בלתי אפשרי, היא תהיה בכל מקום כבר, לכן אמרתי שזה יהיה מאוחר מדי.

אכן. ומעבר לזה, איך תדע מתי לנתק את הרשת? מפותחים עכשיו מודלים של בינה מלאכותית בכל מני מקומות בעולם. איך נדע אם אחד מהם חוצה את הסף? מה אם זה כבר קרה? יש תמריצים כלכליים ואחרים לפתח מודלים חזקים ככל האפשר מהר ככל האפשר. זה רק הולך ומאיץ.

 

[Leo1]

מחקר שמצא ש-GPT 4 יודע לחפש חולשות אבטחה ולפרוץ אתרים.
זאת רק טעימה. הדברים האלה הולכים להיות הרבה הרבה יותר חכמים.

 

[oferM]

אני לא... לכן אמרתי "במקסימום".

מחזק.
זה מטריף לחשוב על מנוע למשל.. אנשים בדר"כ מתרשמים ממפעל ההרכבה של המנועים, בו יש פסי ייצור ממכונים ואוטומתיים/אוטומתיים למחצה ארוכים כאורך הגלות ומורכבים כאורך ההיסטוריה. אבל רק חלק בודד במנוע, למשל בוכנה, בעצמו מיוצר על ידי מפעל גדול לא פחות ממפעל ההרכבה של המנוע, והחומרי גלם שנכנסים לשם מגיעים ממפעלים אחרים, וכן הלאה וכן הלאה וכן הלאה... ולכל זה צריך אנשים שיתפעלו את האירוע, וצריך אנשים שיתחזקו אנשים (אוכל, רפואה, שירותים אחרים). זה אין סופי. זה כולל בתוכו את רוב הפעילות האנושית.

צודק.

ברמת העיקרון יש כבר "ארגונים "משותפים שעובדים ללא מגע יד אדם, עוסקים במידע , מחוברים אחד לשני בAPI .

אבל כן כל עוד המשאיות לא יהיו אוטומטיות ומחסנאים , זה ידרוש מגע יד אדם. אבל אנחנו לא ככ רחוקים ממשאיות שיודעת לעקוב אחרי משאית הנהוגה בידי אדם, כך שהתפוקה של נהג אחד, תהיה נגיד 3x-4x .

ומחסנים אוטומטים זה תחום שהתפתח יפה מאוד.

השאלה רק מה יקרה בממשקים, האם יהיה אדם שיקבל את הסחורה או מכונה?

 

[אנא-אל]

האמת היא שזה בדיוק הפוך. גם המוח האנושי הוא סוג של מחשב. הוא עובד באותו היקום על פי אותם חוקי הפיזיקה. אם את טוענת שמחשב לא יכול לעשות משהו, את בעצם טוענת שהמוח האנושי לא יכול לעשות את הדבר הזה, כי הוא מקרה פרטי של מחשב. מה שאמרתי הוא עם כוכבית, כי המוח האנושי הוא לא מחשב אוניברסלי. הוא סוג של מחשב מוגבל, עם יכולות מסויימות של מחשב, אבל בלי יכולות אחרות. לעומת זאת המחשב, שעליו כתבת את הפוסט הזה(גם אם זה רק סמארטפון), הוא מחשב אוניברסלי. בהינתן מספיק כוח חישוב, מספיק זיכרון ותוכנה מתאימה הוא יכול לעשות כל מה שהמוח האנושי יכול לעשות, והרבה דברים שהמוח האנושי בחיים לא יוכל לעשות. מה שחסר בשביל זה זה כאמור עוד כוח חישוב ותוכנה מתאימה. מבחינת קצב עיבוד מידע טורי, מחשב מודרני מהיר פי מיליונים מהמוח האנושי. בעיבוד מידע מקבילי למוח האנושי יש יתרון גם כי יש לו כוח חישוב מקבילי גבוה, ובעיקר כי בניגוד למחשב אוניברסלי מודרני, בו יש הפרדה בין המעבד לזיכרון, שמובילה לצוור בקבוק בקצב העברת נתונים, במוח החישוב והזיכרון מאוחדים. זה עוזר מאוד לכוח חישוב, אבל מגביל מאוד את הגמישות, כי קשה לתכנת ארכיטקטורה כזאת, ואי אפשר באמת לתכנת את המוח האנושי. מחשב דיגיטלי מודרני מקריב כוח חישוב לטובת גמישות. יש לו יכולת לתכנת את עצמו, מה שלמוח אין. אין גם שום מניעה לבנות מספר מעבדים בארכיטקטורות שונות, שינצלו כל אחד אחד את היתרון שלו ויעבדו יחד. גם זה דבר שהמוח לא יכול לעשות.
להערכתי כיום יש כבר יותר ממספיק כוח חישוב דיגיטלי בעולם כדי לבנות אינליגציאת על, שתשאיר את המוח האנושי הרחק מאחור. כוח החישוב גם ממשיך לגדול, מה שהופך את המשימה לקלה יותר.

מסכימה שהמוח הוא סוג של מחשב.
מה הכוונה מחשב אוניברסלי?
מה מחשב יכול לעשות שמוח אנושי בפוטנציאל שלו לא יכול?
מה זה חישוב מקבילי או טורי? (לא חייב לטרוח לענות אם זה מסובך)
וגם אם המוח הוא מחשב למה אי אפשר לתכנת אותו? המחשבות שלנו זה קודים

מחשב מדוייק, חישוב הוצ הכנס הייתי מעדיפה אקסל במקום לבזבז אנרגייה לעשות את זה עם הראש.
לכתוב שירה, להלחין, להיות חבר, להביע עמדה פוליטית, לא הייתי מצפה או סומכת על מחשב. גם אם הוא יכול להיות יצירתי, מאד יצירתי, אין לו נשמה וזהו.

מחשב עושה דברים נפלאים, תודה לאל שיש.

אבל להלל את כוח החישוב שלו, ולהגיד שהוא יותר אינטליגנטי
זה כמו להלל את הכוח הפיזי של פיל או קרנף ולהסיק מזה שהם ישלטו באדם

 

[סולידי]

לפי ההגדרה הקלאסית ליצור חי יש בין היתר יכולת רביה.

גם צמחים מתרבים. מבחינתי, ואני יודע שזו לא ההגדרה הביולוגית המקובלת, ההבדל בין חי לצומח הוא קיום מערכת חשמלית עם בקרה מרכזית.

נראה לי שרוב האנשים פה לא מבינים את גודל האירוע.
תחשבו על תוכנה, שיש לה את כל הידע של כל המהנדסים, המדענים והאנשים שמתמחים במניפולציה של בני אדם בעולם, היא חכמה פי מיליארד מכל בן אדם, ויש לה גם גישה לכל דבר פיזי, שמחובר לאינטרנט.

אני חושב שזו הנקודה. תוכנה מפותחת כולל גישה לאמצעים פיזים.

רק אומר שכרגע ה-AI הוא מודל שפתי מפותח שיודע לנהל שיחה ולתרגם בין שפות, לדוגמא, מאנגלית לקוד תוכנה או מאנגלית לסרטון.
היכולות הלוגיות שלו קלושות, אבל דומות לאלה של חלק גדול מהאוכלוסיה האנושית. כאשר ה-AI יתפתח גם כמודל לוגי ולא רק כמודל שפתי, הוא כנראה ידמה לחלק היותר מפותח באוכלוסיה, ואז נאלץ להתמודד עם מה שאתה חוזה.

 

[Camel]

הסיכון והסכנה הגדולה היא במשרות שיהפכו להיות לא רלבנטיות יותר.
כל מי שמשיג שליטה ביכולת הזו שתיארת לא יעסוק בהשמדת האנושות אלא לייצר לעצמו רווח(כי כסף הוא המימד שבו שולטים באנשים ולאו דווקא באיומים).
והטענה שיהיה לנו רובוטים שצדים אותנו היא מגוכחת, זאת לא הסכנה האמיתית שנשקפת מהAI אלא האבטלה וייתור הכוח העובד.

 

[Spanz]

גם צמחים מתרבים. מבחינתי, ואני יודע שזו לא ההגדרה הביולוגית המקובלת,

דווקא נראה שזו כן ההגדרה הביולוגית המקובלת.
יש בלבול בעברית בין בעל חיים לבין יצור חי.
יצור חי כולל בתוכו את הצומח, הפטריות ובעלי החיים.

ההבדל בין חי לצומח הוא קיום מערכת חשמלית עם בקרה מרכזית.

פה זה כבר נכנס לתחום אחר.
שניהם, גם בעל חיים וגם צומח, חיים.
אך אם אני מפרש אותך נכון קיומה של מערכת חשמלית עם בקרה מרכזית משפיעה בעיקר על "רמת התודעה" של היצור.
לא בהכרח על העניין אם הוא חי או לא.

 

[Spanz]

ברמת העיקרון יש כבר "ארגונים "משותפים שעובדים ללא מגע יד אדם, עוסקים במידע , מחוברים אחד לשני בAPI .

אבל כן כל עוד המשאיות לא יהיו אוטומטיות ומחסנאים , זה ידרוש מגע יד אדם. אבל אנחנו לא ככ רחוקים ממשאיות שיודעת לעקוב אחרי משאית הנהוגה בידי אדם, כך שהתפוקה של נהג אחד, תהיה נגיד 3x-4x .

ומחסנים אוטומטים זה תחום שהתפתח יפה מאוד.

שוב,
כל המפעלים והמחסנים הם לא יחידה בודדת שמכלכלת את עצמה אלא קשורה לרשת ענפה מאד של תשתיות וספקים.
ליצרנית רכב ממוצעת יש רשימת ספקים חמש-ספרתית,
ולספקים עצמם יש רשימה ארוכה משלהם...
וכל זה לא מתקיים ללא תשתיות בסיסיות של תחבורה, חשמל, מים, תקשורת ועוד.

היא תהיה בכל מקום כבר, לכן אמרתי שזה יהיה מאוחר מדי.

נדמה לי שאתה רואה את העולם כתלוי בקיומו של רשת האינטרנט שכבר מחוברת ונמצאת בכל מקום.
לשמחתי, לא כך הדברים עדיין.
ובאיך שאני חווה את החיים - אנחנו אפילו די רחוקים מזה.

 

[paskar]

הסכנה האמיתית שנשקפת מהAI אלא האבטלה וייתור הכוח העובד.

אם הכוונה היא לגבי השפעה חומרית...
ייצור אוטומטי יותר הוא זול יותר. מספיק אוטומציה תוריד את העלות לכמעט 0 בדברים שחומרי הגלם שלהם נפוצים וההשפעות הסביבתיות שלהם קטנות.
במקרה כזה אפשר פשוט לחלק בחינם, או כמעט חינם פלוס מודל כלשהו של הכנסה אוניברסלית.
כבר עכשיו אוכלוסיות עניות מכוסות לפחות חלקית ע"י מערכות רווחה.

 

[Camel]

אם הכוונה היא לגבי השפעה חומרית...
ייצור אוטומטי יותר הוא זול יותר. מספיק אוטומציה תוריד את העלות לכמעט 0 בדברים שחומרי הגלם שלהם נפוצים וההשפעות הסביבתיות שלהם קטנות.
במקרה כזה אפשר פשוט לחלק בחינם, או כמעט חינם פלוס מודל כלשהו של הכנסה אוניברסלית.
כבר עכשיו אוכלוסיות עניות מכוסות לפחות חלקית ע"י מערכות רווחה.

אמת, אבל אני התכוונתי לרמה המיידית יותר של הטכנולוגיה.
תחשוב כמה תפקידים המעבר לAI יכול לייתר לפני שאתה חושב על אוטופיה שבה כולם חיים על הכנסה אוניברסאלית (שנשמעת ממש משעממת צריך להגיד, וצריך להגיד את זה ביושר).
אתה גם היום חיי בעולם שהוא די קרוב לזה, לפני 100 שנים החשש העיקרי שלך היה מאיפה להשיג אוכל שתוכל ללכת לישון לא רעב.
היום החשש העיקרי שלך זה אם תצליח ללכת לחופשת הסקיי בשוויץ או לדחות לשנה הבאה.
עלוץ המזון והמוצרים יירדו פלאים מאז המהפכה התעשייתית והחקלאית.
כעת ישנו שיפט נוסף(שהוא חלק מהמהפכה התעשייתית) מבחינת הAI והוא עשוי לייתר הרבה תארים אקדמיים שנרכשו.

 

[doc29]

שיש לה את כל הידע של כל המהנדסים, המדענים והאנשים שמתמחים במניפולציה של בני אדם בעולם, היא חכמה פי מיליארד מכל בן אדם, ויש לה גם גישה לכל דבר פיזי, שמחובר לאינטרנט.

את כל (?) הידע עד אותה נקודת זמן, אבל לא בהכרח את היכולת ליישם אותו באופן שימושי ועוד פחות מזה- באופן יצירתי.
אם תאסוף את טובי המהנדסים בעולם, כנראה יוכלו לייצר פתרונות חדשים. אני לא מתחום המחשבים אבל אני לא משוכנע של-AI יש כרגע יצירתיות בפתרון בעיות. מהשימוש שלי ב-CHAT GPT זה לא נראה ככה כרגע.

 

[שמירצוצקה]

דיון מרתק, תודה. לדעתי האישית בזמן הקרוב לא נראה סינגולריות טכנולוגית רק בגלל המגבלה של כוח חישוב זמין.
אבל אני אופטימי ומתרגש מכיוון שיש סיכוי שעוד בחיי אני אמור לפגוש בינה לא ביולוגית.

 

[oferM]

את כל (?) הידע עד אותה נקודת זמן, אבל לא בהכרח את היכולת ליישם אותו באופן שימושי ועוד פחות מזה- באופן יצירתי.
אם תאסוף את טובי המהנדסים בעולם, כנראה יוכלו לייצר פתרונות חדשים. אני לא מתחום המחשבים אבל אני לא משוכנע של-AI יש כרגע יצירתיות בפתרון בעיות. מהשימוש שלי ב-CHAT GPT זה לא נראה ככה כרגע.

לגבי יצירתיות יש לנו את הבינה המלאכותית שיוצרת תמונות. עד לפני 5 שנים אם אדם היה יוצא תמונות כאלו זה היה נחשב למאוד יצירתי.

 

[oferM]

אמת, אבל אני התכוונתי לרמה המיידית יותר של הטכנולוגיה.
תחשוב כמה תפקידים המעבר לAI יכול לייתר לפני שאתה חושב על אוטופיה שבה כולם חיים על הכנסה אוניברסאלית (שנשמעת ממש משעממת צריך להגיד, וצריך להגיד את זה ביושר).
אתה גם היום חיי בעולם שהוא די קרוב לזה, לפני 100 שנים החשש העיקרי שלך היה מאיפה להשיג אוכל שתוכל ללכת לישון לא רעב.
היום החשש העיקרי שלך זה אם תצליח ללכת לחופשת הסקיי בשוויץ או לדחות לשנה הבאה.
עלוץ המזון והמוצרים יירדו פלאים מאז המהפכה התעשייתית והחקלאית.
כעת ישנו שיפט נוסף(שהוא חלק מהמהפכה התעשייתית) מבחינת הAI והוא עשוי לייתר הרבה תארים אקדמיים שנרכשו.

החשש האמיתי זה לא חופשת סקי בשוויץ. זה:
-לגור בשכונה שהילדים שלך מרגישים בה בטוחים, ואיזה שהוא בטחון ויציבות מפני מחירי הדירות
-לשלם על בריאות ברמה גבוהה(רוב טכנולוגיות הבריאות מוגנות בפטנט או ביתרונות תחרותיים חזקים אחרים , ויש גם כוח אדם יקר, הרבה מזה לא הולך להשתנות מכל מיני סיבות)
-בטחון פנים וצבא(לא בטוח בכלל שיוזלו באופן משמעותי)
-גם מחירי המזון הם לא לגמרי טריוויאלים, ראה יוקר המחייה
-החוסר שיוויון האדיר שיווצר וההשפעה על כל מיני תהליכים חברתיים

 

[doc29]

לגבי יצירתיות יש לנו את הבינה המלאכותית שיוצרת תמונות. עד לפני 5 שנים אם אדם היה יוצא תמונות כאלו זה היה נחשב למאוד יצירתי.

גם כאן, ראיתי את התוצאות ואולי אני לא יודע להקליד prompt מספיק טוב- אבל לא התרשמתי. להיפך- נורא ברור שזה לא אנושי.

 

[oferM]

שוב,
כל המפעלים והמחסנים הם לא יחידה בודדת שמכלכלת את עצמה אלא קשורה לרשת ענפה מאד של תשתיות וספקים.
ליצרנית רכב ממוצעת יש רשימת ספקים חמש-ספרתית,
ולספקים עצמם יש רשימה ארוכה משלהם...
וכל זה לא מתקיים ללא תשתיות בסיסיות של תחבורה, חשמל, מים, תקשורת ועוד.


נדמה לי שאתה רואה את העולם כתלוי בקיומו של רשת האינטרנט שכבר מחוברת ונמצאת בכל מקום.
לשמחתי, לא כך הדברים עדיין.
ובאיך שאני חווה את החיים - אנחנו אפילו די רחוקים מזה.

זה שיש עשרות אלפי ספקים פחות משנה." מספיק" שיפתחו רובוט דמוי אדם עם יכולות תנועה וחשיבה של האדם הממוצע, וכל המפעלים יהפכו לאוטומטיים. ובאופן כללי , טכנולוגיות כלליות מייעלות את כל החברות.