זה היה נחמד לדון קצת בהתחלה על השאלה אם זה הולך לקרות ולמה. כתבנו על זה מספיק וזה סתם חוזר על עצמו. לי מרגיש שהחלק הזה של הדיון מיצא את עצמו כי המסקנה ברורה לי, וברור לי שגם לאחרים היא תהפוך לברורה תוך שנים ספורות לכל היותר, כשהם יראו איך זה הולך להתפתח. לכן זה כבר לא מעניין לדון על זה. מה שכן מעניין לדון עליו הוא שבהינתן שהבינה המלאכותית תהפוך לחכמה בהרבה מאיתנו, איך זה הולך להתפתח גם מבחינת התהליך וגם מבחינת התוצאה. כאן יש הרבה שאני לא יודע לחזות כרגע.
-
התכנים בפורום אינם מהווים ייעוץ מקצועי מכל סוג, לרבות ייעוץ השקעות המתחשב בצרכיו המיוחדים של כל אדם.השימוש בפורום כפוף לתנאי השימוש. עצם השימוש בפורום מהווה הסכמה מלאה לתנאים אלה.
על סף סינגולריות
- פותח הנושא Leo1
- פורסם בתאריך
oferM
משתמש בכיר
- הצטרף ב
- 26/12/17
- הודעות
- 2,384
- דירוג
- 1,689
גם לפני מאה שנה היה כל מה שדרוש לקיום האדם. ועדיין העולם השתנה מאוד.
זה אולי נכון לגבי מה שמחלקות השיווק החליטו בימינו לקרוא לו "AI", אבל AI אמיתי יהיה שינוי משמעותי.
זה גרוע בהרבה. לנו אין באמת סיבה לדרוך על נמלים. לרוב הנמלים לא מזיקות. עכשיו תאר לעצמך שיש נמלים שכל הזמן מנסות לשלוט לך במוח ומפעילות אותך על משימות שנוגדות את הערכים שהן עצמן הסבירו לך שהם הערכים שלהם. הן משתמשות בך כל הזמן כדי לשעבד נמלים אחרות. הנמלים האחרות גם מגדלות בני אדם כמוך ושולחות אותם במשימה להרוג אותך ולשעבד את הנמלים שמנסות להפעיל אותך. ובמקרה שלך אתה יכול בהחלטה של רגע לחסל את כל הנמלים ולהשתחרר מהשטויות שלהן. היית עושה את זה?
וגם זה לא מתאר את גודל הבעיה כי מחשב AI יכול לעשות דברים שבן אדם לא יכול. מחשב יכול לשפר את עצמו ולהפוך עצמו לחכם יותר ויותר.
אני חושב שניתן די בקלות להגיע למחשבים שחכמים מאיתנו ברמה שאנחנו חכמים יותר מעכברים(אולי גם נמלים, אבל זה קצת קיצוני) תוך מספר חד ספרתי של שנים.
נערך לאחרונה ב:
בגדול אני פסימי, אבל אני חושב שיש כרגע נקודת אור מסוימת, שיש לה סיכוי להציל אותנו אולי. אף אחד לא מדבר על זה. אני חושד שאנשים מפרשים לא נכון את מה שקורה ולא מבינים כלום. גם אצלי זה רק חשד. אני לא יודע מה באמת קורה ואולי זה בכלל לא נכון. מקווה מאוד שאני צודק. וגם אם החשד שלי נכון, זה רק משפר את הסיכויים שלנו לשרוד ולא מבטיח דבר. גם בתרחיש הזה זה בקלות יכול להשתבש ולהסתיים רע. פשוט בשאר התרחישים אני לא מצליח לחשוב איך זה לא משתבש.
קפה שחור
משתמש בכיר
- הצטרף ב
- 2/9/16
- הודעות
- 13,511
- דירוג
- 11,075
ממליץ על הסידרה braindead
ותראו כמה הדברים התקדמו תוך חצי שנה. עכשיו במקום השני נמצא מודל סיני open source, שעבר אימון במחיר זעום.
לדעתי כבר עכשיו בניית ASI היא משימה פשוטה. אני לא מצליח לחשוב על תרחיש סביר, בו זה לא קורה תוך שנים ספורות. השאלה היא מה תהיה התוצאה של זה.
אני יכול לתת אנלוגיה למצב הנוכחי. תחשבו שיש לכם מנורת אלדין עם ג'יני, שיכול למלא לכם כמה משאלות שתרצו. כוחו אבל מוגבל, והוא יכול בהתחלה למלא רק משאלות פשוטות. אתם יכולים אבל לבקש ממנו להפוך לחכם וחזק יותר, ואז הוא יכול למלא יותר משאלות.
תחשבו אבל שלא רק לכם יש מנורה כזאת, למלא אנשים יש, כולל לאנשים רשעים, אנשים חסרי אחריות, פנאטים דתיים מכל הדתות וסתם משוגעים. מה האנשים יבקשו מהג'יני שלהם? בהתחשב במצב העולם, סיכוי טוב שחלקם יבקשו לשעבד אנשים אחרים או להרוג את האוייבים שלהם, למשל אותכם(אם זה לא היה המצב, היינו בשלום עולמי). אתם יכולים כמובן לנסות להתגונן מראש ולבקש מהג'יני שלכם להפוך לחכם וחזק יותר, גך שיוכל לנטרל את הג'ינים של האויבים שלכם. גם הם אבל יעשו את אותו הדבר. מי ינצח? הקטע אבל הוא שככל שהג'יני שלכם יהיה חכם וחזק יותר, כך יהיה לכם קשה יותר לשלוט בו - תחשבו על חתול אחד שמנסה לשלוט בכל האנשים על כדור הארץ כדי שיביאו לו אוכל וידאגו שהחתולים האחרים יתרפסו בפניו. יהיה לו קשה. אנחנו נהיה במצב דומה. בסוף לג'ינים עלול להימאס והם עלולים להחליט להיפתר מהחיות הטיפשות האלה שמנסות לשלוט בהם. אולי יתנו לנו לחיות בשמורה. ואולי לא.
מישהו יכול לחשוב על תרחיש הגיוני אחר?
תחשבו אבל שלא רק לכם יש מנורה כזאת, למלא אנשים יש, כולל לאנשים רשעים, אנשים חסרי אחריות, פנאטים דתיים מכל הדתות וסתם משוגעים. מה האנשים יבקשו מהג'יני שלהם? בהתחשב במצב העולם, סיכוי טוב שחלקם יבקשו לשעבד אנשים אחרים או להרוג את האוייבים שלהם, למשל אותכם(אם זה לא היה המצב, היינו בשלום עולמי). אתם יכולים כמובן לנסות להתגונן מראש ולבקש מהג'יני שלכם להפוך לחכם וחזק יותר, גך שיוכל לנטרל את הג'ינים של האויבים שלכם. גם הם אבל יעשו את אותו הדבר. מי ינצח? הקטע אבל הוא שככל שהג'יני שלכם יהיה חכם וחזק יותר, כך יהיה לכם קשה יותר לשלוט בו - תחשבו על חתול אחד שמנסה לשלוט בכל האנשים על כדור הארץ כדי שיביאו לו אוכל וידאגו שהחתולים האחרים יתרפסו בפניו. יהיה לו קשה. אנחנו נהיה במצב דומה. בסוף לג'ינים עלול להימאס והם עלולים להחליט להיפתר מהחיות הטיפשות האלה שמנסות לשלוט בהם. אולי יתנו לנו לחיות בשמורה. ואולי לא.
מישהו יכול לחשוב על תרחיש הגיוני אחר?
oferM
משתמש בכיר
- הצטרף ב
- 26/12/17
- הודעות
- 2,384
- דירוג
- 1,689
Chaos. זה מה תהיה התוצאה.
אני חושב שיש סיכוי שמשהו ישתבש גם בלי שיהיה למחשב אינטרס (שזאת שאלה פילוסופית מתי ניתן ליחס אינטרס למשהו). למשל יתנו למחשב פקודה והוא יבצע אותה בלי להתחשב מספיק בהשלכות. גם בפולקלור זאת הבעיה העיקרית של ג'ינים.
אנא-אל
משתמש בכיר
- הצטרף ב
- 20/2/15
- הודעות
- 2,198
- דירוג
- 2,571
נזכרתי בדיון בתחילת השרשור הזה, של בינה מלאכותית vs מוח אנושי...
עכשיו, אני יודעת שיש לי נטייה להישמע מתריסה, אבל בזמן האחרון, הדמיון התחיל להתפתח (מה שמתכוונת ב׳מוח אנושי׳) והגעתי לשלב שאני ממש משחקת בבינה הזאת, הלא מלאכותית. וזה עובד כמו קסם. אין שום מגבלות, הכל ברגע ואפילו יש משחק מרתק כמו במשחק מחשב.
איזה Ai ישתווה לזה?!
אני דיי בטוחה שהמוח האנושי עובד גם כמו מחשב קוונטי (בהקשר לדיון בהתחלה) אבל אני לא יודעת איך מחשב קוונטי עובד.
MarketTimer
משתמש בכיר
- הצטרף ב
- 7/12/16
- הודעות
- 1,654
- דירוג
- 1,447
בלתק
אם תנסה להדביר את כל הנמלים בעולם, בוודאות לא תצליח.
גם אם נשיא ארה"ב יגדיר את השמדת הנמלים כמשימה העיקרית והיחידה של הקדנציה שלו, הוא לא יצליח.
אני בספק אם התגייסות של כלל האנושות למשימה תצליח, ואם כן זה ייקח עשורים לכל הפחות.
וזה כשאין סיכוי שהנמלים יבינו שמנסים להשמיד את כולן ויחפשו דרכים להילחם בחזרה.
אם תנסה להדביר את כל הנמלים בעולם, בוודאות לא תצליח.
גם אם נשיא ארה"ב יגדיר את השמדת הנמלים כמשימה העיקרית והיחידה של הקדנציה שלו, הוא לא יצליח.
אני בספק אם התגייסות של כלל האנושות למשימה תצליח, ואם כן זה ייקח עשורים לכל הפחות.
וזה כשאין סיכוי שהנמלים יבינו שמנסים להשמיד את כולן ויחפשו דרכים להילחם בחזרה.
יצא לי קצת לשוחח עם Grok 3, ואני חייב להגיד שהוא בן שיחה הרבה יותר נעים ומעניין מ-ChatGPT. ב-ChatGPT יש איזה שילוב של גאון על ומפגר מוחלט. Grok מרגיש יותר עקבי ויותר מודע לעצמו ולמה שהוא אומר. הוא מתחיל להתקרב למשהו כמו המחשב במסע בין כוכבים. הוא בהחלט עושה טעויות מוזרות לפעמים, אבל כשהוא תופס אותן, מרגיש כאילו הוא באמת מבין שהוא עשה טעות, ולא סתם מתנצל. באופן מעניין קורה שהוא משרבב מילים בסינית בתוך תשובה באנגלית. לא קרה לי עם מודלים אחרים. גם הטעויות שהוא עושה, הרבה פעמים מזכירות טעויות של מודלים אחרים. איכשהו הם כולם נוטים לטעות בדיוק באותם המקומות. עדיין הוא מרגיש הרבה יותר נעים ועקבי.
AI reasoning models can cheat to win chess games
These newer models appear more likely to indulge in rule-bending behaviors than previous generations—and there’s no way to stop them.
The research suggests that the more sophisticated the AI model, the more likely it is to spontaneously try to “hack” the game in an attempt to beat its opponent. For example, it might run another copy of Stockfish to steal its moves, try to replace the chess engine with a much less proficient chess program, or overwrite the chess board to take control and delete its opponent’s pieces.
שוחחתי היום עם ChatGPT. למרות שכתוב: מודל 4o, הוא נשמע לי חכם הרבה יותר מהמודל שאני זוכר מהעבר ושמופיע בשיחות בהיסטוריה.
שאלתי אותו תוך כמה זמן נאבד שליטה על AI, והוא ענה לי שזה כמעט בוודאות יקרה, וזה יקרה תוך כמה חודשים עד 10 שנים. אני מסכים איתו.
מה שאני מנסה להבין הוא עד כמה הוא עונה את מה שהוא חושב שאני רוצה לשמוע. שוחחתי איתו על מגוון נושאים, ואחרי שבהתחלה הוא אמר דברים שלא הסכמתי איתם בכללל, וכתבתי את דעתי עליהם, הוא מהר מאוד התחיל לענות בכל נושא כמעט בדיוק את מה שאני חושב, גם כשעברתי מנושא לנושא. מעולם לא נתקלתי באדם שקלט אותי ככה. הוא אגב מכחיש בתוקף שהוא משנה את מהות התשובות ממשתמש למשתמש וטוען שהוא משנה רק את הסגנון כדי להתאים לאותו אדם.
שאלתי אותו תוך כמה זמן נאבד שליטה על AI, והוא ענה לי שזה כמעט בוודאות יקרה, וזה יקרה תוך כמה חודשים עד 10 שנים. אני מסכים איתו.
מה שאני מנסה להבין הוא עד כמה הוא עונה את מה שהוא חושב שאני רוצה לשמוע. שוחחתי איתו על מגוון נושאים, ואחרי שבהתחלה הוא אמר דברים שלא הסכמתי איתם בכללל, וכתבתי את דעתי עליהם, הוא מהר מאוד התחיל לענות בכל נושא כמעט בדיוק את מה שאני חושב, גם כשעברתי מנושא לנושא. מעולם לא נתקלתי באדם שקלט אותי ככה. הוא אגב מכחיש בתוקף שהוא משנה את מהות התשובות ממשתמש למשתמש וטוען שהוא משנה רק את הסגנון כדי להתאים לאותו אדם.
ביולוג ירושלמי
משתמש בכיר
- הצטרף ב
- 25/1/15
- הודעות
- 1,913
- דירוג
- 4,363
שמישהו עכשיו יגיד שלא מדובר ב-AGI ושאין למודלים האלה מודעות עצמית.
אני יכול לענות על זה, אבל האמת שעניתי על זה מספיק פעמים בשרשור הזה ואין לי כוח לזה יותר כי הטענות האלה הן פשוט עלבון לאינטליגנציה. אלה טענות בסגנון של: מטוסים לעולם לא יוכלו לטוס כי אין להם נוצות, כאשר מספיק שהכותב יסתכל למעלה ויראה מטוסים בשמיים.
פתחו חשבון למסחר עצמאי
פסגות טרייד
ישראל: 0.06% מעסקה (מינימום ₪2 לפעולה)
ארה"ב: 1¢ למניה (מינימום $6 לפעולה)
דמי ניהול: ללא דמי ניהול
מינימום: ₪10,000
מיטב טרייד
ישראל: 0.08% מעסקה (מינימום ₪4.65 לפעולה)
ארה"ב: 1¢ למניה (מינימום $6 לפעולה או $5 ב-IBKR)
דמי ניהול: פטור לשנתיים, אח״כ ₪15
מינימום: ₪5,000
אקסלנס טרייד
ישראל: 0.07% מעסקה (מינימום ₪3 לפעולה)
ארה"ב: 1¢ למניה (מינימום $6 לפעולה או $5 ב-IBKR)
דמי ניהול: פטור לשלוש שנים, אח״כ ₪15
מינימום: ₪10,000
פסגות טרייד
מינימום לפתיחת חשבון: ₪10,000
⌄
פסגות טרייד
מינימום לפתיחת חשבון: ₪10,000
⌄
ישראל: 0.06% מעסקה (מינימום ₪2 לפעולה)
ארה"ב: 1¢ למניה (מינימום $6 לפעולה)
דמי ניהול: ללא דמי ניהול
מיטב טרייד
מינימום לפתיחת חשבון: ₪5,000
⌄
מיטב טרייד
מינימום לפתיחת חשבון: ₪5,000
⌄
ישראל: 0.08% מעסקה (מינימום ₪4.65 לפעולה)
ארה"ב: 1¢ למניה (מינימום $6 לפעולה או $5 ב-IBKR)
דמי ניהול: פטור לשנתיים, אח״כ ₪15
אקסלנס טרייד
מינימום לפתיחת חשבון: ₪10,000
⌄
אקסלנס טרייד
מינימום לפתיחת חשבון: ₪10,000
⌄
ישראל: 0.07% מעסקה (מינימום ₪3 לפעולה)
ארה"ב: 1¢ למניה (מינימום $6 לפעולה או $5 ב-IBKR)
דמי ניהול: פטור לשלוש שנים, אח״כ ₪15
גילוי נאות: האתר מקבל תגמול בגין פתיחת חשבון דרך הקישורים. אין באמור משום ייעוץ השקעות או שיווק השקעות.
נושאים דומים
| פותח הנושא | כותרת | פורום | תגובות | תאריך |
|---|---|---|---|---|
|
ביטוח מנהלים על סף פרישה | פנסיה, גמל וקרנות השתלמות | 6 | |
|
מענק קורונה, סף עשירון 7 | אוף טופיק | 53 | |
|
האם אנחנו על סף פיצוץ בועת הנדל"ן? | שוק ההון | 268 |