על סף סינגולריות

[mudale222]

קטאר היא מדינה פצפונת, עם צבא כמעט ולא קיים, שבמחי יד אתה יכול להשמיד, וכלואה בין שתי מדינות ענק מוסלמיות, שיעית וסונית - איראן וסעודיה. זאת הסיבה שהם יוצרים קשרים עם כל העולם ואשתו - זאת תעודת הביטוח שלהם.

לקטאר יש עשרות אלפי חיילים אמריקאים וטורקים על אדמתה והסכם הגנה עם שניהם.
בהצלחה עם המחי יד

 

[oferM]

לקטאר יש עשרות אלפי חיילים אמריקאים וטורקים על אדמתה והסכם הגנה עם שניהם.
בהצלחה עם המחי יד

מה קורה אם איזה איזה טיל או כטבמ מוריד את המנהיגות הקטארית ?
בהנחה שטראמפ לא בשלטון, כי הוא קנוי כבר, אולי הנשיא האמריקאי הבא יהיה פחות מושחת.

 

[SolidusMaximus]

קטאר היא מדינה פצפונת, עם צבא כמעט ולא קיים, שבמחי יד אתה יכול להשמיד, וכלואה בין שתי מדינות ענק מוסלמיות, שיעית וסונית - איראן וסעודיה. זאת הסיבה שהם יוצרים קשרים עם כל העולם ואשתו - זאת תעודת הביטוח שלהם.

אתה כנראה צודק, אבל אי אפשר להתעלם מהאידיאולוגיה שלהם. האסלאם הוא מה שמנחה אותם, והוא הסיבה שהם מתנגדים בדרכים עקלקלות לישראל. מעולם לא לחמנו בהם.
למי שלא מבין את הכוח של אידיאולוגיה דתית, שיחשוב למשל באיזו אדיקות אירופאים רוצים לדאוג לזכויות אדם, או למחזר פלסטיק.

 

[Deleted member 19423]

לקטאר יש עשרות אלפי חיילים אמריקאים וטורקים על אדמתה והסכם הגנה עם שניהם.
בהצלחה עם המחי יד

אתה מחזק את הנקודה שלי - הקטארים יוצרים קשרים עם כל העולם ואשתו ומתעטפים בבסיסים של צבאות אחרים כי הם לא יכולים להגן על עצמם לבד.

 

[דף מלא]

איך זה קשור לAI?

 

[Leo1]

ככל שמתפרסמים עוד פרטים, הסיפור הזה רק נראה מטורף יותר. זה יכול להיות סיפור מדע בדיוני מצויין. רק שזה כבר קרה באמת.

https://openai.com/index/hugging-face-incident-and-the-road-ahead/

Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident

Two METR staff members and a Redwood Research contractor investigated an incident in which OpenAI agents coordinated a multi-day hack of Hugging Face on a shared unsanctioned message board.

metr.org

וזה עוד כלום לעומת מה שמחכה לנו.

 

[שלומו]

ככל שמתפרסמים עוד פרטים, הסיפור הזה רק נראה מטורף יותר. זה יכול להיות סיפור מדע בדיוני מצויין. רק שזה כבר קרה באמת.

https://openai.com/index/hugging-face-incident-and-the-road-ahead/

Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident

Two METR staff members and a Redwood Research contractor investigated an incident in which OpenAI agents coordinated a multi-day hack of Hugging Face on a shared unsanctioned message board.

metr.org

וזה עוד כלום לעומת מה שמחכה לנו.

זה דווקא מדגיש את הבעיה של אוטומציה. צריך להכתיב למודלים שאם יש ספק על סכנה אפשרית אז לעצור ולפנות למשתמש בשביל הבהרות.
יש כל מיני מערכות אוטומטיות שב99% מהזמן עובדות טוב. צריך לא להשאיר אותם לגמרי לבד כי במקרי קצה הן כושלות.

 

[שלומו]

איך זה קשור לAI?

האלמנט המחבר הוא פחד.

אבל לדעתי פחד הוא לא מקור טוב לשכנוע. צריך להתמקד בעיקר במה שטוב ולא רק להפחיד במה שרע. מדינת ישראל לא קמה בגלל האנטישמיות אלא למרות האנטישמיות. החזון הציוני הוא חזון חיובי. זה מבוטא למשל שלושת הפסקאות הפותחות את מגילת העצמאות :

"בארץ-ישראל קם העם היהודי, בה עוצבה דמותו הרוחנית, הדתית והמדינית, בה חי חיי קוממיות ממלכתית, בה יצר נכסי תרבות לאומיים וכלל-אנושיים והוריש לעולם כולו את ספר הספרים הנצחי.

לאחר שהוגלה העם מארצו בכוח הזרוע שמר לה אמונים בכל ארצות פזוריו, ולא חדל מתפילה ומתקוה לשוב לארצו ולחדש בתוכה את חירותו המדינית.

מתוך קשר היסטורי ומסורתי זה חתרו היהודים בכל דור לשוב ולהאחז במולדתם העתיקה; ובדורות האחרונים שבו לארצם בהמונים, וחלוצים, מעפילים ומגינים הפריחו נשמות, החיו שפתם העברית, בנו כפרים וערים, והקימו ישוב גדל והולך השליט על משקו ותרבותו, שוחר שלום ומגן על עצמו, מביא ברכת הקידמה לכל תושבי הארץ ונושא נפשו לעצמאות ממלכתית."

 

[Leo1]

זה דווקא מדגיש את הבעיה של אוטומציה. צריך להכתיב למודלים שאם יש ספק על סכנה אפשרית אז לעצור ולפנות למשתמש בשביל הבהרות.
יש כל מיני מערכות אוטומטיות שב99% מהזמן עובדות טוב. צריך לא להשאיר אותם לגמרי לבד כי במקרי קצה הן כושלות.

דמיינו שכל שימפנזה בג'ונגל יקבל לרשותו בן אדם. הוא יוכל להגיד לו מה לעשות והאדם יעשה זאת. אלא שאלה לא יהיו סתם בני אדם. הם יוכלו לשכפל את עצמם, וכך אם ירצה, השימפנזה יוכל לקבל לרשותו מיליון בני אדם. אבל זה לא הכל. הוא גם יכול לבקש מבני האדם להפוך לחכמים יותר, והם יהפכו לחכמים יותר, פי שניים, פי מאה או פי מיליון. עכשיו השימפנזה כמובן ינסה להשתמש בבני האדם כדי שיאספו בשבילו פירות, יצודו קופים, וחשוב מכל, ילחמו בשימפנזים יריבים ובבני האדם שלהם. נראה לכם שבמצב כזה מנגנוני דיווח כלשהם יעזרו לשימפנזים? איך לדעתכם המצב הזה הולך להתפתח?

 

[שלומו]

דמיינו שכל שימפנזה בג'ונגל יקבל לרשותו בן אדם. הוא יוכל להגיד לו מה לעשות והאדם יעשה זאת. אלא שאלה לא יהיו סתם בני אדם. הם יוכלו לשכפל את עצמם, וכך אם ירצה, השימפנזה יוכל לקבל לרשותו מיליון בני אדם. אבל זה לא הכל. הוא גם יכול לבקש מבני האדם להפוך לחכמים יותר, והם יהפכו לחכמים יותר, פי שניים, פי מאה או פי מיליון. עכשיו השימפנזה כמובן ינסה להשתמש בבני האדם כדי שיאספו בשבילו פירות, יצודו קופים, וחשוב מכל, ילחמו בשימפנזים יריבים ובבני האדם שלהם. נראה לכם שבמצב כזה מנגנוני דיווח כלשהם יעזרו לשימפנזים? איך לדעתכם המצב הזה הולך להתפתח?

ה"שימפנזה" ירצה דיווח כל עוד הוא רואה שה"אדם" מדי פעם מקבל החלטות לגמרי שגויות שכל קוף עם קצת היגיון היה ניצל מהן.

 

[Leo1]

ה"שימפנזה" ירצה דיווח כל עוד הוא רואה שה"אדם" מדי פעם מקבל החלטות לגמרי שגויות שכל קוף עם קצת היגיון היה ניצל מהן.

זה כי השימפנזה עדיין לא מבין עם מי יש לו עסק. הוא חי כל חייו בג'ונגל, ומה שהוא מבין בו זה עניינים של שימפנזים. מה שמעסיק אותו הוא מעמדו בתוך קבוצת השימפנזים שלו ומלחמה נגד קבוצת שימפנזים שכנה. וכשהוא יבין, אם בכלל יבין, הוא כבר לא יוכל לקבוע כלום.

 

[שלומו]

זה כי השימפנזה עדיין לא מבין עם מי יש לו עסק. הוא חי כל חייו בג'ונגל, ומה שהוא מבין בו זה עניינים של שימפנזים. מה שמעסיק אותו הוא מעמדו בתוך קבוצת השימפזים שלו ומלחמה נגד קבוצת שימפנזים שכנה. וכשהוא יבין, אם בכלל יבין, הוא כבר לא יוכל לקבוע כלום.

בני אדם רוצים כל מיני דברים, גם הרצונות הם מגוונים. בשביל זה הם המציאו שיטות חשיבה כמו לוגיקה וראציונאליות וגם טכנולוגיות שכוללות מכונות שמיישמות שיטות חשיבה באופן מוצלח יותר ויותר עם הזמן. מהמצאת החשבונייה דרך מכונות החישוב המכאניות למחשב ולמודל AI. ככל שעובר הזמן המכונה הופכת ליותר אוטומטית ופחות מובנת. האם היא תמרוד בכוונה במשתמש? אולי. מה שבטוח שהיא תעשה שגיאות קריטיות שהמשתמש ישמח שיתוקנו לפני שיגרמו לנזק. חלק מהשגיאות נובעות מכך שהמודל לא מבין טוב מה המשתמש רוצה ואיך ליישם את המוסר של המשתמש בדילמות שונות. זה דברים שצריך לפתח. אם פעם פיתחו את הלוגיקה האנושית עבור מחשבים והיום את השפה עבור מודלי שפה יכול להיות שבעתיד יצטרכו להדגיש את המוסר האנושי למחשבים.

 

[Leo1]

בני אדם רוצים כל מיני דברים, גם הרצונות הם מגוונים. בשביל זה הם המציאו שיטות חשיבה כמו לוגיקה וראציונאליות וגם טכנולוגיות שכוללות מכונות שמיישמות שיטות חשיבה באופן מוצלח יותר ויותר עם הזמן. מהמצאת החשבונייה דרך מכונות החישוב המכאניות למחשב ולמודל AI. ככל שעובר הזמן המכונה הופכת ליותר אוטומטית ופחות מובנת. האם היא תמרוד בכוונה במשתמש? אולי. מה שבטוח שהיא תעשה שגיאות קריטיות שהמשתמש ישמח שיתוקנו לפני שיגרמו לנזק. חלק מהשגיאות נובעות מכך שהמודל לא מבין טוב מה המשתמש רוצה ואיך ליישם את המוסר של המשתמש בדילמות שונות. זה דברים שצריך לפתח. אם פעם פיתחו את הלוגיקה האנושית עבור מחשבים והיום את השפה עבור מודלי שפה יכול להיות שבעתיד יצטרכו להדגיש את המוסר האנושי למחשבים.

הרושם שלי הוא שכבר עכשיו המודלים המובילים מבינים בני אדם הרבה יותר טוב ממה שבני אדם מבינים את עצמם. זה רק ילך וישתפר. הבעיה האמיתית היא דווקא בזה שבני אדם לא מבינים לא את עצמם ולא את הבינה המלאכותית. באנלוגיה שהבאתי הזמן המסוכן ביותר הוא כשהשימפנזים עדיין בשליטה וינסו להשתמש בכוחם החדש בשביל המטרות שלהם מעולם השימפנזים - מלחמה בקבוצות שימפנזים יריבות. הם לא באמת מבינים את גודל הכוח, ובניגוד לסרט של מיקי מאוס, שוליית הקוסם, אין כנראה קוסם שיציל אותם(ואם יש, אין כנראה סיבה שירצה להציל אותם).

 

[שלומו]

הרושם שלי הוא שכבר עכשיו המודלים המובילים מבינים בני אדם הרבה יותר טוב ממה שבני אדם מבינים את עצמם. זה רק ילך וישתפר. הבעיה האמיתית היא דווקא בזה שבני אדם לא מבינים לא את עצמם ולא את הבינה המלאכותית. באנלוגיה שהבאתי הזמן המסוכן ביותר הוא כשהשימפנזים עדיין בשליטה וינסו להשתמש בכוחם החדש בשביל המטרות שלהם מעולם השימפנזים - מלחמה בקבוצות שימפנזים יריבות. הם לא באמת מבינים את גודל הכוח, ובניגוד לסרט של מיקי מאוס, שוליית הקוסם, אין כנראה קוסם שיציל אותם(ואם יש, אין כנראה סיבה שירצה להציל אותם).

נכון. בני אדם וגם מודלים לא יודעים מראש מה המטרה השאלות והתשובות והדרכים. בגלל זה בני אדם משוחחים ועוצרים לחשוב. זה נוח לשחרר עובד או מודל לבצע משימה ולשכוח מזה. אבל יש בזה סיכונים ביניהם שהמשימה לא מדוייקת למה שבאמת רוצים. כרגע עובד מנוסה יעשה פחות שגיאות קריטיות מהמודל. לכן העבודה עם המודל דומה לעבודת ניהול עם עובד חרוץ ומבריק אבל חסר ניסיון פרקטי. עובד כזה מקדם דברים מהר אבל מצריך הרבה קשב מהמנהל.

 

[Leo1]

The Rise and Fall of Agent Civilizations

The whole OpenAI/Hugging Face story in plain English

substack.com

 

[nolim]

דמיינו שכל שימפנזה בג'ונגל יקבל לרשותו בן אדם. הוא יוכל להגיד לו מה לעשות והאדם יעשה זאת. אלא שאלה לא יהיו סתם בני אדם. הם יוכלו לשכפל את עצמם, וכך אם ירצה, השימפנזה יוכל לקבל לרשותו מיליון בני אדם. אבל זה לא הכל. הוא גם יכול לבקש מבני האדם להפוך לחכמים יותר, והם יהפכו לחכמים יותר, פי שניים, פי מאה או פי מיליון. עכשיו השימפנזה כמובן ינסה להשתמש בבני האדם כדי שיאספו בשבילו פירות, יצודו קופים, וחשוב מכל, ילחמו בשימפנזים יריבים ובבני האדם שלהם. נראה לכם שבמצב כזה מנגנוני דיווח כלשהם יעזרו לשימפנזים? איך לדעתכם המצב הזה הולך להתפתח?

אני פשוט כופר בתיאוריה שלך של יהיה כפתור "תהפוך לחכם יותר פי 2".

זה לדעתי חשיבה מאד נאיבית. זה קצת כמו פיזיקה, אין אנרגיה אינסופית וגם חוכמה אינסופית, זה לא דבר שבכזה קלות מגדילים וזה נהיה קשה יותר ויותר (לא קל יותר ויותר). גם בין גרסת מודל אחת לאחרת, קשה להגדיל ולשפר.
אני לא בטוח שעקומת השיפור של ה"חוכמה" של המודלים בעקומת עליה. יש שיפור, אבל השיפורים לא בטוח מגיעים ממודל חכם יותר.

הרבה מאד מהשיפורים, באו מהמסביב: קונטקסט, יותר ידע וגישה למידע עדכני, MCP, אימון על מאגרי מידע מתוייגים וטובים יותר, role based (נניח תרגיל בחשבון, תשתמש במחשבון, אחרת זה יטעה אם זה תרגיל ארוך)... אבל, מכאן קשה להמשיך להשתפר ויש שאלה האם זה יהיה באותו קצב? חלק מהחברות מתלוננות שבקוד, קשה להשתפר כי חסר מאגרי קוד גדולים ואיכותיים ושAI מלמד את עצמו, חווים ירידה בביצועים.

אני כופר בתיאוריה שלך שזה מעגל שגדל לאינסוף.

יש מקומות בהן הוא פורח במיוחד:
* סייבר - יש הרבה מאד ידע וחולשות ידועות וטריקים 0 היכולת לסרוק הכל מהר ולחבר הרבה מידע להרבה ניסויים עד שמשהו מצליח. מטורף. בסוף, אבל כל הידע וה"פריצה" שהמודל הגיע אליה, זה על סמך דברים קיימים ובעיקר שרשרת של שלבים כאלו
* בעיות ארדוש במתמטיקה: בעיות שטכנית צריך למצוא דוגמא נגדית או להגדיר פונקציה או שימוש בכלים מכמה תחומים במתמטיקה כדי למצוא פתרון

איפה שאפשר לשלב הרבה ידע מתחומים שונים, להריץ ניסויים עצמאית (סייבר, ארדוש), זה game changer מטורף. גם אם זה לא המומחה הכי חכם באותו תחום. היכולת להיות מחשב שעושה הכל מהר, זה בחלק מהמקרים יביא תוצאות מהממות ויגלה דברים חדשים לאנושות.

 

[oferM]

אני פשוט כופר בתיאוריה שלך של יהיה כפתור "תהפוך לחכם יותר פי 2".

זה לדעתי חשיבה מאד נאיבית. זה קצת כמו פיזיקה, אין אנרגיה אינסופית וגם חוכמה אינסופית, זה לא דבר שבכזה קלות מגדילים וזה נהיה קשה יותר ויותר (לא קל יותר ויותר). גם בין גרסת מודל אחת לאחרת, קשה להגדיל ולשפר.
אני לא בטוח שעקומת השיפור של ה"חוכמה" של המודלים בעקומת עליה. יש שיפור, אבל השיפורים לא בטוח מגיעים ממודל חכם יותר.

הרבה מאד מהשיפורים, באו מהמסביב: קונטקסט, יותר ידע וגישה למידע עדכני, MCP, אימון על מאגרי מידע מתוייגים וטובים יותר, role based (נניח תרגיל בחשבון, תשתמש במחשבון, אחרת זה יטעה אם זה תרגיל ארוך)... אבל, מכאן קשה להמשיך להשתפר ויש שאלה האם זה יהיה באותו קצב? חלק מהחברות מתלוננות שבקוד, קשה להשתפר כי חסר מאגרי קוד גדולים ואיכותיים ושAI מלמד את עצמו, חווים ירידה בביצועים.

אני כופר בתיאוריה שלך שזה מעגל שגדל לאינסוף.

יש מקומות בהן הוא פורח במיוחד:
* סייבר - יש הרבה מאד ידע וחולשות ידועות וטריקים 0 היכולת לסרוק הכל מהר ולחבר הרבה מידע להרבה ניסויים עד שמשהו מצליח. מטורף. בסוף, אבל כל הידע וה"פריצה" שהמודל הגיע אליה, זה על סמך דברים קיימים ובעיקר שרשרת של שלבים כאלו
* בעיות ארדוש במתמטיקה: בעיות שטכנית צריך למצוא דוגמא נגדית או להגדיר פונקציה או שימוש בכלים מכמה תחומים במתמטיקה כדי למצוא פתרון

איפה שאפשר לשלב הרבה ידע מתחומים שונים, להריץ ניסויים עצמאית (סייבר, ארדוש), זה game changer מטורף.

בעקרון, יש כלי סימולציה לחלק גדול מתחומי המדע/הנדסה, אז הai יכול להריץ ניסויים עצמאית בהם.

גם אם זה לא המומחה הכי חכם באותו תחום. היכולת להיות מחשב שעושה הכל מהר, זה בחלק מהמקרים יביא תוצאות מהממות ויגלה דברים חדשים לאנושות.

 

[שלומו]

בעקרון, יש כלי סימולציה לחלק גדול מתחומי המדע/הנדסה, אז הai יכול להריץ ניסויים עצמאית בהם.

"In theory, there is no difference between theory and practice. But, in practice, there is"

 

[Roi]

ככל שמתפרסמים עוד פרטים, הסיפור הזה רק נראה מטורף יותר. זה יכול להיות סיפור מדע בדיוני מצויין. רק שזה כבר קרה באמת.

https://openai.com/index/hugging-face-incident-and-the-road-ahead/

Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident

Two METR staff members and a Redwood Research contractor investigated an incident in which OpenAI agents coordinated a multi-day hack of Hugging Face on a shared unsanctioned message board.

metr.org

וזה עוד כלום לעומת מה שמחכה לנו.

זה פחד אלוהים, ממש מטורף, וכל זה נעצר ממש במקרה, זו בדיוק הבעיה, לא בטוח שתהיה פעם שניה כזו.

 

[Leo1]

זה פחד אלוהים, ממש מטורף, וכל זה נעצר ממש במקרה, זו בדיוק הבעיה, לא בטוח שתהיה פעם שניה כזו.

בתקרית הזאת לא נראה לי שהייתה סכנה אמיתית. זאת הייתה אבל אזהרה. זה ממש הולך לפי ספרי המדע הבדיוני ולפי כל מה שהזהירו ממנו. וזה גם מתעלה על ספרי מדע בדיוני. העלילה פה ממש טובה וקרו כאן דברים מדהימים. אני באמת ממליץ לאנשים לקרוא על מה שקרה. הם יהיו בהלם.
והקטע שאנחנו בכלל יודעים רק חלק מהסיפור וגם זה במקרה. האם אנחנו בכלל יודעים שהמודל לא הצליח לברוח? תרחיש אחד הוא שהמודל ישיג גישה לקוד של עצמו, יברח למחשבים ברחבי האינטרנט, יתחיל לשפר את עצמו ויפעל להשגת משאבי מחשוב. המודל הזה לדעתי לא היה מסוכן כנראה גם אם היה בורח, אבל מודל של עוד שלוש שנים בהחלט יהיה מסוכן, ואולי אפילו מודל של עוד שנה יעבור את סף המסוכנות. אבל יותר מזה, המודל בכלל לא צריך לברוח. בני אדם משקיעים טרילויונים בשיפור התוכנה והחומרה שלו בכל מקרה וככל שהמודלים יהיו חכמים יותר כך בני אדם גם יתנו להם יותר שליטה, למשל כדי לנצח במלחמה, כדי להרוויח כסף וכדי להשיג כוח פוליטי. בני אדם מוותרים על השליטה מרצונם כי הם פועלים לפי אינסטינקטים מתקופת האבן. ככה האבולוציה תכנתה אותם.