על סף סינגולריות

[ת.אוקהם]

יש מאמר מעניין של אפל שיצא לפני חודשיים שבוחן בדרכים יצירתיות את היכולות ה"אמיתיות" (שלא מושתתות על שינון) של מודלי השפה בתחום של mathematical reasoning.
להבנתי התוצאות די מאכזבות בגדול (נראה שיש שם הרבה שינון ופחות reasoning).

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K...

arxiv.org

 

[paskar]

מכיוון שלי אישית (בתור אדם פשוט) יש השפעה זניחה לחלוטין על ההתפתחויות בנושא,

כנראה יש השפעה עקיפה, על מחוקקים, מה שבסוף מוביל לדברים כגון אלה שעברו באירופה וקליפורניה:

Artificial Intelligence Act - Wikipedia

en.wikipedia.org

Understanding AI Regulation: California Law, Implications, and Case Studies

Introduction Artificial Intelligence (AI) is transforming industries globally, and California stands at the forefront of this technological revolution. As

www.jlegal.org

 

[Leo1]

יש מאמר מעניין של אפל שיצא לפני חודשיים שבוחן בדרכים יצירתיות את היכולות ה"אמיתיות" (שלא מושתתות על שינון) של מודלי השפה בתחום של mathematical reasoning.
להבנתי התוצאות די מאכזבות בגדול (נראה שיש שם הרבה שינון ופחות reasoning).

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K...

arxiv.org

נראה לי בזבוז זמן לקרוא את זה אפילו. גם אם הם לא עשו טעויות גדולות במחקר, שאלת המחקר שלהם היא פשוט לא רלוונטית. במקרה הטוב הם פשוט מסתכלים אחורה ולא קדימה.
עריכה: קראתי עכשיו את התקציר. זה לא מפתיע. גם אני שמתי לב לזה ב-ChatGPT. אנשים אבל מרוב העצים לא רואים את היער. לדעתי כל הבעיות האלה שאנשים מזהים במודל כזה או אחר ועושים מהן סיפור כאילו הן בעיות עקרניות, הן באמת בעיות זמניות שדי קל לפתור במודל הבא או אחרי הבא. ברור לי לחלוטין לאן זה הולך. כל מה שנדרש כדי לבנות בינה מלאכות על-אנושית לדעתי כבר קיים היום.

כנראה יש השפעה עקיפה, על מחוקקים, מה שבסוף מוביל לדברים כגון אלה שעברו באירופה וקליפורניה:

Artificial Intelligence Act - Wikipedia

en.wikipedia.org

בדיחה טובה. זה כמו לשים פלסטר על פצצת אטום שעומדת להתפוצץ. בעצם אפילו זה לא.
השפעה על מחוקקים ע”י הציבור זאת בדיחה. האמונות והשקפות העולם של רוב הציבור היום מתאימות לתקופת האבן(ולא במקרה. זה מה שהיינו צריכים להתמודד איתו לאורך דורות רבים ואז המוח שלנו התפתח והותאם לסביבה זאת). זה מאוד מאוד רחוק מהאתגרים האדירים עכשיו. אנשים אבל לא מבינים זאת.(אגב המוח שלנו אפילו לא ברמה של תקופת האבן. הוא התנוון מאז בגלל הורדת הלחץ האבולוציוני והצטברות מוטציות מזיקות).
כדי לנסות לפתח בינה מלאכותית חזקה בצורה בטוחה ומסודרת, המבנה החברתי העולמי צריך להשתנות בצורה כ”כ דרמטית, שזה פשוט בלתי אפשרי. גם כולם בערך יתנגדו לזה כי זה ב-180 מעלות הפוך ממה שרוב האנשים מאמינים בו. אני נוטה לחשוב שזה יקרה בצורה לא בטוחה. אולי יקרה לנו נס ונעבור את זה בשלום.

 

[OnTheVerge]

יש מאמר מעניין של אפל שיצא לפני חודשיים שבוחן בדרכים יצירתיות את היכולות ה"אמיתיות" (שלא מושתתות על שינון) של מודלי השפה בתחום של mathematical reasoning.
להבנתי התוצאות די מאכזבות בגדול (נראה שיש שם הרבה שינון ופחות reasoning).

הבעיה במחקרים האלה שהם תמיד מפגרים יובלות אחרי המודלים המתקדמים ביותר (o1 של OpenAI, או o3 שטרם הושק).
תוצאות על 4o או את llama לא מעידות כמעט כלום לגבי o3.

ההתקדמות בתחום כל כך מהירה שבתוך כמה חודשים המחקרים הללו נהיים חסרי תועלת כמעט.

 

[Leo1]

יש מאמר מעניין של אפל שיצא לפני חודשיים שבוחן בדרכים יצירתיות את היכולות ה"אמיתיות" (שלא מושתתות על שינון) של מודלי השפה בתחום של mathematical reasoning.
להבנתי התוצאות די מאכזבות בגדול (נראה שיש שם הרבה שינון ופחות reasoning).

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K...

arxiv.org

ועוד דבר. בני אדם הם לא כאלה יצירתיים. הרבה מהטעויות שמודלי AI עושים הן בדיוק מסוג הטעויות שבני אדם עושים. הם פשוט למדו מבני אדם עם הטעויות שלהם. ברגע שהמודלים אבל מתחילים ללמוד עם עצמם, הם יכולים להגיע לרמת יצירתיות שבני אדם לא יכולים לחלום עליה אפילו.

 

[Leo1]

אם רוצים לעשות רגולציה שתצמצם סיכונים, זה צריך לכל הפחות להיות משהו כזה:
1) איסור עולמי מוחלט על פיתוח בינה מלאכותית מעל סף מסויים(נמוך בהרבה מהמודלים שכבר קיימים היום)
2) במקרה שמתגלה שמדינה מפתחת בינה מלאכותית, שאר מדינות העולם יהיו מחוייבות לתקוף אותה בנשק גרעיני עד להשמדת כל יכולותיה הטכנולוגיות.
3) תוכנית עולמית להנדסה גנטית של בני אדם לשיפור האינטליגנציה והפחתת אינסטינקטים מזיקים.
4) הקמת גוף עולמי, שיאוייש בטובי המוחות, שיעסוק בפיתוח בינה מלאכותות מאוד לאט ובזהירות.

וגם זה לא מבטיח סוף טוב, רק מעלה מאוד את הסיכוי שלו. אני לא רואה רגולציה כזאת עוברת. זה כל כך רחוק מהשיח ומהשטויות שבני אדם מאמינים בהן, שאין בכלל על מה לדבר. קשה לי לראות איך רגולציה פחותה מזה תועיל, ואני בהחלט רואה איך רגולציה מוגבלת יכולה להזיק ולהגדיל את הסיכון.
ואפילו אם זה היה אפשרי, קשה לדעת בוודאות אם זה נכון, כי אולי באיזה נס זה יסתדר בלי זה, ואז החיים שלנו יהיו הרבה יותר טובים הרבה יותר מהר. כרגע אנחנו עושים הימור על חיי 8 מיליארד בני אדם, אבל זה המצב.

 

[oferM]

אם רוצים לעשות רגולציה שתצמצם סיכונים, זה צריך לכל הפחות להיות משהו כזה:
1) איסור עולמי מוחלט על פיתוח בינה מלאכותית מעל סף מסויים(נמוך בהרבה מהמודלים שכבר קיימים היום)
2) במקרה שמתגלה שמדינה מפתחת בינה מלאכותית, שאר מדינות העולם יהיו מחוייבות לתקוף אותה בנשק גרעיני עד להשמדת כל יכולותיה הטכנולוגיות.
3) תוכנית עולמית להנדסה גנטית של בני אדם לשיפור האינטליגנציה והפחתת אינסטינקטים מזיקים.
4) הקמת גוף עולמי, שיאוייש בטובי המוחות, שיעסוק בפיתוח בינה מלאכותות מאוד לאט ובזהירות.

וגם זה לא מבטיח סוף טוב, רק מעלה מאוד את הסיכוי שלו. אני לא רואה רגולציה כזאת עוברת. זה כל כך רחוק מהשיח ומהשטויות שבני אדם מאמינים בהן, שאין בכלל על מה לדבר. קשה לי לראות איך רגולציה פחותה מזה תועיל, ואני בהחלט רואה איך רגולציה מוגבלת יכולה להזיק ולהגדיל את הסיכון.
ואפילו אם זה היה אפשרי, קשה לדעת בוודאות אם זה נכון, כי אולי באיזה נס זה יסתדר בלי זה, ואז החיים שלנו יהיו הרבה יותר טובים הרבה יותר מהר. כרגע אנחנו עושים הימור על חיי 8 מיליארד בני אדם, אבל זה המצב.

זה קיצוני מדי. בתור הרתעה לא חייבים ללכת לנשק גרעיני, יש מספיק צעדים מרתיעים עד לשם.

 

[ת.אוקהם]

ועוד דבר. בני אדם הם לא כאלה יצירתיים. הרבה מהטעויות שמודלי AI עושים הן בדיוק מסוג הטעויות שבני אדם עושים

1. המאמר לא עוסק ביצירתיות.
2. המאמר מראה לדוגמא שאם מחליפים את השם "משה" ל"חיים" בשאלה מתמטית אז הציונים של רבים מהמודלים במבחן המתמטי יורדים בצורה משמעותית, זו לא תופעה שמאפיינת בני אדם.

הבעיה במחקרים האלה שהם תמיד מפגרים יובלות אחרי המודלים המתקדמים ביותר (o1 של OpenAI, או o3 שטרם הושק).
תוצאות על 4o או את llama לא מעידות כמעט כלום לגבי o3.

לא נכון, המאמר סוקר גם את o1 וגם את גרסת המיני שלו.

באופן כללי, לגבי מודלי שפה, יש פה כמה שאלות אפשריות:

האם מודלי השפה מדהימים?
בהחלט, היכולות שלהם מרהיבות והם עושים דברים שנראו כמו מד"ב לפני שנים ספורות.

האם הגענו ל agi? האם הם "מבינים" או שהם "משננים"? האם יש להם רצון חופשי? האם ניתן להגיע ל agi בארכיטקטורה הנוכחית?
בניגוד לשאלה הראשונה, אני סבור שאת התשובות לשאלות הנ"ל ניתן לספק רק באמצעות מחקר מדעי מסודר ולא באמצעות זריקת משפטים מפוצצים לחלל האוויר אבל כל אחד זכאי לדעתו.

 

[Leo1]

זה קיצוני מדי. בתור הרתעה לא חייבים ללכת לנשק גרעיני, יש מספיק צעדים מרתיעים עד לשם.

לדעתי אפילו זה לא מספיק מרתיע כי יהיה תמריץ להסתיר את הפיתוח ואם מדינה תלך על זה ותפתח את היכולת, אז כל הנשק שבעולם לא יעזור לשאר המדינות.(ואולי גם למדינה שפיתחה את זה אם זה ישתבש)
אין לי מושג מה הפתרון הנכון, אבל נראה לי שבגלל חוסר היכולת להעביר רגולציה מספקת, עדיף לא לעשות רגולציה בכלל ועדיף שפוליטיקאים יהיו כמה שפחות מעורבים בסיפור. התקווה שלי היא שהאנשים שמפתחים את זה יהיו מספיק חכמים לעשות את זה נכון. הבעיה היא שמבנה התמריצים מכווין לפיתוח מהיר ככל האפשר. זה לא מתכון טוב.

 

[Leo1]

האם הגענו ל agi?

לדעתי כן.

האם הם "מבינים" או שהם "משננים"?

האם בני אדם מבינים או משננים?

האם יש להם רצון חופשי?

האם לבני אדם יש רצון חופשי? מה זה רצון חופשי בכלל?

האם ניתן להגיע ל agi בארכיטקטורה הנוכחית?

לדעתי כבר הגענו ל-AGI בסיסי. ברור לי גם מעל לכל ספק שמה שכבר קיים היום מאפשר תוך שנים ספורות הגעה לרמת תבונה על-אנושית בהרבה מאוד רמות מעלינו. ואפילו די קל לעשות את זה. זה מפחיד עד כמה זה קל.

בניגוד לשאלה הראשונה, אני סבור שאת התשובות לשאלות הנ"ל ניתן לספק רק באמצעות מחקר מדעי מסודר ולא באמצעות זריקת משפטים מפוצצים לחלל האוויר אבל כל אחד זכאי לדעתו.

לדעתי אין צורך בשום מחקר נוסף כדי להגיע למסקנות שהצגתי. אנחנו כבר יודעים מספיק כדי שהמסקנה תהיה ברורה. אין לי גם כוח להתווכח על זה יותר. פירטתי פה בעבר למה אני חושב ככה. יש פה הרבה שאלות פתוחות שאני לא יודע את התשובות עליהן. זאת לא אחת מהן, כי כאן התשובה ברורה לחלוטין.

 

[Leo]

ם רוצים לעשות רגולציה שתצמצם סיכונים, זה צריך לכל הפחות להיות משהו כזה:
1) איסור עולמי מוחלט על פיתוח בינה מלאכותית מעל סף מסויים(נמוך בהרבה מהמודלים שכבר קיימים היום)
2) במקרה שמתגלה שמדינה מפתחת בינה מלאכותית, שאר מדינות העולם יהיו מחוייבות לתקוף אותה בנשק גרעיני עד להשמדת כל יכולותיה הטכנולוגיות.
3) תוכנית עולמית להנדסה גנטית של בני אדם לשיפור האינטליגנציה והפחתת אינסטינקטים מזיקים.
4) הקמת גוף עולמי, שיאוייש בטובי המוחות, שיעסוק בפיתוח בינה מלאכותות מאוד לאט ובזהירות.

כלומר כדי למנוע דיסטופיה והשמדת האנושות אתה מציע צעדים שיגרמו ל... דיסטופיה והשמדת האנושות.

 

[Leo1]

כלומר כדי למנוע דיסטופיה והשמדת האנושות אתה צעדים שיגרמו ל... דיסטופיה והשמדת האנושות.

אני חושב שהנדסה גנטית של בני אדם לשיפור האינטליגניה היא בהחלט צעד חיובי מאוד, שבטח שלא יגרום לדיסטופיה. להיפך. זה צעד הכרחי אפילו בלי קשר לבינה המלאכותית. ללא הנדסה גנטית של בני אדם לתיקון מוטציות מזיקות, הדיסטופיה מובטחת. כתבתי על כך בעבר.
מלחמה גרעינית היא בהחלט דבר רע מאוד ומקווה שלא נגיע אליה. עדיף שפשוט כולם יחליטו על שלום עולמי. יש הצעות איך להשיג זאת? כי בלי שלום עולמי, פיתוח בטיחותי של בינה מלאכותית הוא בלתי אפשרי לדעתי.

 

[Leo1]

רוצים לדעת מי יותר חכם, בני אדם או ChatGPT? הנה הצעה שלי איך לבדוק. אחת המשימות שבני אדם מבצעים, שהכי משפיעה על העתיד שלהם, היא הצבעה בבחירות. בואו נעשה ניסוי. ניתן ל-ChatGPT לעבור על כל המידע הזמין באינטרנט על אנשי ציבור ואז להחליט על סמך מידע זה מי ימונה לכל תפקיד בממשלה. איזו ממשלה נראה לכם תעשה עבודה טובה יותר, הממשלה הנוכחית או הממשלה ש-ChatGPT יבחר?
אני חושב שכבר כיום ChatGPT חכם יותר מבן אדם ממוצע.

 

[חתול לילה]

אני חושב שכבר כיום ChatGPT חכם יותר מבן אדם ממוצע.

תתאר לו כללים של משחק שאתה ממציא, ואז תנסה לשחק מולו. סביר להניח שתקרע לו את הצורה.

 

[לנצח נתהה]

רוצים לדעת מי יותר חכם, בני אדם או ChatGPT? הנה הצעה שלי איך לבדוק. אחת המשימות שבני אדם מבצעים, שהכי משפיעה על העתיד שלהם, היא הצבעה בבחירות. בואו נעשה ניסוי. ניתן ל-ChatGPT לעבור על כל המידע הזמין באינטרנט על אנשי ציבור ואז להחליט על סמך מידע זה מי ימונה לכל תפקיד בממשלה. איזו ממשלה נראה לכם תעשה עבודה טובה יותר, הממשלה הנוכחית או הממשלה ש-ChatGPT יבחר?
אני חושב שכבר כיום ChatGPT חכם יותר מבן אדם ממוצע.

בחירה באיש ציבור כוללת גם הכרעות ערכיות שלא קשורות למידע ,כך שההצעה הזו לא רלוונטית

 

[Leo1]

בחירה באיש ציבור כוללת גם הכרעות ערכיות שלא קשורות למידע ,כך שההצעה הזו לא רלוונטית

כי הממשלה שעם ישראל בחר הם אנשים ערכיים אחד אחד.
הכישלון הגדול ביותר של בני האדם הוא בדיוק בהכרעות ערכיות. וזה גם מה שעלול להביא לסופינו.

 

[Leo1]

הפרופסור נדהם: "ההערות של המודל היו מעמיקות ומדויקות משלי"

***

www.themarker.com

x.com

x.com

זה המצב כיום. וזה עוד כלום לעומת מה שיהיה עוד שנה.

 

[paskar]

ניתן ל-ChatGPT לעבור על כל המידע הזמין באינטרנט על אנשי ציבור ואז להחליט על סמך מידע זה מי ימונה לכל תפקיד בממשלה.

להשוות תוצאה מעורפלת של משימה מעורפלת זו לא דרך להשוות אינטליגנציה או תודעה.

אגב, זה מזכיר סיפור קצר של אסימוב:

Franchise (short story) - Wikipedia

en.wikipedia.org

 

[מלפפון במלח]

רוצים לדעת מי יותר חכם, בני אדם או ChatGPT? הנה הצעה שלי איך לבדוק. אחת המשימות שבני אדם מבצעים, שהכי משפיעה על העתיד שלהם, היא הצבעה בבחירות. בואו נעשה ניסוי. ניתן ל-ChatGPT לעבור על כל המידע הזמין באינטרנט על אנשי ציבור ואז להחליט על סמך מידע זה מי ימונה לכל תפקיד בממשלה. איזו ממשלה נראה לכם תעשה עבודה טובה יותר, הממשלה הנוכחית או הממשלה ש-ChatGPT יבחר?
אני חושב שכבר כיום ChatGPT חכם יותר מבן אדם ממוצע.

זה לא השוואה נכונה. אתה משווה קבלת החלטות בקבוצה שתמיד כוללת פשרות, לבין קבלת החלטות של פרט.

תערוך הצבעה דמוקרטית של כל מודלי השפה השונים ונראה מה תקבל. זה ניסוי מעניין, דווח פה את התוצאות.

לדעתי כבר הגענו ל-AGI בסיסי

תוכל להרחיב? למה זה דעה ולא עובדה? אם AGI זה לא משהו שאפשר להוכיח או להפריך, אז למה אתה כל כך חושש ממנו? כל אחד ודעתו, לא?

 

[ת.אוקהם]

לדעתי כן.

אני אישית פחות מתעניין בדעות ויותר מנסה לחפור בעובדות.

לדעתי כבר הגענו ל-AGI בסיסי. ברור לי גם מעל לכל ספק שמה שכבר קיים היום מאפשר תוך שנים ספורות הגעה לרמת תבונה על-אנושית בהרבה מאוד רמות מעלינו. ואפילו די קל לעשות את זה. זה מפחיד עד כמה זה קל.

שוב, זו דעתך וזה אחלה, חשוב להדגיש שאלה לא עובדות ומחקרים כמו שהבאתי מראים שזה לא בהכרח נכון.

האם בני אדם מבינים או משננים?

שאלה טובה, להבנתי המאמר שהבאתי מרמז שרכיב השינון לעומת ההבנה אצל ה LLM שנבדקו גדול יותר מאצל בני אדם.

לדעתי אין צורך בשום מחקר נוסף כדי להגיע למסקנות שהצגתי.

סבבה, זו שוב דעה כאמור.

, כי כאן התשובה ברורה לחלוטין.

רק שוב להדגיש, זה שאתה בטוח לחלוטין שזה נכון לא הופך את זה לאמת, זו עדיין רק הדעה שלך.