על סף סינגולריות

[OnTheVerge]

לדעתך כדאי לקנות את 4 עבור עזרה בעבודת פיתוח תוכנה?

המודל הכי חזק בתכנות כיום הוא Claude 3 Opus.

אמנם שלשום OpenAI שיחררו מודל משופר של GPT-4 Turbo (שנקרא gpt-4-turbo-2024-04-09) אבל עדיין לא ברור איך הוא לעומת Claude 3 Opus, ויש דיווחים ראשוניים שהתשובות שלו עדיין עצלות.

אחי המתכנת משתמש ב-Claude 3 Opus ומאוד ממליץ.

 

[mudale222]

אולי קצת אוף טופיק אבל לא יודע אם סביר לפתוח שירשור חדש

לדעתך כדאי לקנות את 4 עבור עזרה בעבודת פיתוח תוכנה?

קניתי לחודש אחד את הgpt-4 ולא ראיתי הבדל משמעותי.
את הדברים הפשוטים שניהם עושים ביעילות ואת הדברים המסובכים שניהם כושלים לחלוטין.
זה לא יקר אז למה לא? תנסה מקסימום אל תמשיך איתו. אולי לשימושים שלך כן יהיה הבדל.

 

[OnTheVerge]

המודל הכי חזק בתכנות כיום הוא Claude 3 Opus.

אמנם שלשום OpenAI שיחררו מודל משופר של GPT-4 Turbo (שנקרא gpt-4-turbo-2024-04-09) אבל עדיין לא ברור איך הוא לעומת Claude 3 Opus, ויש דיווחים ראשוניים שהתשובות שלו עדיין עצלות.

אחי המתכנת משתמש ב-Claude 3 Opus ומאוד ממליץ.

רק רוצה לעדכן שלאחר שאחי התלהב מ-Claude 3 Opus, הוא עבר להתנסות ב-GPT-4o.

הוא העריך שהיכולות שלהם בכתיבת קוד יהיו דומות אבל הוא התבדה. לטענתו, GPT-4o טובה יותר באופן משמעותי אבל עדיין הוזה ודורשת פיקוח צמוד.

 

[AsherV]

בטווח הרחוק, היתרון היחידי של בנאדם יהיה האנושיות שלו. יהיה קשה לשים רובוט בתפקידים כמו פסיכולוג , עובד סוציאלי , רופא שמבשר למישהיא שהיא חולה בסרטן .

או באופן כללי, כל דבר שדורש אנושיות ולא רק דאטא.
פוסט שכתבתי בבלוג שלי.

 

[Leo1]

אני מתעקש לשאול למה אתה חושב ככה? איזה אינדיקציות חוץ מאינטואיציה יש לך שאנחנו בכלל קרובים לדבר הזה? עברה שנה מאז שchatgpt 3.5 נכנס לחיינו, מה אתה רואה שאני לא רואה שגורם לך לחשוב שהדבר הזה גדל אפילו לינארית בחכמה שלו? וmore of the same לא הופך את זה לחכם יותר (מבחינתי פתרון או תרגום של פתרון בעיות לוידאו/רובוט עם מוטוריקה עדינה/סאונד וניואנסים אינושיים במקום טקסט זה לא אינדיקציה ליכולת פתרון בעיות או למידה טובה יותר, זה פחות או יותר תרגום של הפתרון הטקסטואלי, למדיום אחר, גם אם זה דורש חומרה טובה יותר או רובוטיקה מסובכת וכו').

לא ראיתי סיבה להאמין, ולהבנתי גם האנשים בחזית הטכנולוגיה לא מאמינים, שאנחנו אפילו קרובים לAGI. ויש מי שמאמין שכל הכיוון הנוכחי של LLM בכלל לא יכול להגיע לשם ושהישועה תגיע ממקום אחר לגמרי.

זה סרטון קצר שמעביר את הנקודה שלי בצורה קצת יותר פורמאלית אבל עדיין בנפנוף ידיים, כמו שראוי לפורום לא טכני
https://www.youtube.com/watch?v=dDUC-LqVrPU

אני חייב לומר שגם באופן אישי אני כמובן לא רוצה לראות את המקצוע הלוקרטיבי שלי הולך והנעלם מהעולם (לדוגמא), לא רק בגלל הכסף אלא בגלל שבאמת לא הייתי רוצה לעשות שום דבר אחר ואני נהנה פחות או יותר מכל רגע, אבל עדיין האפשרות שאנחנו באמת לפני סינגולריות היא כ"כ מדהימה שהייתי מוכן לאבד הכל רק כדי לחזות בדבר הזה, ששוב לדעתי רחוק מאוד מאוד.

נתחיל ממה זה AGI. הדרך שבה אני תמיד הבנתי את המושג היא שבניגוד לבינה מלאכותית צרה, שעוסקת בפתרון מרחב בעיות מצומצם, בינה מלאכותית כללית(AGI) יכולה להתמודד עם מגוון רחב מאוד של בעיות, בדומה לבני האדם. היא לא חייבת לפתור אותן בצורה מושלמת(זה בלתי אפשרי). מספיק שהביצועים שלה יהיו דומים לאלה של בני אדם. לפי הגדרה זו, אני חושב ש GPT-4 ,4o הם כבר על סף AGI. יש להם ידע רחב יותר מלכל בן אדם. מבחינת יכולת החשיבה, הם ממש לא אינשטיין, אבל יחסית לבן אדם ממוצע הם לא רעים בכלל. יש כמה דברים שחסרים להם. מגבלה מרכזית שלהם כרגע היא שהם עובדים בערך ככה: אומרים לבן אדם משפט ומבקשים ממנו להמשיך אותו ולהגיד את המילה הראשונה שעולה לו בראש. אסור לו לחשוב. הוא צריך להגיד מיד את המילה הראשונה שעולה לו בראש. אז הוא צריך להגיד עוד מילה שעולה לו בראש להמשך וכך הלאה. אסור לו לעצור ולחשוב בכלל. כמה חכם יהיה מה שאדם כזה יגיד? כנראה לא כזה חכם, גם אם האדם הזה הוא אלברט אינשטיין. ועדיין, איזה פלא, המודלים האלה אומרים דברים די חכמים. עכשיו מה שצריך להוסיף להם זה יכולת לחשוב עם עצמם על מה שהם אומרים. זה הרבה יותר פשוט מהחלק שכבר קיים ועובד.
ולגבי החלק שכבר קיים ועובד, תראו איזו קפיצה מטורפת הייתה מ-GPT-2 ל-3.5 ל-4. השיפור הוא מטורף. סאם אלטמן אומר בראיונות שהגרסה הבאה תהיה הרבה יותר חכמה. אין שום סיבה הגיונית למה שהשיפור יאט. להיפך, יש הרבה סיבות למה הוא יגבר.
ראיתי טיפה מהקישור שצירפת. לא ראיתי הכל, אבל נראה לי שראיתי מספיק כדי לראות את הטיעון. הטיעון הוא שהשיפור יעצר כי יגמר המידע לאימון המודלים. זה שטויות. לפי אותו ההיגיון, האדם לעולם לא היה מתקדם מעבר לתקופת האבן כי לא היה לו מידע ללמוד ממנו. התשובה היא שהאדם יצר את המידע בעצמו ותוך אינטראקציה עם הסביבה. כך גם הבינה המאלכותית תוכל ליצור את המידע בעצמה. ואל תגידו שלבינה מלאכותית אין יצירתיות. תראו את התמונות של Midjourney. גם מודלים של בינה מלוכותית צרה נוטים להיות הרבה יותר יצירתיים מבני אדם בתחומם. כמובן במקביל החומרה מתפתחת. לאן נראה לכם הולכת כל החומרה ש-Nvidia מוכרת? כל החומרה הזאת הולכת לאימון מודלים חדשים. GPT 4 אומן על חומרה חלשה יותר ומעטה יותר ממה שיש בעולם כבר היום ובוודאי יחסית למה שיהיה עוד כמה שנים. כמובן שיש במקביל גם שיפורים אלגוריתמיים למודל עצמו ומסביבו. בינה מלאכותית משמשת כבר היום לשיפור של עצמה. בינתיים זה קורה עם אדם בלולאה(עד כמה שאנחנו יודעים), אבל זה בלתי נמנע שזה יתפתח למצב של שיפור עצמי ללא מגע יד אדם, ואז זה באמת יתפוצץ.
אנחנו בסה"כ קופים עם מוח גדול. התפתחנו לצוד ממוטות, להסתדר בתוך הקבוצה שלנו ולהילחם נגד קבוצות אחרות. וגם זה אנחנו כבר לא, כי בשלב מסויים הלחצים האבולוציוניים השתנו ועברנו מעליה באינליגנציה לירידה באינטליגנציה. בקצב הזה, עוד אלף שנה בני האדם יהיו די מטומטמים.
ברגע שאנחנו מגיעים ל-AGI חלש, ואנחנו כבר די שם, אין כבר שום מכשולים בדרך לסינגולריות (חוץ מחייזרים שיחליטו שאנחנו הופכים לאיום ויבואו לטפל בנו. זה תרחיש אפשרי אגב).
ברגע שאפשר יהיה להחליף מתכנתים ומהנדסים בבינה מלאכותית, השימוש היעיל ביותר של הבינה המלאכותית יהיה שיפור עצמי, וזה סוף הסיפור. המוח שלנו לא יכול לשפר את עצמו. אנחנו תקועים עם מה שיש לנו. מחשב זה סיפור אחר לגמרי. הוא יכול לשפר את התוכנה של עצמו ובהמשך גם את החומרה של עצמו. מהר מאוד זה יגיע לרמת אינטליגנציה שאנחנו לא יכולים לדמיין.

 

[oferM]

נתחיל ממה זה AGI. הדרך שבה אני תמיד הבנתי את המושג היא שבניגוד לבינה מלאכותית צרה, שעוסקת בפתרון מרחב בעיות מצומצם, בינה מלאכותית כללית(AGI) יכולה להתמודד עם מגוון רחב מאוד של בעיות, בדומה לבני האדם. היא לא חייבת לפתור אותן בצורה מושלמת(זה בלתי אפשרי). מספיק שהביצועים שלה יהיו דומים לאלה של בני אדם. לפי הגדרה זו, אני חושב ש GPT-4 ,4o הם כבר על סף AGI. יש להם ידע רחב יותר מלכל בן אדם. מבחינת יכולת החשיבה, הם ממש לא אינשטיין, אבל יחסית לבן אדם ממוצע הם לא רעים בכלל. יש כמה דברים שחסרים להם. מגבלה מרכזית שלהם כרגע היא שהם עובדים בערך ככה: אומרים לבן אדם משפט ומבקשים ממנו להמשיך אותו ולהגיד את המילה הראשונה שעולה לו בראש. אסור לו לחשוב. הוא צריך להגיד מיד את המילה הראשונה שעולה לו בראש. אז הוא צריך להגיד עוד מילה שעולה לו בראש להמשך וכך הלאה. אסור לו לעצור ולחשוב בכלל. כמה חכם יהיה מה שאדם כזה יגיד? כנראה לא כזה חכם, גם אם האדם הזה הוא אלברט אינשטיין. ועדיין, איזה פלא, המודלים האלה אומרים דברים די חכמים. עכשיו מה שצריך להוסיף להם זה יכולת לחשוב עם עצמם על מה שהם אומרים. זה הרבה יותר פשוט מהחלק שכבר קיים ועובד.
ולגבי החלק שכבר קיים ועובד, תראו איזו קפיצה מטורפת הייתה מ-GPT-2 ל-3.5 ל-4. השיפור הוא מטורף. סאם אלטמן אומר בראיונות שהגרסה הבאה תהיה הרבה יותר חכמה. אין שום סיבה הגיונית למה שהשיפור יאט. להיפך, יש הרבה סיבות למה הוא יגבר.
ראיתי טיפה מהקישור שצירפת. לא ראיתי הכל, אבל נראה לי שראיתי מספיק כדי לראות את הטיעון. הטיעון הוא שהשיפור יעצר כי יגמר המידע לאימון המודלים. זה שטויות. לפי אותו ההיגיון, האדם לעולם לא היה מתקדם מעבר לתקופת האבן כי לא היה לו מידע ללמוד ממנו. התשובה היא שהאדם יצר את המידע בעצמו ותוך אינטראקציה עם הסביבה. כך גם הבינה המאלכותית תוכל ליצור את המידע בעצמה. ואל תגידו שלבינה מלאכותית אין יצירתיות. תראו את התמונות של Midjourney. גם מודלים של בינה מלוכותית צרה נוטים להיות הרבה יותר יצירתיים מבני אדם בתחומם. כמובן במקביל החומרה מתפתחת. לאן נראה לכם הולכת כל החומרה ש-Nvidia מוכרת? כל החומרה הזאת הולכת לאימון מודלים חדשים. GPT 4 אומן על חומרה חלשה יותר ומעטה יותר ממה שיש בעולם כבר היום ובוודאי יחסית למה שיהיה עוד כמה שנים. כמובן שיש במקביל גם שיפורים אלגוריתמיים למודל עצמו ומסביבו. בינה מלאכותית משמשת כבר היום לשיפור של עצמה. בינתיים זה קורה עם אדם בלולאה(עד כמה שאנחנו יודעים), אבל זה בלתי נמנע שזה יתפתח למצב של שיפור עצמי ללא מגע יד אדם, ואז זה באמת יתפוצץ.
אנחנו בסה"כ קופים עם מוח גדול. התפתחנו לצוד ממוטות, להסתדר בתוך הקבוצה שלנו ולהילחם נגד קבוצות אחרות. וגם זה אנחנו כבר לא, כי בשלב מסויים הלחצים האבולוציוניים השתנו ועברנו מעליה באינליגנציה לירידה באינטליגנציה. בקצב הזה, עוד אלף שנה בני האדם יהיו די מטומטמים.
ברגע שאנחנו מגיעים ל-AGI חלש, ואנחנו כבר די שם, אין כבר שום מכשולים בדרך לסינגולריות (חוץ מחייזרים שיחליטו שאנחנו הופכים לאיום ויבואו לטפל בנו. זה תרחיש אפשרי אגב).
ברגע שאפשר יהיה להחליף מתכנתים ומהנדסים בבינה מלאכותית, השימוש היעיל ביותר של הבינה המלאכותית יהיה שיפור עצמי, וזה סוף הסיפור. המוח שלנו לא יכול לשפר את עצמו. אנחנו תקועים עם מה שיש לנו. מחשב זה סיפור אחר לגמרי. הוא יכול לשפר את התוכנה של עצמו ובהמשך גם את החומרה של עצמו. מהר מאוד זה יגיע לרמת אינטליגנציה שאנחנו לא יכולים לדמיין.

לא בטוח שצריך agi, בשביל להחליף חלק גדול מעבודת המתכנתים.llm יודעים ליצור קוד, וזה רק על בסיס השלמת המילה הבאה, פחות או יותר.

רק צריך משהו שיודע לעשות verification ברמה סבירה. ויש לנו המון. Test cases כתובים כדי ללמד מכונה את זה.

 

[who_knows]

נתחיל ממה זה AGI. הדרך שבה אני תמיד הבנתי את המושג היא שבניגוד לבינה מלאכותית צרה, שעוסקת בפתרון מרחב בעיות מצומצם, בינה מלאכותית כללית(AGI) יכולה להתמודד עם מגוון רחב מאוד של בעיות, בדומה לבני האדם. היא לא חייבת לפתור אותן בצורה מושלמת(זה בלתי אפשרי). מספיק שהביצועים שלה יהיו דומים לאלה של בני אדם. לפי הגדרה זו, אני חושב ש GPT-4 ,4o הם כבר על סף AGI. יש להם ידע רחב יותר מלכל בן אדם. מבחינת יכולת החשיבה, הם ממש לא אינשטיין, אבל יחסית לבן אדם ממוצע הם לא רעים בכלל. יש כמה דברים שחסרים להם. מגבלה מרכזית שלהם כרגע היא שהם עובדים בערך ככה: אומרים לבן אדם משפט ומבקשים ממנו להמשיך אותו ולהגיד את המילה הראשונה שעולה לו בראש. אסור לו לחשוב. הוא צריך להגיד מיד את המילה הראשונה שעולה לו בראש. אז הוא צריך להגיד עוד מילה שעולה לו בראש להמשך וכך הלאה. אסור לו לעצור ולחשוב בכלל. כמה חכם יהיה מה שאדם כזה יגיד? כנראה לא כזה חכם, גם אם האדם הזה הוא אלברט אינשטיין. ועדיין, איזה פלא, המודלים האלה אומרים דברים די חכמים. עכשיו מה שצריך להוסיף להם זה יכולת לחשוב עם עצמם על מה שהם אומרים. זה הרבה יותר פשוט מהחלק שכבר קיים ועובד.
ולגבי החלק שכבר קיים ועובד, תראו איזו קפיצה מטורפת הייתה מ-GPT-2 ל-3.5 ל-4. השיפור הוא מטורף. סאם אלטמן אומר בראיונות שהגרסה הבאה תהיה הרבה יותר חכמה. אין שום סיבה הגיונית למה שהשיפור יאט. להיפך, יש הרבה סיבות למה הוא יגבר.
ראיתי טיפה מהקישור שצירפת. לא ראיתי הכל, אבל נראה לי שראיתי מספיק כדי לראות את הטיעון. הטיעון הוא שהשיפור יעצר כי יגמר המידע לאימון המודלים. זה שטויות. לפי אותו ההיגיון, האדם לעולם לא היה מתקדם מעבר לתקופת האבן כי לא היה לו מידע ללמוד ממנו. התשובה היא שהאדם יצר את המידע בעצמו ותוך אינטראקציה עם הסביבה. כך גם הבינה המאלכותית תוכל ליצור את המידע בעצמה. ואל תגידו שלבינה מלאכותית אין יצירתיות. תראו את התמונות של Midjourney. גם מודלים של בינה מלוכותית צרה נוטים להיות הרבה יותר יצירתיים מבני אדם בתחומם. כמובן במקביל החומרה מתפתחת. לאן נראה לכם הולכת כל החומרה ש-Nvidia מוכרת? כל החומרה הזאת הולכת לאימון מודלים חדשים. GPT 4 אומן על חומרה חלשה יותר ומעטה יותר ממה שיש בעולם כבר היום ובוודאי יחסית למה שיהיה עוד כמה שנים. כמובן שיש במקביל גם שיפורים אלגוריתמיים למודל עצמו ומסביבו. בינה מלאכותית משמשת כבר היום לשיפור של עצמה. בינתיים זה קורה עם אדם בלולאה(עד כמה שאנחנו יודעים), אבל זה בלתי נמנע שזה יתפתח למצב של שיפור עצמי ללא מגע יד אדם, ואז זה באמת יתפוצץ.
אנחנו בסה"כ קופים עם מוח גדול. התפתחנו לצוד ממוטות, להסתדר בתוך הקבוצה שלנו ולהילחם נגד קבוצות אחרות. וגם זה אנחנו כבר לא, כי בשלב מסויים הלחצים האבולוציוניים השתנו ועברנו מעליה באינליגנציה לירידה באינטליגנציה. בקצב הזה, עוד אלף שנה בני האדם יהיו די מטומטמים.
ברגע שאנחנו מגיעים ל-AGI חלש, ואנחנו כבר די שם, אין כבר שום מכשולים בדרך לסינגולריות (חוץ מחייזרים שיחליטו שאנחנו הופכים לאיום ויבואו לטפל בנו. זה תרחיש אפשרי אגב).
ברגע שאפשר יהיה להחליף מתכנתים ומהנדסים בבינה מלאכותית, השימוש היעיל ביותר של הבינה המלאכותית יהיה שיפור עצמי, וזה סוף הסיפור. המוח שלנו לא יכול לשפר את עצמו. אנחנו תקועים עם מה שיש לנו. מחשב זה סיפור אחר לגמרי. הוא יכול לשפר את התוכנה של עצמו ובהמשך גם את החומרה של עצמו. מהר מאוד זה יגיע לרמת אינטליגנציה שאנחנו לא יכולים לדמיין.

זה לא בדיוק הטיעון של האדם בסרטון. הוא טוען שפשוט אין מידע לאמן את המודל על בעיות קשות, וכדי להגיע לAGI או אפילו משהו קרוב אליו צריך מודל שיודע להתמודד עם בעיות קשות ולא רק עם בעיות ג'נריות ומתועדות היטב.
אני חייב לומר שזו בדיוק החוויה שלי עם הצ'אטים למיניהם. הם מצטיינים בבעיות שהדוקומנטציה מתעדת היטב ושיקח לי כמה שעות להרכיב בעצמי ממקורות שונים באינטרנט, אבל ברגע שקצת חופרים להם ומעמיקים הם מתחילים להזות ולדבר שטויות. וזה עוד במשהו כמו קוד שלמעשה הם כבר אומנו על כל הדוקומנטציה הקיימת, על כל הספרים ועל כל stackoverflow וגיטהאב הפומבי (וכנראה הלא פומבי) וזה עדיין לא מצליח להמריא באמת.
וזה לא חכמה לומר שהמודל חכם יותר מכל אדם. גם מחשבון מלפני 40 שנה יכול לבצע חישובים שאף אדם לא יכול לבצע, זה עדיין לא אומר שהוא קרוב אפילו למה שמוח אנושי מסוגל. אגב אני מסכים עם זה שמודל AI יכול להיות שונה לחלוטין ממוח אנושי, חסר תודעה לחלוטין וחסר יכולת להתמודד עם מקרי הקצה שאדם יכול להתמודד, ועדיין להחליף אותו בסופו של דבר ברוב הפעילויות אם לא להרוג אותו לגמרי.

אנשים מזלזלים בscale של הבעיות, כאילו כל דבר שקצת קשה לעשות היום כי "חסרה חומרה" או כי "הבעיה לוקחת קצת יותר זמן ממה שאנחנו רוצים, ומחר תעבוד מהר יותר" אלו בעיות טריוויאליות. לעיתים קרובות אלו הבעיות העיקריות. הסיבוכיות והמהירות הן קריטיות באינספור בעיות שמגדירות את החיים של כולנו. כאשר עולים אפילו שלב אחד מעל מחלקת P מגיעים לבעיות שפשוט לא ניתן לפתור בפרק זמן סביר. על זה מושתת כל מערכת המסחר הדיגיטלי לדוגמא. נכון שעם מספיק כוח חישוב אפשר לפרוץ בbrute force כל הצפנה, אבל למי זה עוזר אם זה יקח כמה מאות שנים? כנ"ל הבעיה שמכונית אוטונומית מתמודדת איתה לפי מה שהבנתי, יש את כל המידע שהמכונית צריכה בחיישנים שהיא נעזרת בהם, אבל הכמות גדולה מדי כדי לקבל החלטה רק על בסיס המידע הזה, זה פשוט בלתי אפשרי עם החומרה הקיימת.
זה בכלל לא טריוויאלי שnvidia או כל אחד אחר, גם בהינתן משאבים אינסופיים, יצליחו לפתור בעיות שהמרכיב העיקרי שלהם הוא סיבוכיות זמן/מקום. זה בכלל לא טריוויאלי או מובן מאליו שההתקדמות תהיה אפילו לינארית, שלא לומר לא תגיע להתפוצצות שכולם מקווים אליה והיא הסינגולריות.

זה נכון שהמעבר לchat gpt 3.5 הפתיע את כולם. הוא הפתיע גם את המפתחים שלו עצמם אגב ולהבנתי אף אחד לא שם את האצבע על השלב שבו בדיוק זה המריא. מאז אני לא רואה משהו מדהים באותו הרמה, רק more fo the same but a little bit better.
סאם אלטמן הוא שקרן. זה הסיבה שרצו להעיף אותו לא מזמן, הייתי לוקח בעירבון מוגבל כל דבר שהוא או כל מנכ"ל מסחרי אחר אומר.

אגב לא פחות מעניין מכל זה, יש פיזיקאים כמו רוברט פנרוס שמאמינים שהמוח האנושי הוא בכלל לא חשיב (computable). צריך קצת רקע מתמטי להבין את המושג אבל בגדול זה אומר שלא ניתן לשחזר את מה שהולך במוח באמצעות מכונת טיורינג או כל מודל אחר שמייצג אלגוריתם כפי שהוגדר במאה שנה האחרונות. יש סיבות טובות להאמין בכך, להבנתי בעיקר בגלל היכולת שלנו לאינטואיציה בבעיות שאינן חשיבות, ושניתן להוכיח שאין להן הוכחה או הפרכה וכו'. זה נראה שבמוח קורה משהו שונה ממה שמודל חישוב היום יכול לעשות. זה כמובן לא אומר כלום בנוגע ליכולת של AI להחליף את האדם ללא שום תודעה. יש סופר מדע בדיוני מרתק בשם פיטר ווטס, הוא כתב ספר מעולה בשם Blindsight על חייזרים עם אפס תודעה אבל IQ גבוה פי כמה משל בני אדם, ולמעשה הטיעון הפילוסופי-פסאדו מדעי שלו הוא שרוב הפעולות שהאדם מבצע ודורשות כוח חישוב וכישרון (מהליכה, ראייה וכו' ועד אינטואיציה, הברקה, יצירתיות) הן למעשה פעולות לא מודעות לחלוטין, שהתודעה רק גונבת עליהן קרדיט. AI בהחלט יכול להיות לא מודע לחלוטין אבל עדיין יעיל בהמון דברים, אבל זה לא אומר שהוא יכול לממש את מה שהולך במוח בטח לא באמצעות LLM.

בחזרה לנושא התכנות שקרוב לליבי - הAI היום יכול לכתוב קוד, ורוב הקוד שמתכנתים כותבים הוא גם טריוויאלי וגם זבל מה שמתאים יופי לAI. אבל קוד זה בערך 20 אחוז מהעבודה, רוב העבודה היא לפרש את האבסטרקציה שבדרישה של אדם למשהו שניתן לבנות, ולבלתחזק מערכות קיימות להן לAI אין גישה כיום ויקח המון זמן לדעתי עד שחברות פרטיות יאפשרו לו גישה. הוא מעולה בbootstraping ובבעיות טריוויאליות ומתועדות היטב, זו החוויה האישית שלי בכל מקרה.

ועוד מילה בנוגע למידע. יש מי שמאמין שמידע סינטטי ומידע שAI מייצר כמו שאתם כיניתם אותו, ובצורה מסויימת גם מידע שהוא מקבל מהמשתמשים עצמם, רק מרעילים לו את המודל ומחזקים את ההזיות שלו. כלומר ללא אדם שבמודע מאמן אותו לפחות כרגע המודל ימשיך להזות ושזו תכונה בסיסית ומובנת באיך שהדברים האלו עובדים. מכונה שהוזת אפילו ב10% מהמקרים לא יכולה להחליף אדם לחלוטין, וניתן להתווכח שהשיפור בביצועים של האדם או המתכנת, אפילו אם ב90 אחוז או מאות אחוזים, לא שונה מהותית מהשיפור בביצועים שראינו בעשרות השנים האחרונות, ממעבר לשפות low level לשפות עיליות, ושימוש בכל מיני אבסטרקציות ואוטומציות של העבודה לארוך השנים.

רוברט פנרוס על המוח האנושי https://www.youtube.com/watch?v=YnXUuyfPK2A

פיטר ווטס, בלינדסייט (הספר כולו באינטרנט בחינם אגב, פורסם על ידי הסופר) https://rifters.com/real/Blindsight.htm

סאם אלטמן שקרן https://www.businessinsider.com/openai-board-member-details-sam-altman-lied-allegation-ousted-2024-5

 

[oferM]

זה לא בדיוק הטיעון של האדם בסרטון. הוא טוען שפשוט אין מידע לאמן את המודל על בעיות קשות, וכדי להגיע לAGI או אפילו משהו קרוב אליו צריך מודל שיודע להתמודד עם בעיות קשות ולא רק עם בעיות ג'נריות ומתועדות היטב.
אני חייב לומר שזו בדיוק החוויה שלי עם הצ'אטים למיניהם. הם מצטיינים בבעיות שהדוקומנטציה מתעדת היטב ושיקח לי כמה שעות להרכיב בעצמי ממקורות שונים באינטרנט, אבל ברגע שקצת חופרים להם ומעמיקים הם מתחילים להזות ולדבר שטויות. וזה עוד במשהו כמו קוד שלמעשה הם כבר אומנו על כל הדוקומנטציה הקיימת, על כל הספרים ועל כל stackoverflow וגיטהאב הפומבי (וכנראה הלא פומבי) וזה עדיין לא מצליח להמריא באמת.
וזה לא חכמה לומר שהמודל חכם יותר מכל אדם. גם מחשבון מלפני 40 שנה יכול לבצע חישובים שאף אדם לא יכול לבצע, זה עדיין לא אומר שהוא קרוב אפילו למה שמוח אנושי מסוגל. אגב אני מסכים עם זה שמודל AI יכול להיות שונה לחלוטין ממוח אנושי, חסר תודעה לחלוטין וחסר יכולת להתמודד עם מקרי הקצה שאדם יכול להתמודד, ועדיין להחליף אותו בסופו של דבר ברוב הפעילויות אם לא להרוג אותו לגמרי.

אנשים מזלזלים בscale של הבעיות, כאילו כל דבר שקצת קשה לעשות היום כי "חסרה חומרה" או כי "הבעיה לוקחת קצת יותר זמן ממה שאנחנו רוצים, ומחר תעבוד מהר יותר" אלו בעיות טריוויאליות. לעיתים קרובות אלו הבעיות העיקריות. הסיבוכיות והמהירות הן קריטיות באינספור בעיות שמגדירות את החיים של כולנו. כאשר עולים אפילו שלב אחד מעל מחלקת P מגיעים לבעיות שפשוט לא ניתן לפתור בפרק זמן סביר. על זה מושתת כל מערכת המסחר הדיגיטלי לדוגמא. נכון שעם מספיק כוח חישוב אפשר לפרוץ בbrute force כל הצפנה, אבל למי זה עוזר אם זה יקח כמה מאות שנים? כנ"ל הבעיה שמכונית אוטונומית מתמודדת איתה לפי מה שהבנתי, יש את כל המידע שהמכונית צריכה בחיישנים שהיא נעזרת בהם, אבל הכמות גדולה מדי כדי לקבל החלטה רק על בסיס המידע הזה, זה פשוט בלתי אפשרי עם החומרה הקיימת.
זה בכלל לא טריוויאלי שnvidia או כל אחד אחר, גם בהינתן משאבים אינסופיים, יצליחו לפתור בעיות שהמרכיב העיקרי שלהם הוא סיבוכיות זמן/מקום. זה בכלל לא טריוויאלי או מובן מאליו שההתקדמות תהיה אפילו לינארית, שלא לומר לא תגיע להתפוצצות שכולם מקווים אליה והיא הסינגולריות.

זה נכון שהמעבר לchat gpt 3.5 הפתיע את כולם. הוא הפתיע גם את המפתחים שלו עצמם אגב ולהבנתי אף אחד לא שם את האצבע על השלב שבו בדיוק זה המריא. מאז אני לא רואה משהו מדהים באותו הרמה, רק more fo the same but a little bit better.
סאם אלטמן הוא שקרן. זה הסיבה שרצו להעיף אותו לא מזמן, הייתי לוקח בעירבון מוגבל כל דבר שהוא או כל מנכ"ל מסחרי אחר אומר.

אגב לא פחות מעניין מכל זה, יש פיזיקאים כמו רוברט פנרוס שמאמינים שהמוח האנושי הוא בכלל לא חשיב (computable). צריך קצת רקע מתמטי להבין את המושג אבל בגדול זה אומר שלא ניתן לשחזר את מה שהולך במוח באמצעות מכונת טיורינג או כל מודל אחר שמייצג אלגוריתם כפי שהוגדר במאה שנה האחרונות. יש סיבות טובות להאמין בכך, להבנתי בעיקר בגלל היכולת שלנו לאינטואיציה בבעיות שאינן חשיבות, ושניתן להוכיח שאין להן הוכחה או הפרכה וכו'. זה נראה שבמוח קורה משהו שונה ממה שמודל חישוב היום יכול לעשות. זה כמובן לא אומר כלום בנוגע ליכולת של AI להחליף את האדם ללא שום תודעה. יש סופר מדע בדיוני מרתק בשם פיטר ווטס, הוא כתב ספר מעולה בשם Blindsight על חייזרים עם אפס תודעה אבל IQ גבוה פי כמה משל בני אדם, ולמעשה הטיעון הפילוסופי-פסאדו מדעי שלו הוא שרוב הפעולות שהאדם מבצע ודורשות כוח חישוב וכישרון (מהליכה, ראייה וכו' ועד אינטואיציה, הברקה, יצירתיות) הן למעשה פעולות לא מודעות לחלוטין, שהתודעה רק גונבת עליהן קרדיט. AI בהחלט יכול להיות לא מודע לחלוטין אבל עדיין יעיל בהמון דברים, אבל זה לא אומר שהוא יכול לממש את מה שהולך במוח בטח לא באמצעות LLM.

בחזרה לנושא התכנות שקרוב לליבי - הAI היום יכול לכתוב קוד, ורוב הקוד שמתכנתים כותבים הוא גם טריוויאלי וגם זבל מה שמתאים יופי לAI. אבל קוד זה בערך 20 אחוז מהעבודה, רוב העבודה היא לפרש את האבסטרקציה שבדרישה של אדם למשהו שניתן לבנות, ולבלתחזק מערכות קיימות להן לAI אין גישה כיום ויקח המון זמן לדעתי עד שחברות פרטיות יאפשרו לו גישה. הוא מעולה בbootstraping ובבעיות טריוויאליות ומתועדות היטב, זו החוויה האישית שלי בכל מקרה.

ועוד מילה בנוגע למידע. יש מי שמאמין שמידע סינטטי ומידע שAI מייצר כמו שאתם כיניתם אותו, ובצורה מסויימת גם מידע שהוא מקבל מהמשתמשים עצמם, רק מרעילים לו את המודל ומחזקים את ההזיות שלו. כלומר ללא אדם שבמודע מאמן אותו לפחות כרגע המודל ימשיך להזות ושזו תכונה בסיסית ומובנת באיך שהדברים האלו עובדים. מכונה שהוזת אפילו ב10% מהמקרים לא יכולה להחליף אדם לחלוטין, וניתן להתווכח שהשיפור בביצועים של האדם או המתכנת, אפילו אם ב90 אחוז או מאות אחוזים, לא שונה מהותית מהשיפור בביצועים שראינו בעשרות השנים האחרונות, ממעבר לשפות low level לשפות עיליות, ושימוש בכל מיני אבסטרקציות ואוטומציות של העבודה לארוך השנים.

רוברט פנרוס על המוח האנושי https://www.youtube.com/watch?v=YnXUuyfPK2A

פיטר ווטס, בלינדסייט (הספר כולו באינטרנט בחינם אגב, פורסם על ידי הסופר) https://rifters.com/real/Blindsight.htm

סאם אלטמן שקרן https://www.businessinsider.com/openai-board-member-details-sam-altman-lied-allegation-ousted-2024-5

אתה יכול להרחיב בבקשה על זה: "יש סיבות טובות להאמין בכך, להבנתי בעיקר בגלל היכולת שלנו לאינטואיציה בבעיות שאינן חשיבות, ושניתן להוכיח שאין להן הוכחה או הפרכה וכו'."?

 

[who_knows]

אתה יכול להרחיב בבקשה על זה: "יש סיבות טובות להאמין בכך, להבנתי בעיקר בגלל היכולת שלנו לאינטואיציה בבעיות שאינן חשיבות, ושניתן להוכיח שאין להן הוכחה או הפרכה וכו'."?

תשמע יש לי בסה"כ תואר ראשון במדעי המחשב, ההרצאות של פנרוס הם מקום טוב להתחיל בו, אבל אני אנסה.
יש בעיות במתמטיקה ומדעי המחשב שניתן להראות ששום מכונת טיורינג לא יכולה לפתור. זאת אומרת לא ניתן ע"י אלגוריתם (ע"פ הגדרת אלגוריתם של מיטב המוחות, כלומר משהו שמכונת טיורינג או מודל מקביל יכול לפתור) להגיע לפתרון בהן. זה בלי אפילו להיכנס לשאלת הסיבוכיות או הזמן שיקח לפתור את הבעיה, כאן מדובר פרופר על בעיות שניתן להוכיח שאי אפשר לפתור. יש פה דוגמא לכמה בעיות כאלו https://en.wikipedia.org/wiki/List_of_undecidable_problems. הטיעון של פנרוס לא מוגבל רק לבעיות כאלו אבל זה בנפנוף ידים הרעיון הכללי.

עכשיו היופי פה הוא שמדובר בבעיות ששום מחשב לא יכול לפתור, אבל למוח האנושי יש את היכולת לתפוס, לגזור מהן אינטואיציה, לעשות מהן היגיון. זה בגדול הרעיון ופנרוס נוגע בעוד נקודות בגללן הוא מאמין שהמוח מה לעשות הוא לא מחשב.

בנוסף לזה יש אספקט בתיזה שלו שנוגע למשפטי חוסר השלמות של גדל https://he.wikipedia.org/wiki/משפטי_האי-שלמות_של_גדל
עכשיו אני לא אתיימר לומר שאני מבין אותם אפילו בצורה שטחית, זה הרבה מעבר להשכלה שלי, אבל בגדול להבנתי הרעיון הוא שעם כל מערכת הסקנת מסקנות המבוססת על אקסיומות, כולל המערכות עליהן מבוססות אלגוריתמים, יש חורים וחוסר עקביות, ומשפטים שלא ניתן להוכיח או להפריך. ויחד עם זאת המוח האנושי מסוגל להסתכל על המערכת השלמה, מבחוץ, ולהסיק ממנה מסקנות ולראות דברים. משהו בסגנון הזה. צריך לעשות קצת שיעורי בית כדי להבין יותר, והחלק הראשון שנוגע לבעיות לא חשיבות לי אישית יותר אינטואטיבי, אבל לי לפחות אין ספק שיש פה משהו.

עכשיו זה אינטואטיבית אולי סיבה ללמה AI לא יכול, לפחות לא עם מודל חישוב כמו שיש היום, לחקות לחלוטין את המוח האנושי. הוא אולי יוכל לחקות ברמה מספיק טובה ברוב תחומי החיים כדי לעבוד עלינו (כמו החדר הסיני שchat gpt כבר מתקרב אליו כמו שמישהו בתחילת הדיון פה הזכיר), או סתם מספיק טוב כדי להחליף אותנו, אבל הוא לא יוכל למממש לחלוטין את התודעה האנושית. זאת אומרת משהו ילך לאיבוד אם אנחנו נעלם, משהו שלא ברור בכלל שמחשב יוכל להחליף.

 

[Leo1]

תשמע יש לי בסה"כ תואר ראשון במדעי המחשב, ההרצאות של פנרוס הם מקום טוב להתחיל בו, אבל אני אנסה.
יש בעיות במתמטיקה ומדעי המחשב שניתן להראות ששום מכונת טיורינג לא יכולה לפתור. זאת אומרת לא ניתן ע"י אלגוריתם (ע"פ הגדרת אלגוריתם של מיטב המוחות, כלומר משהו שמכונת טיורינג או מודל מקביל יכול לפתור) להגיע לפתרון בהן. זה בלי אפילו להיכנס לשאלת הסיבוכיות או הזמן שיקח לפתור את הבעיה, כאן מדובר פרופר על בעיות שניתן להוכיח שאי אפשר לפתור. יש פה דוגמא לכמה בעיות כאלו https://en.wikipedia.org/wiki/List_of_undecidable_problems. הטיעון של פנרוס לא מוגבל רק לבעיות כאלו אבל זה בנפנוף ידים הרעיון הכללי.

עכשיו היופי פה הוא שמדובר בבעיות ששום מחשב לא יכול לפתור, אבל למוח האנושי יש את היכולת לתפוס, לגזור מהן אינטואיציה, לעשות מהן היגיון. זה בגדול הרעיון ופנרוס נוגע בעוד נקודות בגללן הוא מאמין שהמוח מה לעשות הוא לא מחשב.

בנוסף לזה יש אספקט בתיזה שלו שנוגע למשפטי חוסר השלמות של גדל https://he.wikipedia.org/wiki/משפטי_האי-שלמות_של_גדל
עכשיו אני לא אתיימר לומר שאני מבין אותם אפילו בצורה שטחית, זה הרבה מעבר להשכלה שלי, אבל בגדול להבנתי הרעיון הוא שעם כל מערכת הסקנת מסקנות המבוססת על אקסיומות, כולל המערכות עליהן מבוססות אלגוריתמים, יש חורים וחוסר עקביות, ומשפטים שלא ניתן להוכיח או להפריך. ויחד עם זאת המוח האנושי מסוגל להסתכל על המערכת השלמה, מבחוץ, ולהסיק ממנה מסקנות ולראות דברים. משהו בסגנון הזה. צריך לעשות קצת שיעורי בית כדי להבין יותר, והחלק הראשון שנוגע לבעיות לא חשיבות לי אישית יותר אינטואטיבי, אבל לי לפחות אין ספק שיש פה משהו.

עכשיו זה אינטואטיבית אולי סיבה ללמה AI לא יכול, לפחות לא עם מודל חישוב כמו שיש היום, לחקות לחלוטין את המוח האנושי. הוא אולי יוכל לחקות ברמה מספיק טובה ברוב תחומי החיים כדי לעבוד עלינו (כמו החדר הסיני שchat gpt כבר מתקרב אליו כמו שמישהו בתחילת הדיון פה הזכיר), או סתם מספיק טוב כדי להחליף אותנו, אבל הוא לא יוכל למממש לחלוטין את התודעה האנושית. זאת אומרת משהו ילך לאיבוד אם אנחנו נעלם, משהו שלא ברור בכלל שמחשב יוכל להחליף.

כל המגבלות שחלות על המחשב חלות גם על המוח האנושי(אלא אם כן המוח האנושי מממש מחשב קוונטי, מה שנראה מאוד מאוד לא סביר. גם אז אבל אפשר פשוט לעבור לדבר על מחשב קוונטי במקום מחשב קלאסי). המוח הוא בסה"כ סוג של מחשב. הוא סוחב מאחוריו את כל ההיסטוריה האבולוציונית. לטעון שמחשב לא יכול להיות יותר חכם מהאדם הוא כמו לטעון שמטוס או חללית לא יכולים להיות יותר מהירים מציפור.
כבר היום בינה מלאכיתית פותרת בעיות, שלמוח האנושי אין שום סיכוי מולן. דוגמה מובהקת היא חיזוי מבנה חלבונים. זאת נחשבה לבעיה בלתי פתירה. לא רק שזאת בעיה שהאדם לא יכול לפתור בראש, אלא שהוא לא יכול לפתור אותה גם בעזרת מחשב על, אם הוא צריך לכתוב את האלגוריתם בעצמו. לאף אחד לא היה מושג איך כותבים אלגוריתם כזה וזאת נחשבה לבעיה בלתי פתירה. זאת גם לא בעיה זניחה, אלא בעיה מרכזית ביותר במדעי החיים והרפואה, בעלת ערך כלכלי אדיר, שטובי המוחות עבדו עליה ללא הצלחה. ואז יום אחד גוגל הודיעו שהבינה המלאכותית שלהם פתרה את הבעיה. זה גם מפריך את הטענה הבאה:

זה לא בדיוק הטיעון של האדם בסרטון. הוא טוען שפשוט אין מידע לאמן את המודל על בעיות קשות

הנה בעיה קשה ביותר. לאף אחד לא היה מושג איך פותרים אותה. כל מה שהיה הוא תוצאות של מדידות פיזיקלית של חלבונים מסויימים ולא של אחרים, וגם זה עם שגיאות ואי וודאות. והנה המחשב גילה איך פותרים את הבעיה. כך יקרה גם עם בעיות אחרות, כאלה שאנחנו יודעים לפתור, כאלה שאנחנו לא יודעים לפתור, וכאלה שאנחנו אפילו לא יודעים לשאול. יש כמובן בעיות בלתי פתירות, אבל עניין תיארטי בלבד. גם האדם לא יודע כמובן לפתור אותן.

 

[Leo1]

אגב מהניסיון שלי עם GPT 4o, לפעמים הוא עושה טעויות, אבל הוא נוטה לעשות טעיות דומות למה שבני אדם עושים. למשל: שאלתי אותו שאלה בפיזיקה. הוא נתן תשובה שגויה, שהיא התשובה שאדם ממוצע, שלא מבין פיזיקה צפוי לתת. אז אמרתי לו: תניח שאתה פיזיקאי ותן בבקשה תשובה מדוייקת, ואז שאלתי את אותה השאלה. אז הוא השקיע יותר ונתן תשובה מדוייקת. גם בנושאים אחרים יש לו נטיה לטעות בדיוק איפה שרוב בני האדם טועים. גם הקטע של לתת תשובות שגויות בביטחון מלא זה בדיוק מה שרוב בני האדם עושים, וגם מה שרוב בני האדם מעריכים הרבה יותר מתשובות נכונות.

 

[ת.אוקהם]

עכשיו זה אינטואטיבית אולי סיבה ללמה AI לא יכול, לפחות לא עם מודל חישוב כמו שיש היום, לחקות לחלוטין את המוח האנושי. הוא אולי יוכל לחקות ברמה מספיק טובה ברוב תחומי החיים כדי לעבוד עלינו (כמו החדר הסיני שchat gpt כבר מתקרב אליו כמו שמישהו בתחילת הדיון פה הזכיר), או סתם מספיק טוב כדי להחליף אותנו, אבל הוא לא יוכל למממש לחלוטין את התודעה האנושית. זאת אומרת משהו ילך לאיבוד אם אנחנו נעלם, משהו שלא ברור בכלל שמחשב יוכל להחליף.

אני רק אציין שכדי להפוך את הדיון הפילוסופי הזה לטענה מדעית מדידה צריך למצוא סט של משימות שאותן בני אדם יכולים לבצע ומודלי השפה הנוכחיים (ואולי כל מחשב מבוסס מכונת טיורינג לטענתך) לא יכולים לבצע.

הנה בעיה קשה ביותר. לאף אחד לא היה מושג איך פותרים אותה. כל מה שהיה הוא תוצאות של מדידות פיזיקלית של חלבונים מסויימים ולא של אחרים, וגם זה עם שגיאות ואי וודאות. והנה המחשב גילה איך פותרים את הבעיה. כך יקרה גם עם בעיות אחרות, כאלה שאנחנו יודעים לפתור, כאלה שאנחנו לא יודעים לפתור, וכאלה שאנחנו אפילו לא יודעים לשאול. יש כמובן בעיות בלתי פתירות, אבל עניין תיארטי בלבד. גם האדם לא יודע כמובן לפתור אותן.

לא צריך ללכת לקיפול חלבונים, מספיק להסתכל על הנסיונות של בני האדם לעשות computer vision לפני שהתחילו להשתמש ב deep learning (רמז, זה לא ממש הצליח).
עם זאת, העובדה שרשת נוירונים מצליחה לפתור בעיה שבני אדם לא מצליחים לא אומרת שהיא AGI או מתקדמת לקראת AGI.

 

[who_knows]

כל המגבלות שחלות על המחשב חלות גם על המוח האנושי(אלא אם כן המוח האנושי מממש מחשב קוונטי, מה שנראה מאוד מאוד לא סביר. גם אז אבל אפשר פשוט לעבור לדבר על מחשב קוונטי במקום מחשב קלאסי). המוח הוא בסה"כ סוג של מחשב. הוא סוחב מאחוריו את כל ההיסטוריה האבולוציונית. לטעון שמחשב לא יכול להיות יותר חכם מהאדם הוא כמו לטעון שמטוס או חללית לא יכולים להיות יותר מהירים מציפור.
כבר היום בינה מלאכיתית פותרת בעיות, שלמוח האנושי אין שום סיכוי מולן. דוגמה מובהקת היא חיזוי מבנה חלבונים. זאת נחשבה לבעיה בלתי פתירה. לא רק שזאת בעיה שהאדם לא יכול לפתור בראש, אלא שהוא לא יכול לפתור אותה גם בעזרת מחשב על, אם הוא צריך לכתוב את האלגוריתם בעצמו. לאף אחד לא היה מושג איך כותבים אלגוריתם כזה וזאת נחשבה לבעיה בלתי פתירה. זאת גם לא בעיה זניחה, אלא בעיה מרכזית ביותר במדעי החיים והרפואה, בעלת ערך כלכלי אדיר, שטובי המוחות עבדו עליה ללא הצלחה. ואז יום אחד גוגל הודיעו שהבינה המלאכותית שלהם פתרה את הבעיה. זה גם מפריך את הטענה הבאה:

הנה בעיה קשה ביותר. לאף אחד לא היה מושג איך פותרים אותה. כל מה שהיה הוא תוצאות של מדידות פיזיקלית של חלבונים מסויימים ולא של אחרים, וגם זה עם שגיאות ואי וודאות. והנה המחשב גילה איך פותרים את הבעיה. כך יקרה גם עם בעיות אחרות, כאלה שאנחנו יודעים לפתור, כאלה שאנחנו לא יודעים לפתור, וכאלה שאנחנו אפילו לא יודעים לשאול. יש כמובן בעיות בלתי פתירות, אבל עניין תיארטי בלבד. גם האדם לא יודע כמובן לפתור אותן.

זה עדיין לא אינדיקציה שאנחנו קרובים לסינגולריות. נכון להיום אין אינדיקציה כזו והפיתוחים האחרונים בAI לא מקרבים אותנו לשם לעניות דעתי הצנועה.

ברור שיש בעיות שלא היינו מתקרבים לפתור בלי מחשבים, ויש בעיות שאין להן פתרון כללי אלא רק מקורב ושם רק מחשב יכול להיות פרקטי ולהביא אותנו לפתרון קרוב ככל שנרצה וזה מספיק, אבל הדיון הוא AGI (ואולי קצת ההבדל בין מחשב למוח). אני לא מכיר את הבעיה של חיזוי מבנה חלבונים אבל אני מנחש שזו בעיה ספציפית שהמודל אומן עליה היטב. עריכה: אני מניח שאתה מדבר על https://en.wikipedia.org/wiki/AlphaFold מהערך בויקיפדיה ברור שאימנו את המודל ספציפית על הבעיה הזו ולא מעט. זו לא תכונה שפשוט התפרצה ספונטנית.

כיום אף אחד לא באמת יודע איך המוח והתודעה עובדים, יש ניחושים שמדובר אולי בתהליך קוונטי, אולי כן, אולי לא, אולי אופציה אחרת שנסתרת מהעיניים שלנו. הטיעון של פנרוס שאגב לא כולם מקבלים אותו, הוא שיש משהו במוח שחורג מהמודל המסורתי של מחשב (וזה אגב לא משנה אם זה קוונטי או לא). זה טיעון אינטואטיבי בנפנוף ידיים בטח איך שאני מציג אותו פה, אבל אינטואטיבית מרגיש לי שבהחלט יכול להיות שיש פה משהו שAI לא יכול לשחזר במלואו, גם אם זה לא נדרש כדי ליצור משהו שאנחנו נזהה כAGI. וזה לא משנה שאלו בעיות שגם בן אדם לא יוכל לפתור, הנקודה היא שאתה יכול לדון בבעיות האלו ולהסיק מהן אינטואיציה, למדל אותן במוח שלך למרות שמכונת טיורינג לא יכולה. אתה יכול להסתכל על מערכת לא שלמה מבחוץ. זה משהו שקצת קשה לתפוס בצורה פורמלית אבל שוב פעם אינטואטיבית יכול להיות שיש פה משהו.

 

[who_knows]

אגב מהניסיון שלי עם GPT 4o, לפעמים הוא עושה טעויות, אבל הוא נוטה לעשות טעיות דומות למה שבני אדם עושים. למשל: שאלתי אותו שאלה בפיזיקה. הוא נתן תשובה שגויה, שהיא התשובה שאדם ממוצע, שלא מבין פיזיקה צפוי לתת. אז אמרתי לו: תניח שאתה פיזיקאי ותן בבקשה תשובה מדוייקת, ואז שאלתי את אותה השאלה. אז הוא השקיע יותר ונתן תשובה מדוייקת. גם בנושאים אחרים יש לו נטיה לטעות בדיוק איפה שרוב בני האדם טועים. גם הקטע של לתת תשובות שגויות בביטחון מלא זה בדיוק מה שרוב בני האדם עושים, וגם מה שרוב בני האדם מעריכים הרבה יותר מתשובות נכונות.

גם אם הוא יצליח לחקות את הדרך שבא אנשים משיבים על שאלות זה לא אומר שהוא יהפוך לAGI. כדי להיות AGI אמיתי במודל הסינגולרי הוא צריך להיות מסוגל לשפר את עצמו בצורה מעריכית. אפילו אם הוא יוכל לחקות אדם בצורה מושלמת הוא עדיין לא יהיה שם. יכול להיות שנקבל מיני AGI שטוב כמו אדם ברוב המשימות אבל זה עדיין לא פתח לסינגולריות.

 

[who_knows]

אני רק אציין שכדי להפוך את הדיון הפילוסופי הזה לטענה מדעית מדידה צריך למצוא סט של משימות שאותן בני אדם יכולים לבצע ומודלי השפה הנוכחיים (ואולי כל מחשב מבוסס מכונת טיורינג לטענתך) לא יכולים לבצע.

לפי מה שאני מבין מפנרוס, סט המשימות הזה הוא ההבנה במוחם של אנשים את אמיתות טענות מסויימות על מספרים טבעיים, שלא ניתן להוכיח ע"י סדרה של טיעונים מתמטיים בשום מערכת לוגית (מבלי לסתור את האקסיומות של המערכת עצמה). צריך לקרוא את הספר שלו כדי להבין בדיוק למה הוא מתכוון (וצריך בסיס מתמטי אני מניח), אבל יש פה לפחות משימה אחת קונקרטית על פניו.

 

[Leo1]

זה עדיין לא אינדיקציה שאנחנו קרובים לסינגולריות. נכון להיום אין אינדיקציה כזו והפיתוחים האחרונים בAI לא מקרבים אותנו לשם לעניות דעתי הצנועה.

איזו אינדיקציה היית מצפה לראות כסימן שמתקרבים לסינגולריות?

גם אם הוא יצליח לחקות את הדרך שבא אנשים משיבים על שאלות זה לא אומר שהוא יהפוך לAGI. כדי להיות AGI אמיתי במודל הסינגולרי הוא צריך להיות מסוגל לשפר את עצמו בצורה מעריכית. אפילו אם הוא יוכל לחקות אדם בצורה מושלמת הוא עדיין לא יהיה שם. יכול להיות שנקבל מיני AGI שטוב כמו אדם ברוב המשימות אבל זה עדיין לא פתח לסינגולריות.

בוודאי שכן. אם המחשב יוכל להחליף כל מהנדס ומתכנת אנושי, הוא יוכל לשפר את עצמו, ואז יהפוך לחכם יותר וישפר את עצמו עוד יותר מהר וכך הלאה. יש לו גם הרבה יכולות שאין לבני אדם. אנחנו לא יכולים לשכתב את התוכנה של עצמינו(ואין לנו בכלל תוכנה) ולא יכולים לשפר את החומרה(וגם אם יכולים, כרגע יש איסור גורף על זה בכל העולם. מצחיק אגב שאת זה אסרו, ואת הדבר המסוכן באמת כולם עושים)

 

[Leo1]

לפי מה שאני מבין מפנרוס, סט המשימות הזה הוא ההבנה במוחם של אנשים את אמיתות טענות מסויימות על מספרים טבעיים, שלא ניתן להוכיח ע"י סדרה של טיעונים מתמטיים בשום מערכת לוגית (מבלי לסתור את האקסיומות של המערכת עצמה). צריך לקרוא את הספר שלו כדי להבין בדיוק למה הוא מתכוון (וצריך בסיס מתמטי אני מניח), אבל יש פה לפחות משימה אחת קונקרטית על פניו.

מה? אתה צריך להגדיר בבירור בעיות שאדם יכול לפתור ומחשב לא.(אני די בטוח שאין ולא יכולות להיות כאלה)

 

[who_knows]

איזו אינדיקציה היית מצפה לראות כסימן שמתקרבים לסינגולריות?

בוודאי שכן. אם המחשב יוכל להחליף כל מהנדס ומתכנת אנושי, הוא יוכל לשפר את עצמו, ואז יהפוך לחכם יותר וישפר את עצמו עוד יותר מהר וכך הלאה. יש לו גם הרבה יכולות שאין לבני אדם. אנחנו לא יכולים לשכתב את התוכנה של עצמינו(ואין לנו בכלל תוכנה) ולא יכולים לשפר את החומרה(וגם אם יכולים, כרגע יש איסור גורף על זה בכל העולם. מצחיק אגב שאת זה אסרו, ואת הדבר המסוכן באמת כולם עושים)

אם היו מציגים יכולות חדשות שונות משמעותית ממה ש GPT 3.5 הראה בשנה שחלפה מאז שוחרר אולי זו היתה אינדיקציה. בנתיים אלו רק גימיקים מרשימים כמו תרגום התשובות הטקסטואליות שלו לתנועה של רובוט או תמונה/וידאו. אלו הישגים מטורפים בפני עצמם אבל לא מעידים לדעתי על גדילה ביכולת הבסיסית של המודל לפתור בעיות מתוחכמות יותר באופן משמעותי או על כך שהמודל חכם יותר.

כבר היום GPT מחקה את הדרך שבא אנשים משיבים על שאלות, הוא פשוט נשבר בדברים מסובכים. בצורה השטחית ביותר הוא דמוי AGI, פשוט החלק של הGeneral מאוד מוגבל. הוא עדיין לא מסוגל לשפר את עצמו באופן מעריכי (או אולי בכלל? תהליך הלמידה שלו הוא לא עצמאי בכל מקרה ודורש התערבות אנושית וניקוי של זבל מתמיד), ועם כמה שהוא מרשים יכול להיות שזה בכלל לא הכיוון ממנו יגיע AGI אמיתי וגם המפתחים של המודלים האלו אומרים את זה.

 

[who_knows]

מה? אתה צריך להגדיר בבירור בעיות שאדם יכול לפתור ומחשב לא.(אני די בטוח שאין ולא יכולות להיות כאלה)

ניסיתי כמיטב יכולתי להסביר אנקדוטה על מה שנראה כבעיה כזו, אין לי כלים לפרמל את זה מעבר. אולי בספרים של רוג'ר פנרוס זה מוסבר בצורה פורמלית יותר אבל אני בספק שזה יספק את מה שאתם מבקשים.

 

[oferM]

תשמע יש לי בסה"כ תואר ראשון במדעי המחשב, ההרצאות של פנרוס הם מקום טוב להתחיל בו, אבל אני אנסה.
יש בעיות במתמטיקה ומדעי המחשב שניתן להראות ששום מכונת טיורינג לא יכולה לפתור. זאת אומרת לא ניתן ע"י אלגוריתם (ע"פ הגדרת אלגוריתם של מיטב המוחות, כלומר משהו שמכונת טיורינג או מודל מקביל יכול לפתור) להגיע לפתרון בהן. זה בלי אפילו להיכנס לשאלת הסיבוכיות או הזמן שיקח לפתור את הבעיה, כאן מדובר פרופר על בעיות שניתן להוכיח שאי אפשר לפתור. יש פה דוגמא לכמה בעיות כאלו https://en.wikipedia.org/wiki/List_of_undecidable_problems. הטיעון של פנרוס לא מוגבל רק לבעיות כאלו אבל זה בנפנוף ידים הרעיון הכללי.

עכשיו היופי פה הוא שמדובר בבעיות ששום מחשב לא יכול לפתור, אבל למוח האנושי יש את היכולת לתפוס, לגזור מהן אינטואיציה, לעשות מהן היגיון. זה בגדול הרעיון ופנרוס נוגע בעוד נקודות בגללן הוא מאמין שהמוח מה לעשות הוא לא מחשב.

בנוסף לזה יש אספקט בתיזה שלו שנוגע למשפטי חוסר השלמות של גדל https://he.wikipedia.org/wiki/משפטי_האי-שלמות_של_גדל
עכשיו אני לא אתיימר לומר שאני מבין אותם אפילו בצורה שטחית, זה הרבה מעבר להשכלה שלי, אבל בגדול להבנתי הרעיון הוא שעם כל מערכת הסקנת מסקנות המבוססת על אקסיומות, כולל המערכות עליהן מבוססות אלגוריתמים, יש חורים וחוסר עקביות, ומשפטים שלא ניתן להוכיח או להפריך. ויחד עם זאת המוח האנושי מסוגל להסתכל על המערכת השלמה, מבחוץ, ולהסיק ממנה מסקנות ולראות דברים. משהו בסגנון הזה. צריך לעשות קצת שיעורי בית כדי להבין יותר, והחלק הראשון שנוגע לבעיות לא חשיבות לי אישית יותר אינטואטיבי, אבל לי לפחות אין ספק שיש פה משהו.

עכשיו זה אינטואטיבית אולי סיבה ללמה AI לא יכול, לפחות לא עם מודל חישוב כמו שיש היום, לחקות לחלוטין את המוח האנושי. הוא אולי יוכל לחקות ברמה מספיק טובה ברוב תחומי החיים כדי לעבוד עלינו (כמו החדר הסיני שchat gpt כבר מתקרב אליו כמו שמישהו בתחילת הדיון פה הזכיר), או סתם מספיק טוב כדי להחליף אותנו, אבל הוא לא יוכל למממש לחלוטין את התודעה האנושית. זאת אומרת משהו ילך לאיבוד אם אנחנו נעלם, משהו שלא ברור בכלל שמחשב יוכל להחליף.

undecidable problem is a type of computational problem that requires a yes/no answer, but where there cannot possibly be any computer program that always gives the correct answer; that is, any possible program would sometimes give the wrong answer or run forever without giving any answer.

זה לא נשמע לי כמו משהו שאדם יכול לפתור. אני מניח שבמצבים כאלו אדם יכול להגיד:זה מרגיש לי נכון במקרה הזה , ולא נכון במקרה ההוא , ויתכן שיש לו אינטואיציה טובה והוא יצדק בחלק מן המקרים. אבל אינטואיציה מטבעה לפעמים טועה, היא דבר לא מדוייק, היא דבר סטטיסטי המבוסס על זיהוי דפוסים, וCHATGPT מכונה סטטיסטית, הדפוסים שהיא יוצרת ולכן זיהתה הם מדהימים.
ולגבי המצב של "לא לתת תשובה" , ניתן להגדיר למחשב שאחרי פרק זמן מסויים ללא תשובה, שימציא תשובה באקראי, וידבק בה בכל ליבו. די דומה למה שאנשים עושים.

>> עכשיו זה אינטואטיבית אולי סיבה ללמה AI לא יכול, לפחות לא עם מודל חישוב כמו שיש היום, לחקות לחלוטין את המוח האנושי. הוא אולי יוכל לחקות ברמה מספיק טובה ברוב תחומי החיים כדי לעבוד עלינו (כמו החדר הסיני שchat gpt כבר מתקרב אליו כמו שמישהו בתחילת הדיון פה הזכיר), או סתם מספיק טוב כדי להחליף אותנו, אבל הוא לא יוכל למממש לחלוטין את התודעה האנושית. זאת אומרת משהו ילך לאיבוד אם אנחנו נעלם, משהו שלא ברור בכלל שמחשב יוכל להחליף.

מסכים, יש דברים שמחשב לא יוכל להחליף - מחשב לא יוכל להוות תחליף לקשר אנושי, סימולציה לא תספיק.