• התוכן שלפניכם איננו ייעוץ פיננסי. הוא אולי נחזה ככזה, ואף נשמע ככזה, אבל למרבה הפלא, הוא איננו כזה, וממילא לא יכול להיחשב תחליף לייעוץ מטעם בעל הרישיון המתאים, לרבות ייעוץ מס, ייעוץ פנסיוני או ייעוץ השקעות המתחשב בצרכיו המיוחדים של כל אדם. מכאן שאין לראות בתכני הפורום המלצה לביצוע פעולות כלשהן בניירות ערך או בנכסים אחרים, וכל הסתמכות עליהם תהיה באחריות הקורא בלבד. האחריות לאמור בכל הודעה, ובכלל זה החובה לעמוד בהוראות כל דין, היא על מחברה בלבד ואין לייחס את האמור בה לבעלת האתר.
  • חל איסור על אזכור ניירות ערך ספציפיים בפורום זה בהקשר שעשוי ללמד על כדאיות ההשקעה או אי-ההשקעה בהם

שימוש בRL על השוק

קובי_חדש

משתמש רגיל
הצטרף ב
18/2/19
הודעות
303
דירוג
45
מתכנתים, מתמטיקאים ושאר מעניינים,
אני רוצה לפתוח קבוצה פנימית שתעשה ניסויים באלגוריתמים שונים של RL על השוק

המטרות:
לכיף, בשביל הספורט ולכו תדעו... אולי גם ייצא מזה משהו.

מה צריך לעשות:
+ לבנות פלטפורמה שתאפשרהרצה בקלות של RL על מידע מהשוק
+ להוסיף אלגוריתמים מובנים שניתן לשנות את האינפוט שלהם בקלות גם לחסרי ידע בתכנות

יש עוד שותפים שמתעניינים ורוצים להרים את הכפפה יחד?

* לאלו שתוהים אם אני מחפש מישהו שיבנה הכל בשבילי, לא ,אני מתכנת מקצועי ומתמטיקאי חובב והמטרות הם באמת בעיקר לכיף, למזלי אין לי המון זמן פנוי ואני מניח שרובכם גם אנשים עסוקים ולכן צריך קבוצה בה מעט הזמן של כל אחד יוכל להצטרף למספיק לפרוייקט
 
מתכנתים, מתמטיקאים ושאר מעניינים,
אני רוצה לפתוח קבוצה פנימית שתעשה ניסויים באלגוריתמים שונים של RL על השוק

המטרות:
לכיף, בשביל הספורט ולכו תדעו... אולי גם ייצא מזה משהו.

מה צריך לעשות:
+ לבנות פלטפורמה שתאפשרהרצה בקלות של RL על מידע מהשוק
+ להוסיף אלגוריתמים מובנים שניתן לשנות את האינפוט שלהם בקלות גם לחסרי ידע בתכנות

יש עוד שותפים שמתעניינים ורוצים להרים את הכפפה יחד?

* לאלו שתוהים אם אני מחפש מישהו שיבנה הכל בשבילי, לא ,אני מתכנת מקצועי ומתמטיקאי חובב והמטרות הם באמת בעיקר לכיף, למזלי אין לי המון זמן פנוי ואני מניח שרובכם גם אנשים עסוקים ולכן צריך קבוצה בה מעט הזמן של כל אחד יוכל להצטרף למספיק לפרוייקט
RL?
 
אני חושב שהוא מתכוון ל-reinforcement learning
 
יש פלטפורמות ל RL. יש לאמזון, לאינטל, ועוד. גם לקחת את שוק ההון כדטה למשחקים\מאמרים לא בדיוק נדיר.
 
בשביל RL אתה צריך לבנות סימולציה מהימנה של השוק. עד כמה שאני יודע - אין כזו.
 
בשביל RL אתה צריך לבנות סימולציה מהימנה של השוק. עד כמה שאני יודע - אין כזו.
נניח שניקח מניה אחת ויש לך הרבה שחקנים ששמים פקודות, קניה מכירה. אנו יודעים מתי עיסקה מתבצעת בין 2 שחקנים ואנו יודעים מה המחיר החדש שיהיה.

אז נראה שכן יש פה סימולציה מהימנה. מה שכן תצטרך לאמן במקביל הרבה רשתות שיתחרו בינהן כדי לייצג מספר רב משתתפים (שבעולם האמיתי הוא מיליונים, אבל פה נצטרך להסתפק בפחות). זה יכול לגזול המון משאבים...
 
אכן RL =reinforcement learning
חשבתי האמת להשתמש בדאטה אמיתי (פיד של שוק ההון היסטורי ועכשווי) ואז אין לנו בעיה של יצירת שחקנים או יצירת סימולציה, יש נתונים ישנים שלא מתשנים וחדשים שזורמים כל הזמן וממשיכים להיערם.

המשאבים בסופו של תהליך אכן רבים אבל כצעד ראשון,לייצר מודול לא אמור לקחת המון משאבי מחשוב, האימון שלו לא חייב להיות ביליונים, בואו נתחיל עם משהו שבנוי נכון ועובד ואחר כך נתפנה לפתור את הבעיה של משאבי האימון.
 
המטרה היא ללמד סוכן כיצד להתנהג בעולם האמיתי.
ואז אין לנו בעיה של יצירת שחקנים או יצירת סימולציה, יש נתונים ישנים שלא מתשנים וחדשים שזורמים כל הזמן וממשיכים להיערם.
כנראה שאתה מפספס נקודה מהותית ב-RL. אם תייצר סימולציה לא מהימנה הסוכן שלך ילמד לסחור במערכת לא רלוונטית לעולם האמיתי. תנסה גישות סטנדרטיות (RNN) קודם לכן.
 
המטרה היא ללמד סוכן כיצד להתנהג בעולם האמיתי.

כנראה שאתה מפספס נקודה מהותית ב-RL. אם תייצר סימולציה לא מהימנה הסוכן שלך ילמד לסחור במערכת לא רלוונטית לעולם האמיתי. תנסה גישות סטנדרטיות (RNN) קודם לכן.
למה חייבים סימולציה?
למה מידע אמיתי לא מספיק טוב? איך מידע אמיתי הופך להיות לא אמין?
 
יש לך גישה ל"נקודות" שהובילו להחלטה של משקיע זה או אחר?
לא, אבל זה לא אמור להיות משנה.
יש אינסוף נקודות והחלטות שונות של שחקנים, כולם מגיעים בדיליי, אחרי מספיק אירועי ק/מ האג'נט אמור ללמוד את הדיליי עצמו.
 
אם יש לך מספיק מידע היסטורי, תשתמש ב-RNN.
 
לא, אבל זה לא אמור להיות משנה.
יש אינסוף נקודות והחלטות שונות של שחקנים, כולם מגיעים בדיליי, אחרי מספיק אירועי ק/מ האג'נט אמור ללמוד את הדיליי עצמו.
האם אתה יודע איזה משקיע נחשף לאיזה מידע ?
האם אתה יודע איזה משקיע לא נחשף למידע בכלל?

אני מנסה להבין, מה נותן לך שמישהו לחץ "מכירה" ומישהו לחץ "קנייה" כשאתה לא יודע עם איזה מידע הם ניגשו להחלטה
 
האם אתה יודע איזה משקיע נחשף לאיזה מידע ?
האם אתה יודע איזה משקיע לא נחשף למידע בכלל?

אני מנסה להבין, מה נותן לך שמישהו לחץ "מכירה" ומישהו לחץ "קנייה" כשאתה לא יודע עם איזה מידע הם ניגשו להחלטה
בכל נקודת זמן הסוכן רואה את מצב השוק בתקופה שלפני נקודת הזמן (מחירים של מניות, טרנדים של מניות וסטטיסטיקות אחרות). לאחר מכן הוא נוקט פעולה לפי המדיניות הנוכחית שלו כמו קניה או מכירה של מניה או לא לעשות כלום (מניחים שלפעולה זו אין השפעה על השוק). אחרי הפעולה ניתן לכמת עד כמה היא הייתה טובה או רעה ולשפר את המדיניות.
 
בכל נקודת זמן הסוכן רואה את מצב השוק בתקופה שלפני נקודת הזמן (מחירים של מניות, טרנדים של מניות וסטטיסטיקות אחרות). לאחר מכן הוא נוקט פעולה לפי המדיניות הנוכחית שלו כמו קניה או מכירה של מניה או לא לעשות כלום (מניחים שלפעולה זו אין השפעה על השוק). אחרי הפעולה ניתן לכמת עד כמה היא הייתה טובה או רעה ולשפר את המדיניות.
אבל שיפור המדיניות לא משפיעה על ההווה ולא על העתיד
מה תפקידה?
ומה קורה עם מדיניות שנמדדת בטווח השקעה ארוך שבה למרות שיש צורך בשיפור (לפי נתוני העבר) אבל יש יותר צורך במיצוי הליך הזמן
לכן, לכל משתתף יש גם את המידע שהוא חשוף אליו וגם את המידע האישי שלו שהוא לא חושף עם אף אחד
אפשר יהיה לשתול משקיעים עם "סט רצונות" בהשקעה שלהם, ואז להריץ אותם בהתאם לזה

אני מתקשה להתמודד עם העובדה לנתוני העבר יש משמעות כלשהי להחלטות מסוימות
אני חושב שצריך להתמקד דווקא במה שהוביל להחלטה שלהם ואז להעריך כמה מקבלי החלטות יש (ועל סמך מה הם מתבצעות) ולנסות להסיק סבירות גבוהה מספיק שידעו לתפקד ולבצע פעולות "צפויות" שאפשר להתממשק אליהם וליצור "מודל" של מתי הסבירות הכי גבוהה להיות אחד מהשחקנים הללו ובאיזו נקודת זמן הכניסה (והיציאה) האופטימלית עבורם
 
אבל שיפור המדיניות לא משפיעה על ההווה ולא על העתיד
מה תפקידה?
ומה קורה עם מדיניות שנמדדת בטווח השקעה ארוך שבה למרות שיש צורך בשיפור (לפי נתוני העבר) אבל יש יותר צורך במיצוי הליך הזמן
לכן, לכל משתתף יש גם את המידע שהוא חשוף אליו וגם את המידע האישי שלו שהוא לא חושף עם אף אחד
אפשר יהיה לשתול משקיעים עם "סט רצונות" בהשקעה שלהם, ואז להריץ אותם בהתאם לזה

אני מתקשה להתמודד עם העובדה לנתוני העבר יש משמעות כלשהי להחלטות מסוימות
אני חושב שצריך להתמקד דווקא במה שהוביל להחלטה שלהם ואז להעריך כמה מקבלי החלטות יש (ועל סמך מה הם מתבצעות) ולנסות להסיק סבירות גבוהה מספיק שידעו לתפקד ולבצע פעולות "צפויות" שאפשר להתממשק אליהם וליצור "מודל" של מתי הסבירות הכי גבוהה להיות אחד מהשחקנים הללו ובאיזו נקודת זמן הכניסה (והיציאה) האופטימלית עבורם

מה שאתה מציע זה כיוון מעניין אבל אין לנו דרךלמדל דבר כזה (זה הופך למורכב מידי ודורש משאבים גדולים מידי).

אני חושב שמעניין לתת לסוכן דווקא לבצע מהלכים קצרי טווח ולא ארוכי טווח ואז ניתן ללמוד מהעבר רבות, נניח הסוכן אולי ילמד לזהות טרנדים, או סייקלים מורכבים בין חברות שונות ועוד דברים בסגנון, האתגר מונח בללמד את הסוכן חישוב של רווח טווח ארוך מול קצר, פרופיל סיכון, והכנסת עלויות כחלק מחישוב התועלת.

בעיקר מעניין להתחיל לגלגל את זה ולראות לאן זה לוקח אותנו...
 
אבל שיפור המדיניות לא משפיעה על ההווה ולא על העתיד
מה תפקידה?
בהנתן מדיניות ניתן לתת לסוכן לפעול על פיה בזמן אמת. אם המדיניות ״טובה״ הסוכן ירוויח כסף. ההנחה המובלעת היא שמדיניות שנלמדה על מידע מהעבר טובה גם עבור מידע מהעתיד. אם העבר לא היה מספיק רחוק זה אולי נכון, לדוגמא ללמוד על השעה האחרונה ולפעול בשעה הנוכחית. כל זה כמובן לא אומר שזאת שיטה טובה אלא שזאת פשוט השיטה.
שיטות RL וDL לא נפוצות באלגוטריידינג מהסיבה שניצול המידע הנלמד צריך ליהות מהיר ואחרי זמן קצר המדיניות הופכת ליהות לא רלוונטית כיוון שהמידע זמין לכולם ואימון סוכנים ורשתות לוקח זמן.
 
בהנתן מדיניות ניתן לתת לסוכן לפעול על פיה בזמן אמת. אם המדיניות ״טובה״ הסוכן ירוויח כסף. ההנחה המובלעת היא שמדיניות שנלמדה על מידע מהעבר טובה גם עבור מידע מהעתיד. אם העבר לא היה מספיק רחוק זה אולי נכון, לדוגמא ללמוד על השעה האחרונה ולפעול בשעה הנוכחית. כל זה כמובן לא אומר שזאת שיטה טובה אלא שזאת פשוט השיטה.
שיטות RL וDL לא נפוצות באלגוטריידינג מהסיבה שניצול המידע הנלמד צריך ליהות מהיר ואחרי זמן קצר המדיניות הופכת ליהות לא רלוונטית כיוון שהמידע זמין לכולם ואימון סוכנים ורשתות לוקח זמן.
מה כן נפוץ?
ועל כמה מהיר אנחנו מדברים?
 
נושאים דומים
פותח הנושא כותרת פורום תגובות תאריך
א שימוש בנקודות זכות מיסים 7
T שימוש בכרטיס אשראי עבור תשלומי ביטוח לאומי ומס הכנסה כעצמאי לצבירת נקודות והטבות? מינימליזם, חסכנות ואנטי-צרכנות 19
S המרה/שימוש בדולרים צרכנות פיננסית 3
S שימוש יעיל בדולרים שוק ההון 1
M בתום 49 שנים שכחתי לחדש חכירה ל-49 השנים הבאות - תשלום דמי שימוש ראויים על שנה של איחור ברישום נדל"ן 0
S הפקדה ומשיכה מבלינק או אפליקציה דומה לשם שימוש בכרטיס האשראי מינימליזם, חסכנות ואנטי-צרכנות 1
D שימוש נכון בחוב והשקעות ממונפות צרכנות פיננסית 0
ה שימוש בפנסיה לצורך חיסכון במס? מיסים 14
S שימוש בחוב אבוד כמגן מס לקיזוז מס שבח מיסים 3
ע חסכון לא מושקע שאין לי שימוש בו שוק ההון 2
י דחיית/פטור ממס על ידי שימוש בBOX וקנייה מקבילה של קרן אג''ח קצרה מיסים 18
Eugene200 שימוש בבונוס כספי לרכישת אופציות vested במסגרת סעיף 102 (מסלול הוני) מיסים 6
ס חשבון בנק שעובר בירושה – המשך שימוש בחשבון או חובת מימוש מיידי? מיסים 2
R שימוש במערכת SPARK למסחר ברוקרים ופלטפורמות מסחר 3
S רעיונות להגברת שימוש באשראי למטרת הטבות צרכנות פיננסית 9
S שימוש בכספי קרן השתלמות לטובת רכישת דירה שניה נדל"ן 17
algo.il התעייצות לגבי שימוש חכם ביתרת מט"ח גדולה להשקעה (חשבון ממוסה) שוק ההון 8
S המחשות ב-AI -> שימוש - טיפים? פוסטים מאיכות נמוכה 5
ספייק לי שימוש בנוסחאות google finance ב- google sheets לבורסת תל אביב אוף טופיק 2
S האם אני יכול להוציא חשבונית/קבלה חוקית בעצמי ללא שימוש בשירות חיצוני? אוף טופיק 15
codev זיקה לישראל עקב שימוש בחשבון בנק מיסים 0
חתול לילה שימוש נכון בטוויטר אוף טופיק 39
Michel פטור רווח הון ע"י שימוש בתיקון 90 לבן זוג שאינו עובד. פנסיה, גמל וקרנות השתלמות 17
A שימוש ב-3 כרטיסי אשראי בשביל להשיג הלוואה בריבית 0% שוק ההון 168
T שימוש בTWS דרך אקסלנס - שאלת ממשק אוף טופיק 0
מ שימוש בדולרים בIB/Wise לקניות באינטרנט צרכנות פיננסית 3
B שימוש במגן מס מיסים 11
R שימוש בביט לצורכים אישיים ועסקיים מיסים 1
ש העברת כספים מבנק לבנק תוך שימוש בכרטיס אשראי צרכנות פיננסית 2
Y שאלה על שימוש בכרטיס אשראי צרכנות פיננסית 6
ר שימוש בברוקר פורקס עבור המרת מט"ח ברוקרים ופלטפורמות מסחר 1
ר שימוש בברוקר בחו״ל עבור השקעה במט״ח והמרות מט״ח בזול - האם ממוסה? מיסים 1
E שימוש בכרטיס דביט מהעבודה להשקעה? צרכנות פיננסית 5
Aslan קיזוז דמי שימוש מול עמלות קניה - תדירות קניה שוק ההון 3
1337justme שימוש באשראי של בן הזוג (זוג נשוי) צרכנות פיננסית 38
W שאלה-שימוש במערכת ספארק ברוקרים ופלטפורמות מסחר 3
D שימוש בקרן לפרישה מוקדמת פרישה מוקדמת והחיים שאחריה 54
א שימוש בחברות כמו Walty או Wifix (או בעצם כל יועץ אחר) נדל"ן 4
J שימוש באשראי לצורך מינוף. צרכנות פיננסית 18
ח שווי שימוש ברכב מיסים 1
ג מענק עידוד שימוש בערוצים ישירים צרכנות פיננסית 4
K קימוץ עמלות המרת מט"ח ע"י שימוש במט"ח שנמצא בחשבון ההשקעות צרכנות פיננסית 2
O שאלה לגבי שימוש במערכת אינטראקטיב דרך אקסלנס שוק ההון 3
א הקטנת עמלות מסחר ע"י שימוש בברוקר אנגלי, ושאלה על רובינהוד צרכנות פיננסית 19
T שימוש בברוקר זר שוק ההון 3
Myrath שימוש בטלפון סלולרי ביד אחת אוף טופיק 55
נ שימוש ב AI בהשקעות בשוק ההון? אוף טופיק 14
ה שימוש בפפר כברוקר למתחילים? שוק ההון 3
G שימוש במתאמי חשמל אוף טופיק 20
ר האם יש שימוש נרחב במידע פנים בבורסה הישראלית? שוק ההון 10

נושאים דומים

Back
למעלה