Retrolyzer + BQL

[adamshalev]

@מתכנת
אני מעדכן את השפה והיכולות שלה הרבה יותר מהר מאשר את התיעוד אז הוא כבר די לא עדכני לצערי.
הדרך הנכונה להריץ את מה שרצית היא כזאת.
שים לב:
- קורלציה מחשבים על תשואות בלתי תלויות, לא על המחיר (שיש בו תלות חזקה מיום ליום הבא). לכן צריך או לחשב את התשואות היומיות לפני חישוב הקורלציה או להשתמש בפונק mcorret שכבר עושה את זה.
- פונק׳ שפועלות על חלון רץ תמיד מתחילות עם m. כך שהפונק cor מחשבת קורלציה על כל התקופה (וכיוון שאין אף גרף אחר שיתן מימד של זמן המספר לא מוצג, זה באג קטן שדורש תיקון).

 

[adamshalev]

@מתכנת
עוד משהו - החישוב היותר מדוייק הוא להשתמש באינדקס הסנופי ולא בקרן שעוקבת אחריו.
והחישוב שיותר משקף את השאלה הוא להסתכל על תשואות חודשיות ולא יומיות (כי ביומיות של יותר מדי רעש) ואז רואים את הקורלציה השלילית לרוב ביניהם.
דוגמא

 

[TunaGolem]

הדרך הנכונה להריץ את מה שרצית היא כזאת.

1. משום מה חשבתי שסדרת את הUSDILS כך שימשוך הסטוריה ארוכה יותר.
2. האם ההשוואה לא צריכה לקחת את הסנופי בשקלים?

 

[מתכנת]

@adamshalev
תודה.
לגבי ההערות על חישוב קורלציה עשיתי כמה ניסויים אבל זה דורש ממני ריכוז גבוה יותר, אתייחס בהמשך.

הצעה,
לעת עתה חלק משמות הפקודות והפרמטרים דומים קצת ל minified code
אפשר להוסיף פקודת help כלשהי שתקבל את שם הפונקציה/keyword ותחזיר תיאור + משמעות הפרמטרים.
1. מניח שיהיה יחסית קל לשלב יכולת כזו באמצעות attributes וכד' (בהשראת documentation comment ///)
2. היות וזה אינטגרלי בקוד ומתבצע תוך כדי הפיתוח, הרבה יותר נוח ויעיל לתחזק דבר כזה מאשר לעדכן את דף התיעוד בשינויים ותוספות.
3. יכול להיות שעקב אי היכרות עם האריכטקטורה אני מפספס משהו וזה מורכב יותר אז תתעלם

 

[adamshalev]

משום מה חשבתי שסדרת את הUSDILS כך שימשוך הסטוריה ארוכה יותר.

זה טיקר אחר, של בנק ישראל דרך Quandl.
למען הסדר הטוב - כאן יש השוואה עם שער השקל-דולר מ-1973 ומול אינדקס הדולר מ-1976. אינדקס הדולר זאת השוואה יותר נכונה כי השקל זז בעצמו מסיבותיו.

האם ההשוואה לא צריכה לקחת את הסנופי בשקלים?

אני לא חושב, אבל לא ירדתי לעומק העניין.

לעת עתה חלק משמות הפקודות והפרמטרים דומים קצת ל minified code

זה כדי לשמור על השאילתות קצרות וענייניות.

אפשר להוסיף פקודת help כלשהי שתקבל את שם הפונקציה/keyword ותחזיר תיאור + משמעות הפרמטרים.

האתגר הוא יותר בחלק של ה-UI.
אני חושב על פתרון אחר - פשוט להנגיש את כל הפונק' הפנימיות עם הערות תיעוד, כאשר השליפה תתבצע ישירות מהקובץ בשרת שבו הפונק' יושבות, ככה זה תמיד יהיה עדכני.
דף הדוגמאות צריך לבטא רק את השפה, ולא את הפונק' עצמן.

 

[קפה שחור]

. מניח שיהיה יחסית קל לשלב יכולת כזו באמצעות attributes וכד' (בהשראת documentation comment ///)
2. היות וזה אינטגרלי בקוד ומתבצע תוך כדי הפיתוח, הרבה יותר נוח ויעיל לתחזק דבר כזה מאשר לעדכן את דף התיעוד בשינויים ותוספות.
3. יכול להיות שעקב אי היכרות עם האריכטקטורה אני מפספס משהו וזה מ

אני חושב על פתרון אחר - פשוט להנגיש את כל הפונק' הפנימיות עם הערות תיעוד, כאשר השליפה תתבצע ישירות מהקובץ בשרת שבו הפונק' יושבות, ככה זה תמיד יהיה עדכני.

אותה הגברת...

 

[מתכנת]

@adamshalev
קבל טיקט של QA

1. מה חטאתי? ולמה זה כן עובד?
2. רציתי לקבל את הערך השקלי של אחזקת SPY אבל היות ואין לוג (למה?) חשדתי שאולי הדיבידנדים פוספסו, כדי לוודא תקינות האלגוריתם גם כאשר יש מניפולציות על הטיקר הרצתי מניפולציה פיקטיבית SPY*1, אמנם נראה שהדיבידנדים כלולים אבל משוה מוזר קרה שה-FinalBalance שונה קצת, למה?
3. פורמט התאריך בלוג (12/31/2016) לא עקבי עם הפורמט המצופה ב-BQL והפורמט המוצג על הגרף. (2016/12/31)
4. הצעה: להוסיף בטבלה עמודה של תשואה מצטברת (בנוסף ל-G)

 

[adamshalev]

1. מה חטאתי? ולמה זה כן עובד?

באג מקרה קצה במנגנון שאני שוקל להעיף.

היות ואין לוג (למה?)

לוג יש רק לאסטרטגיות. לסתם סדרות אין. תחשוב שאתה מחשב את הקורלציה ומכפיל אותה בממוצע רץ. אין בסדרה כזאת משמעות ללוג. לכן כל פעם שתוצאה של אסטרטגיה מוכפלת בערך כלשהו הלוג נעלם. ראה דוגמא כאן. כיוון שאתה מכפיל בשער המט"ח קורה אותו הדבר. רשמתי לעצמי לטפל בזה, ולפחות לשמר את הלוג במקרים שבהם יש בזה הגיון.

משוה מוזר קרה שה-FinalBalance שונה קצת, למה?

(הרגע שמתי לב שניסית את אותה הדוגמא שהצגתי). כן, זה באג שכבר פתוח לי לטפל בו זה הבדל קטן שנובע משני חישובים שונים עבור המקרה של אסטרטגיה לעומת המקרה של סדרה. קיצר, לא מוצדק ודורש תיקון.

3. פורמט התאריך בלוג (12/31/2016) לא עקבי עם הפורמט המצופה ב-BQL והפורמט המוצג על הגרף. (2016/12/31)

הערה טובה.

4. הצעה: להוסיף בטבלה עמודה של תשואה מצטברת (בנוסף ל-G)

מקבל, ושוקל להעיף את השווי הדולרי הסופי, הוא שקול לתשואה מצטברת וממש חסר משמעות במקרה של סדרות מחושבות.

אתה מתכנת או QA? הרגת אותי

 

[מתכנת]

במנגנון שאני שוקל להעיף

איזה מנגנון?

אתה מתכנת או QA? הרגת אותי

לא QA, מתכנת חצי בדימוס, אוהב לבחון מצבי קצה מורכבים ולבודד תקלות

בהדמנות זו אציע - אם הפיתוח טריוויאלי - לאפשר רשימה ידנית של הפקדות והסכומים שלהם (והמטבע כמובן) על מנת לאפשר סימלוץ הפקדות לקרן.

ותודה על הכל!

 

[adamshalev]

איזה מנגנון?

שבודק שלא מנסים לבצע רכישה\מכירה של ני"ע שבאופן היסטורי אין עליו מידע. יש לזה בעיות עם מקרי קצה מסויימים.

לאפשר רשימה ידנית של הפקדות והסכומים שלהם (והמטבע כמובן) על מנת לאפשר סימלוץ הפקדות לקרן.

רעיון טוב, הוספתי לרשימה.
יש לי בכלל תכנון (בעתיד, לא כרגע) לאפשר לטעון לוג של כל פעולות המסחר, כפי שאני מתחזק בגליון נתונים של גוגל כרגע, הייתי רוצה שזה יטען לרטרולייזר.

 

[מתכנת]

@adamshalev
ניסיתי לקבל את התשואות כמו שמופיעות במסמך הזה (טבלה ראשונה מימין) ולא מצאתי..

בלי קשר לרטרולייזר,
אולי אני מפספס משהו, הקרנות האירית והאמריקאית שעוקבות אחרי האינדקס מציגות ביצועים אחרים.
בנוסף, הפער בין האירית לאמריקאית בלתי מוסבר הקרן האירית מציגה ביצועי חסר משמעותיים.

 

[adamshalev]

@מתכנת
כמה דברים:
- אתה צריך להסתכל על תשואה מהיום האחרון של השנה הקודמת עד היום האחרון של השנה הנוכחית (קרי סוף 2011 עד סוף 2012) אחרת אתה מפספס חלק מהתשואה.
- רצוי לבדוק בלי עלויות חיכוך (כמו יחידות שלמות, מרווח bid-ask).
- התשואה של הקרן לא זהה לתשואה של האינדקס, אז צריך להשוות מול תשואת הקרן. כאן (performance --> calendar year) וכאן למשל.
- צריך להמיר קרנות נקובות ב-GBP ל-USD.

התוצאה כאן מאד קרובה לנתונים של הקרנות (לנתונים הגולמיים כל אחד במטבע שלו. משום מה הקרנות נקובות GBP מחסירות קצת בתשואה גם אחרי שממירים אותם ל-USD).

 

[מתכנת]

@adamshalev תודה.
1. האם יש הבדל במקור הנתונים בין SSAC.L לבין SSAC@LON ? כמו כן האם יש הבדל במקור נתוני שע"ח בין GBPUSD לבין X!GBP ?
2. למה זה עובד וזה לא עובד? היות וגם זה עובד אולי אי אפשר לשרשר יותר מ2 תקופות?
3. ניסיתי לקבל מידע על טבע מהבורסה בישראל (עם או בלי אפסים מובילים) ומתקבלת שגיאה.

00629014@TASE

משום מה הקרנות נקובות GBP מחסירות קצת בתשואה גם אחרי שממירים אותם ל-USD).

מחסירות הרבה מאוד! (מקווה שעשיתי טוב)

ומקווה שתסלח לי על החפירות

 

[adamshalev]

1. האם יש הבדל במקור הנתונים בין SSAC.L לבין SSAC@LON ?

כן, כל דבר שלא מצויין עבורו @, מגיע מיאהו. כל דבר אחר מגיע ממקורות אחרים. ספציפית @LON מגיע מבורסת לונדון דרך Quandl.

כמו כן האם יש הבדל במקור נתוני שע"ח בין GBPUSD לבין X!GBP ?

לא, אין הבדל. ההבדל הוא שכאשר מציינים את המטבע של ני"ע אז הסימולציה מתחשבת בכך ומבצעת המרת מט"ח ומתאימה את המחיר והדיבידנדים להיות באותו מטבע (דולר), ואילו אם לא עושים זאת ורק מכפילים ב-GBPUSD אז התוצאה יכולה להיות כלל לא נכונה כגון במקרים שבהם המחיר נקוב בפאונד אבל הדיבידנדים מחולקים בדולר (הדגמתי מקרים כאלו השרשור על מדידת תשואה של קרנות איריות מול אמריקאיות).

וזה לא עובד?

וואלה באג. אני צריך לבדוק.
אני מניח שזה מה שאתה רוצה, יכול גם לחסוך לך הקלדה.

3. ניסיתי לקבל מידע על טבע מהבורסה בישראל (עם או בלי אפסים מובילים) ומתקבלת שגיאה.

אין תמיכה במניות פרטניות, רק קרנות ותעודות סל (מתחילות בספרה 5 או 1).

מחסירות הרבה מאוד! (מקווה שעשיתי טוב)

עשית מצויין
ספציפית ה-eom לא מוסיף מידע אלא רק דוגם שרירותית גרף די רועש בסוך כל חודש. עדיף להחליק עם חציון או ממוצע רץ.

תחפור כמה שיותר, אני לומד כל יום משהו חדש ככל שאני עובד עם זה יותר.

 

[מתכנת]

אין תמיכה במניות פרטניות, רק קרנות ותעודות סל (מתחילות בספרה 5 או 1).

ספציפית בארץ? כי TEVA לדוגמה כן עובד..
תכלס רציתי לבדוק כמה השיא NTR מי שהחזיק טבע בתקופות שונות ואפשר גם על הנייר האמריקאי..

וואלה באג. אני צריך לבדוק.
אני מניח שזה מה שאתה רוצה, יכול גם לחסוך לך הקלדה.

זה לא בדיוק מה שרציתי אבל קצת קרוב, רציתי לקבל טבלה של תשואות פר שנה למספר ני"ע על מנת להשוות את שגיאת העקיבה..

ספציפית ה-eom לא מוסיף מידע אלא רק דוגם שרירותית גרף די רועש בסוך כל חודש. עדיף להחליק עם חציון או ממוצע רץ.

נפל לי האסימון..
וואלה מגניב!
עשיתי זום וראיתי שהנקודות של eom בעצם נפגשות עם הנקודה של נכס הבסיס רק בתאריכים של סוף חודש.. במילים אחרות אתה מתעלם מכל תקופות הביניים כאילו אין לגביהם מידע.

. עדיף להחליק עם חציון

לא הבנתי כיצד מימשת חישוב חציון, איזה אוכלוסיה אתה מעביר לפונקציית החציון ואיזה פלט מוחזר,
תוכל להסביר או להציג את הפונקציה?

 

[adamshalev]

ספציפית בארץ?

כן

עשיתי זום וראיתי שהנקודות של eom בעצם נפגשות עם הנקודה של נכס הבסיס רק בתאריכים של סוף חודש.. במילים אחרות אתה מתעלם מכל תקופות הביניים כאילו אין לגביהם מידע.

אכן, זה מיועד בשביל שאפשר יהיה לשבור את הנכס לחודשים \ שנים (וצריך להוסיף שבועות או כל תקופה שרירותית אחרת) ולחשב מטריקות על קוונטות, כמו למשל קורלציה של תשואות חודשיות בין סנופי לשער הדולר (שהיא הרבה יותר מובהקת כשלילית) לעומת קורלציה של תשואות יומיות. אם נשתמש בתשואה רצה חודשית של הנכסים (במקום בתשואה של קוונטות חודשיות) אז נקבל ערך לא נכון של הקורלציה כיוון שיש תלות בין הערכים (יש חפיפה מתמדת בין החלונות הרצים, בזמן שחישוב קורלציה דורש אי תלות בין הערכים).

תוכל להסביר או להציג את הפונקציה?

חישוב חציון זאת אחת הפונק' הבודדות שהיא native ולא כתובה ב-BQL. המימוש הוא פשוט - חציון רץ על חלון באורך N אומר: קח את N האיברים עד כה, תמיין אותם ותבחר את האיבר האמצעי. אם מספר האיברים זוגי, קח את הממוצע של שני האיבריים האמצעיים.
(* לכל 50% המתכנתים בפורום, אני מודע שזה לא המימוש היעיל ב-(O(n, יסלחו לי אלי הקומפלקסיטי).

 

[מתכנת]

@adamshalev
האם אפשר למשוך נתונים פיננסיים נוספים לצורך ההשואה?
למשל לבדוק מה היו המכפילים של מדד מסוים לאורך ציר הזמן?

 

[adamshalev]

@adamshalev
האם אפשר למשוך נתונים פיננסיים נוספים לצורך ההשואה?
למשל לבדוק מה היו המכפילים של מדד מסוים לאורך ציר הזמן?

אני מעדכן את השרשור של מידע מעניין מQuandl כשאני מוצא משהו מעניין. תסתסכל שם. כמו כן המקורות מידע שקישרתי אליהם יתכן ומכילים עוד הרבה דברים רלונטיים שלא ציינתי.

 

[123W]

אם תוסיף השלמה אוטומטית, ושטאב יעבור ל GO
בכלל יהיה נפלא

 

[avshi]

אני תוהה אם אפשר לבדוק דרך הרטרולייזר את היכולת של שיטות השקעה אקטיביות טיפשות, כמו תיק הרובוט של דורפמן למשל( שווי שוק של למעלה מ500 m$, הציגו רווח חיובי בשנה האחרונה, התחייבות לטווח ארוך נמוכה מהשווי ומכפילי רווח נמוכים). אם היה אפשר לעשות דבר כזה עם הרטרולייזר הייתי יכול לנסות ולשחק עם מספר המניות שהוא בוחר, פרק הזמן שהוא מחזיק בהן ואולי אם אפשר לשנות אחד מהפרמטרים..
לא מצאתי אתר בקטסטינג שמאפשר לבחון את זה על פני זמן או אינטרוולים שונים. ואני גם לא בטוח שלזה הרטרולייזר מיועד, אפשר לעשות את זה?