מידע מעניין מ-Quandl

[adamshalev]

Quandl זה אתר שמנגיש בערך כל מקור מידע פיננסי על הפלנטה בממשק אחיד ונח.
חלקים נרחבים ממקורות המידע נגישים רק בתשלום, אבל יש מאגרים עצומים שנגישים בחינם.

הוספתי אפשרות לרטרולייזר לשאוב מידע מ-Quandl ואני רוצה להציג כמה מהשימושים הנחמדים שמצאתי לזה.

זהב (מאגר איגוד הבוליון בלונדון)
יש מקור מידע למחיר היומי של זהב מ-1968. כאשר ה-ETF הכי ותיק מגיע רק עד 2004.
עוד משהו נחמד, כאשר משווים ביניהם מקבלים ש-GLD מחסיר 0.4% בשנה ביחס למחיר הזהב, שזה בדיוק דמי הניהול שלו.

מאגר בנק ישראל (קישור)
ריבית בנק ישראל מ-1994.
מדד מחיר לצרכן מ-1970. אינפלציה שנתית (כולל שקל ושקל חדש). אינפלציה רק אחרי המעבר לשקל חדש.
אינפלציה וריבית יחד.
שער השקל-דולר מ-1970 (חודשי). ואפשר גם למזג עם המידע של יאהו מ-2004 כך שיהיה יומי אחרי 2004 וחודשי לפני.
אינדקס השקל מול סל מטבעות, נומינלי וריאלי.

פמה-פרנץ (קישור)
פקטור תשואת השוק מ-1926 (צריך עוד להבין קצת איך משתמשים במידע הזה באופן הנכון).
שימו לב שהמידע מ-quandl הוא טבלא ויכול להכיל מספר עמודות. בשביל לגשת לעמודה ספציפית כמו בדוגמא הנ"ל צריך להוסיף את שם העמודה עם ^ לשם של מקור המידע של quandl.

גוגל פיננס (קישור)
בדף התיעוד על המאגר, יש את רשימת כל הני"ע שנגישים מכל אחד מהבורסאות שגוגל תומכים בהם, כולל זה של תל-אביב.
אתם יכולים למשוך משם מידע על כל מניה, למשל אלביט או אינדקס אג"ח 2-5 שנים (נדמה לי, זה לא ברור מהשם) או אפילו קרנות\תעודות של הראל וקסם.

יאהו פיננס (קישור)
בדף התיעוד על המאגר ניתן להוריד את רשימת כל הני"ע ביאהו (94 אלף) וזה אפילו לא כולם כי ETF-ים רבים שיאהו תומכים בהם בממשק הישיר (ברירת המחדל של רטרולייזר) אפילו לא מופיעים שם.

FRED (קישור)
זהו המאגר לכל המידע הכלכלי על ארה"ב ומדינות אחרות בעולם. למשל:
ריבית ארה"ב יומית מ-1954.
תל"ג ארה"ב רבעוני מ-1947.
אפשר למשל לחשב את האינדיקטור המועדף של באפט ליוקר השוק (market-cap / GDP).

אינדקס הדולר (מול מטבעות מרכזיים בעולם) מ-1973.
אפשר גם לחשב כנגזרת את אינדקס השקל (מול מטבעות מרכזיים בעולם)
50 נק' בונוס למי שיענה על השאלה - מדוע אינדקס השקל מראה על ייסוף השקל ללא עליה מקבילה בריבית בנק ישראל?

מחיר נפט Brent ו-WTI.

מאגר העוקב אחרי אינפלציה במספר מדינות (קישור)
מדד המחירים לצרכן בארה"ב מ-1913.
אינפלציה בארה"ב מ-1913.
אינפלציה וריבית ארה"ב יחד.

CBOE (קישור)
"אינדקס הפחד" - VIX. מעניין שליאהו יש את רוב ההיסטוריה של ה-VIX ול-Quandl רק מ-2004.
CBOE S&P 500 BuyWrite Index

חוזים עתידים רציפים (קישור)
S&P500 גם PR וגם TR
Ultra U.S. Treasury Bond Futures

יש כמובן עוד מלא מידע שימושי. מוזמנים לנבור בהרי המאגרים שקיימים שם ולשתף מה מצאתם.

------------------

הוספתי תמיכה במאגר נוסף של נתונים:
data.okfn.org מספק כמות מכובדת של מידע מסוגים שונים וממקורות שונים שמונגש כולו בחינם ובפורמט אחיד ונח. יש להם כ-60 מאגרים רשמיים וכ-200 נוספים שמתחוזקים ע"י הקהילה.
עברתי על המאגרים הרשמיים ומצאתי כמה ממש נחמדים.

זהב מ-1950
VIX מ-2004
תשואות אג"ח 10 שנים ממשלת ארה"ב וממשלת UK מ-1953 ו-1983 בהתאמה
מחירי נדל"ן ארה"ב ו-UK מ1987
מדד המחירים לצרכן ורמות אינפלציה של ארה"ב מ-1913
זרימת כספי משקיעים לקרנות נאמנות מ-asset classes שונים מ-2007
המידע של רוברט שילר על S&P500 כולל מחיר, דיבידנדים, רווחים ו-PE מ-1871
GDP של ארה"ב מ-1930
מחיר הנפט מ-1987

ועוד כמה דברים לא פיננסיים אבל מעניינים (וקצת מדכאים)
רמות פחמן דו חמצני באטמוספרה מ-1958
פליטות פחמן דו חמצני מ-fossil fuels מ-1751
מסת קרחונים מ-1945

-----------------
מטבעות ווירטואליים (רשימת כל המטבעות)

 

[adamshalev]

הוספתי תמיכה במאגר נוסף של נתונים data.okfn.org שמכיל כמה דברים ממש נחמדים. ראו בפוסט מעל.

 

[מתכנת]

יאהו פיננס (קישור)
בדף התיעוד על המאגר ניתן להוריד את רשימת כל הני"ע ביאהו (94 אלף) וזה אפילו לא כולם כי ETF-ים רבים שיאהו תומכים בהם בממשק הישיר (ברירת המחדל של רטרולייזר) אפילו לא מופיעים שם.

למה יש מידע רק חודשים בודדים בשנת 2014 ?
'YAHOO/SP500NTR@Q'

 

[נתן]

תודה רבה, המון מידע ממש מגניב ומעניין. משעשע איך השקעה בזהב מתחילת שנות ה -70 (ניתוק הקשר של הדולר לזהב) צמחה ב 7% שנתי, או במילים אחרות- זו האינפלציה האמיתית של הדולר בתקופה.

 

[Waler]

תודה רבה, המון מידע ממש מגניב ומעניין. משעשע איך השקעה בזהב מתחילת שנות ה -70 (ניתוק הקשר של הדולר לזהב) צמחה ב 7% שנתי, או במילים אחרות- זו האינפלציה האמיתית של הדולר בתקופה.

למה אתה מתכוון ב"האינפלציה האמיתית" של הדולר?
אונקיית זהב אז והיום קונות את אותו הדבר?

 

[נתן]

למה אתה מתכוון ב"האינפלציה האמיתית" של הדולר?
אונקיית זהב אז והיום קונות את אותו הדבר?

אינפלציה היא עלייה בכמות המטבע. ביחס לזהב, רוב המוצרים ירדו במחירם או נשארו יציבים.

 

[adamshalev]

למה יש מידע רק חודשים בודדים בשנת 2014 ?
'YAHOO/SP500NTR@Q'

פאקים של יאהו. גם באתר שלהם הטיקר הזה שבור.

 

[Waler]

אינפלציה היא עלייה בכמות המטבע. ביחס לזהב, רוב המוצרים ירדו במחירם או נשארו יציבים.

לא בדיוק.
"אִינְפְלַצְיָה היא מונח כלכלי המתאר תהליך של עלייה כללית ומתמשכת של רמת המחירים במדינה או בשוק מסוים."

 

[Benjamin W]

אינפלציה היא עלייה בכמות המטבע. ביחס לזהב, רוב המוצרים ירדו במחירם או נשארו יציבים.

למה אתה מבלבל את הנוער?

 

[נתן]

לא בדיוק.
"אִינְפְלַצְיָה היא מונח כלכלי המתאר תהליך של עלייה כללית ומתמשכת של רמת המחירים במדינה או בשוק מסוים."

זה פרשנות של הכלכלנים הקיינסיאנים. אינפלציה אמיתית היא עלייה בנפח הכסף ותחליפי הכסף (האשראי) במשק. זה יכול להביא לעליית מחירים מסויימים (נגיד של מניות ונדל"ן), אבל ממש לא בהכרח ב "רמת המחירים" כפי שהיא מוגדרת במדד.

 

[מתכנת]

המידע של רוברט שילר על S&P500 כולל מחיר, דיבידנדים,

מנסה ליצור גרף הכולל מחיר+דיבידנד,
איזה נתון מבטא המידע אודות הדיבידנדים? לפי הצורה בה חישבת את תשואת הדיבידנד מניח שהמידע מתייחס לסכום הדיב' וממוצע לתקופה שבגינה התקבל.
אבל לא מצאתי דרך לצבור את הדיב' לתשואה הכוללת, פעולות חיבור למינהן לא רלוונטיות כאן..

 

[adamshalev]

מנסה ליצור גרף הכולל מחיר+דיבידנד,
איזה נתון מבטא המידע אודות הדיבידנדים? לפי הצורה בה חישבת את תשואת הדיבידנד מניח שהמידע מתייחס לסכום הדיב' וממוצע לתקופה שבגינה התקבל.
אבל לא מצאתי דרך לצבור את הדיב' לתשואה הכוללת, פעולות חיבור למינהן לא רלוונטיות כאן..

אפשרי לעשות זאת בחישוב ישיר. ראה כאן דוגמא על SPY למשל שתואמת 1:1 לאחזקה עם השקעה מחדש של דיבידנדים.

עכשיו החישוב על המידע של שילר:
זאת התוצאה הסופית (תעבור לסקאלה לוגריתמית), אבל היא יוצאת בעייתית, עם תשואה גבוהה יותר מזו של קרנות סנופי.
ניסיתי לפרק את הבעיה לחלקים:
- מחיר - המחיר של שילר תואם 1:1 למחיר של אינדקס מחיר S&P500 ובדיוק לפי-10 מהמחיר של SPY.
- דיבידנדים - הדיבידנדים של שילר לא תואמים בדיוק לדיבידנדים של SPY (פי 10). בדף המידע על הנתונים של שילר כתוב שהוא עושה אקסטרפולציה חודשית על הסך השנתי של הדיבדנדים הרבעוניים ולדעתי מקור האי ההתאמה לדיבידנדים בפועל של SPY נובע משיטת חישוב האקסטרפולציה שלו, שזה ממש ממש מצער.

בשורה התחתונה - אפשר לחשוב אינדקס TR מהנתונים של שילר, אבל מידע הדיבידנדים שלו לקוי מאד.

עריכה: נראה שאם מחלקים את הדיבידנדים של שילר ב-12, התוצאה מסתדרת פיקס עם SPY.
נראה שערך הדיבידנד שלו בכל חודש מייצג את סך הדיבידנד השנתי.

 

[adamshalev]

מחשבה מעניינת מהסתכלות על סנופי מתואם דיבידנדים מ-1870 ומאז ש-SPY קיים בתחילת 1992 - התשואה ב-25 השנים האחרונות היא inline עם התשואה ההיסטורית ארוכת הטווח. לא הרבה מעל ולא מתחת, אלא spot on.
עוד דרך להסתכל על זה: תשואה ריאלית שנתית בחלון רץ של 15 שנים.
לפי הגרף הזה, אנחנו לא קרובים לבועה, ממש באמצע התשואות הריאליות ארוכות הטווח.

@מתכנת - אני אקדים אותך, זה המימוש של arith ו-gret ו-geom.

 

[מתכנת]

@adamshalev תודה.
רוצה לוודא שהבנתי כמה נקודות,

ראה כאן דוגמא על SPY

1. בשורה 3 אתה עושה P*0+1, שזה תכלס 1... למה צריך את המניפולציה הזו ו-1 לבד מניב שגיאה? (אל תגיד לי שזה פיצ'ר )

תשואה ריאלית שנתית בחלון רץ של 15 שנים.

2. pow זה העלאה בחזקה - קיצור של power ? (והשימוש במקרה הזה הוא לחלץ את התשואה השנתית באמצעות ממוצע הנדסי?)
3. כל נקודה בגרף מייצגת את התשואה הראלית הממוצעת שהשיא תיק SPY שנרכש 15 שנים לפני כן, נכון?!

 

[adamshalev]

1. בשורה 3 אתה עושה P*0+1, שזה תכלס 1... למה צריך את המניפולציה הזו ו-1 לבד מניב שגיאה? (אל תגיד לי שזה פיצ'ר )

זה אכן פיטצ'ר.
fillGaps לוקח סדרת בסיס כלשהי, ומשלים ערכים על בסיס סדרת עזר בתאריכים שבהם לסדרת בסיס אין ערך. אני רוצה ליצור סדרת מכפילים שבתאריך שבו היה דיבידנד המכפיל יהיה יחס הדיבידנד למחיר ובכל תאריך אחר המכפיל צריך להיות 1.
p*0 + 1
מייצר סדרה של כל התאריכים שיש עבורם מחיר אבל הערכים של הסדרה הזאת יהיו כולם 1-ים.
אין משמעות ללהשלים עם המספר 1 כי הוא חסר תאריכים.

2. pow זה העלאה בחזקה - קיצור של power ? (והשימוש במקרה הזה הוא לחלץ את התשואה השנתית באמצעות ממוצע הנדסי?)

כן וכן.

3. כל נקודה בגרף מייצגת את התשואה הראלית הממוצעת שהשיא תיק SPY שנרכש 15 שנים לפני כן, נכון?!

אכן

 

[מתכנת]

עריכה: נראה שאם מחלקים את הדיבידנדים של שילר ב-12, התוצאה מסתדרת פיקס עם SPY.

למה אם מוסיפים את VFINX להשוואה או משווים רק עם VFINX נראה שיש חוסר התאמה?
בנוסף יש בעיה (אולי חלוקה באפס) אם אני מנסה להריץ DD על כל המידע משילר.
למעשה, נתקלתי בזה כאשר ניסיתי למצוא את אורך המשברים של כל המידע הקיים, בהשראת הפונקציונליות החדשה..
--------
בסוף מצאתי את "האשמים" align / trim

ולגופו של ענין.
זה מה שיצא (העפתי את החלוקה ב-30 כי שילר מספק מידע חודשי, למרות זאת יש אי התאמה במספר החודשים לעומת הקישור שלך??)
משבר 2008 היה חזק יותר מאשר 2000 אבל קצר יותר.
ואם נבדוק ריאלית, משבר 2000 לא התאושש עד 2013!! (אבל משהו מוזר קרה ב-1936 כאילו ראלית הסנופי חזר לעצמו במקום 1945 נומינלית)

 

[adamshalev]

למה אם מוסיפים את VFINX להשוואה או משווים רק עם VFINX נראה שיש חוסר התאמה?

אני לא יודע, תהיתי על זה גם. אי ההתאמה היא רק בין 1980 ל-1988.

זה מה שיצא (העפתי את החלוקה ב-30 כי שילר מספק מידע חודשי, למרות זאת יש אי התאמה במספר החודשים לעומת הקישור שלך??)

כי אני מסתכל ברזולוציה יומית, לעומת המידע של שילר שהוא חודשי. ברזולוציה יומית יש יותר הזדמנויות "לסגור" את ה-draw-down שלא רואים ברזולוציה חודשית.

אבל משהו מוזר קרה ב-1936 כאילו ראלית הסנופי חזר לעצמו במקום 1945 נומינלית)

כי הייתה דפלציה.

ואם נבדוק ריאלית, משבר 2000 לא התאושש עד 2013!!

ההשוואה הריאלית היא החשובה ביותר לדעתי והיא מראה שההיסטוריה של מניות בארה"ב רוויה במשברים שריאלית נמשכו על פני חצי עשור או עשור.
מצד אחד זה כואב, מצד שני, בתיק עם פלח אג"חי אורך ה-draw-down צפוי להיות קצר בהרבה, ולמשקיע לטווח ארוך (20-30 שנה) משבר של 5-10 שנים זה משהו לצפות לו (קרי זה צפוי) ולא משהו להיות מופתע ממנו כלל וכלל.