ממשק API, לשליפת נתונים מהבורסה

[חלכאי]

מקפיץ את השרשור לטובת התייעצות עם המתכנתים כאן. אקדים ואומר שכישורי התכנות שלי ממש בסיסים.

אני מנסה למשוך לתוך תוכנה שאני בונה ב C#, נתוני עדכניים של מדד המחירים לצרכן.
מצאתי את הלינק הנ"ל של הלמ"ס:
https://api.cbs.gov.il//index/data/...=JSON&Lang=en&download=false&last=2&coef=true
כאשר אני פותח מתוך דפדפן אני מקבל JSON תקין
כאשר אני מנסה לעבד את הקובץ באמצעות ה VISUAL STUDIO מקבל שגיאה. כאשר משתמש בכלי כלי אונלייני , אני מקבל במקום ה JSON הודעת חסימה, כנראה יותר מידי נסיונות גישה מאותו IP אז הוא חושב שאני בוט. אגב, למרות ההודעה, אני יכול מיד לאחר מכן לגשת דרך דפדפן וה JSON תקין.

יש לכם רעיון איך אני יכול בכל זאת להוציא מה API הזה נתונים? לחילופין אם אתם מכירים API אחר שמוציא נתוני מדד המחירים לצרכן, אשמח לקבל לינק.

 

[mudale222]

אם זה עובד לך בדפדפן תזדהה כדפדפן

 

[חלכאי]

אם זה עובד לך בדפדפן תזדהה כדפדפן

איך עושים את זה ברמה הפרקטית?

 

[mudale222]

תעשה קופי פייסט לפרמטרים בריקווסט שלך.

 

[קפה שחור]

איך עושים את זה ברמה הפרקטית?

אתה צריך לשלוח את ה headers הנכונים
ניסיתי עם Postman , זה עובד
אם לא מכיר, זאת תוכנה שמייצרת אוסף של קריאות GET/POST שאפשר לבצע בהם אוטומציה ושימוש חוזר \ פר דרישה

 

[חלכאי]

אתה צריך לשלוח את ה headers הנכונים
ניסיתי עם Postman , זה עובד
אם לא מכיר, זאת תוכנה שמייצרת אוסף של קריאות GET/POST שאפשר לבצע בהם אוטומציה ושימוש חוזר \ פר דרישה

ניסיתי עם POSTMAN וגם עם דפדפן זה מחזיר תשובה תקינה.
משום מה כאשר הבקשה מגיעה דרך VISUAL STUDIO מקבלים תשובה שגויה. זה (לא) עובד באותה צורה על כל הלינקים של למ"ס.

אני מצרף כאן את הקוד הפשוט שכתבתי לצורך הבדיקה אשמח אם מישהו יוכל לעזור. התוצאה השגויה מופיעה למעלה

 

[קפה שחור]

ניסיתי עם POSTMAN וגם עם דפדפן זה מחזיר תשובה תקינה.
משום מה כאשר הבקשה מגיעה דרך VISUAL STUDIO מקבלים תשובה שגויה. זה (לא) עובד באותה צורה על כל הלינקים של למ"ס.

אני מצרף כאן את הקוד הפשוט שכתבתי לצורך הבדיקה אשמח אם מישהו יוכל לעזור. התוצאה השגויה מופיעה למעלה

כשאתה שולח קריאה באמצעות WebClient
יש לך אפשרות להוסיף Headers
לדעתי תוסיף את השורה הבאה אחרי האיתחול של ה client

client.Headers.Add("Content-Type","application/json");

ואם זה לא יעבוד תוסיף גם את ה Headers של הדפדפן

 

[חלכאי]

כשאתה שולח קריאה באמצעות WebClient
יש לך אפשרות להוסיף Headers
לדעתי תוסיף את השורה הבאה אחרי האיתחול של ה client

client.Headers.Add("Content-Type","application/json");

ואם זה לא יעבוד תוסיף גם את ה Headers של הדפדפן

תודה. הכיוון שלך עזר לפתור. הייתי צריך "לרמות" את ה API ולהזדהות כדפדפן

client.Headers[HttpRequestHeader.UserAgent] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0";

 

[מנימן]

חייב להגיד שנפעמתי מהעבודה והרצון של @מתכנת @קפה שחור ואחרים.
אני מחפש לבנות לי פרויקט קטן, כדי להציג ולחקור כמה משתלם סטטיסטית לעבוד בשיטת ניתוח טכני בבורסה הישראלית, ולכן חיפשתי דרך לייבא ולהציג נתונים ממנה.
תרומתי הצנועה: לא בטוח אם זה היה בזמן פתיחת השרשור, לבורסה יש API עם TRIAL VERSION שמאפשר 40 קריאות לכל 4 שבועות. (שזה כלום, אבל אולי מספיק כדי לבדוק ולעשות טסטינג על דברים מסויימים). הנה הלינק:
https://openapi.tase.co.il/tase/prod/getting-started

אשמח לקבל לינקים לתוצרים שלכם, נראה שהושקעה פה חתיכת עבודה.

 

[OrZ]

היי לכולם,
כתבתי כלי להצגת מגוון נתונים למשקיע ישראלי, אולי זה ימלא חלק מהצרכים שלכם.
מה שכן - נועד לעבודה רק עם ordernet וקבצי תנועות שאפשר לייצא משם (המטרה היא מעקב אחרי תיק סולידי יחסית פשוט).

https://www.hasolidit.com/kehila/threads/יצרתי-כלי-למעקב-ואיזון-תיק-השקעות-סולידי-בordernet.15084/#post-348412

 

[מנימן]

טוב חברים, אני אבוד.
עברתי על כל השרשור פה ישר והפוך.
המקור היחיד שבאמת הצלחתי שיספק לי מידע הוא הAPI של ביזפורטל, שנותן מידע חלקי:
א) מידע היסטורי שכולל תאריך, שער סגירה, ומחזור.
ב) מידע תוך יומי (על היום האחרון בלבד), שכולל את כל העסקאות והמחזור של כל עסקה שבוצעו באותו יום.
אני מחפש לדעת על כל מניה/מדד בשוק הישראלי - שער פתיחה, שער סגירה, מחזור, נמוך יומי, גבוה יומי.

המטרה שלי היא לפתח מערכת שמאפשרת לבצע backtest על מניות/מדדים בשוק הישראלי לפי patterns של ניתוח טכני, ולבדוק באיזו הסתברות הן עובדות בשוק הישראלי (בשוק בו הרובוטים עדיין לא שולטים).

אני תקוע עוד בשלב הראשוני, של הבאת הדאטה.

ניסיתי להגיע לAPI של גוגל פייננס או יאהו פייננס רק כדי לראות שהם כדי לא תומכים בו ולא ניתן להשתמש בו.
מצאתי כל מיני פתרונות לשוק האמריקאי, אבל טרם מצאתי משהו לשוק הישראלי. (לא הצלחתי למצוא דרך לייבא מידע מאתר הבורסה)

@מתכנת , ראיתי שמצאת משהו דרך האפליקציה של הבורסה הישראלית, יש שם משהו?
אשמח לשמוע רעיונות אנשים.

 

[מנימן]

עדכון: לאחר שיטוט באתר הבורסה, והאזנה לnetwork, מצאתי את הנתונים. דוגמא לקריאה עבור מניית לאומי:
https://api.tase.co.il/api/ChartDat...=1&dFrom=23/04/2020&dTo=23/04/2020&oid=604611

 

[קפה שחור]

אני תקוע עוד בשלב הראשוני, של הבאת הדאטה.

אם אתה בונה מערכת "רצינית", אז אתה חייב להביא את הנתונים מהמקור, שזה הבורסה
ראה את ההודעה הזאת:

חייב להגיד שנפעמתי מהעבודה והרצון של @מתכנת @קפה שחור ואחרים.
אני מחפש לבנות לי פרויקט קטן, כדי להציג ולחקור כמה משתלם סטטיסטית לעבוד בשיטת ניתוח טכני בבורסה הישראלית, ולכן חיפשתי דרך לייבא ולהציג נתונים ממנה.
תרומתי הצנועה: לא בטוח אם זה היה בזמן פתיחת השרשור, לבורסה יש API עם TRIAL VERSION שמאפשר 40 קריאות לכל 4 שבועות. (שזה כלום, אבל אולי מספיק כדי לבדוק ולעשות טסטינג על דברים מסויימים). הנה הלינק:
https://openapi.tase.co.il/tase/prod/getting-started

אשמח לקבל לינקים לתוצרים שלכם, נראה שהושקעה פה חתיכת עבודה.

אם תצליח לקבל נתוני ניסוי בצורה שמשתלבת לך טוב במערכת, תצטרך לשלם על מערכת פתוחה ולא מתווכים בדרך
אבל רק אם "המטרה שלי לפתח מערכת" = להרויח ממנה ע"י מכירתה לאחרים
אם אתה עושה זאת בשבילך או בשביל סביבתך , אין שום סיבה לשלם

 

[mudale222]

טוב חברים, אני אבוד.
עברתי על כל השרשור פה ישר והפוך.
המקור היחיד שבאמת הצלחתי שיספק לי מידע הוא הAPI של ביזפורטל, שנותן מידע חלקי:
א) מידע היסטורי שכולל תאריך, שער סגירה, ומחזור.
ב) מידע תוך יומי (על היום האחרון בלבד), שכולל את כל העסקאות והמחזור של כל עסקה שבוצעו באותו יום.
אני מחפש לדעת על כל מניה/מדד בשוק הישראלי - שער פתיחה, שער סגירה, מחזור, נמוך יומי, גבוה יומי.

המטרה שלי היא לפתח מערכת שמאפשרת לבצע backtest על מניות/מדדים בשוק הישראלי לפי patterns של ניתוח טכני, ולבדוק באיזו הסתברות הן עובדות בשוק הישראלי (בשוק בו הרובוטים עדיין לא שולטים).

אני תקוע עוד בשלב הראשוני, של הבאת הדאטה.

ניסיתי להגיע לAPI של גוגל פייננס או יאהו פייננס רק כדי לראות שהם כדי לא תומכים בו ולא ניתן להשתמש בו.
מצאתי כל מיני פתרונות לשוק האמריקאי, אבל טרם מצאתי משהו לשוק הישראלי. (לא הצלחתי למצוא דרך לייבא מידע מאתר הבורסה)

@מתכנת , ראיתי שמצאת משהו דרך האפליקציה של הבורסה הישראלית, יש שם משהו?
אשמח לשמוע רעיונות אנשים.

קודם כל יש לך טעות שאתה חושב משום מה שבשוק הישראלי הרובוטים לא עובדים.
הם עובדים וחזק מאוד, וכמעט על כל נייר בשוק, כולל ניירות עם סחירות נמוכה.
בקשר לנתונים שאתה מחפש, אתה יכול לקנות ישירות מהבורסה את פירוט כל העסקאות התוך יומיות וליצור לך כל נתון אחר שאתה רוצה מזה.
המחיר זה איזור ה3K לשנה, ויש חברות אחרות שמתעסקות בתחום הנתונים הפיננסים שיעשו לך הנחות אם תיקח יותר שנים (עסקת חבילה).
עוד אופציה תוריד את הנתונים כל יום ותבנה לאט לאט דאטה בייס. אופציה חינמית לא נראה שיש כרגע.

 

[אילן רוזנברג]

האם ישנה אפשרות לקבל ציטוט של אופציה (וורנט) על מניה בישראל לגוגל פיננס ?
אין בעיה לקבל נתוני מניות (=GOOGLEFINANCE("TLV:RANI") אבל שאני מכניס אופציה לפי השם בבורסה או באינבסטינג זה לא מראה
למשל האופציה של רני בשם RANI_t1 או RANI.W1 לפי אתר הבורסה
תודה!

אם מישהו מתעניין בנתונים בלייב מהנסדק, יש את גוגל פיינס. יש משוואות שמאפשרות לייבא נתונים בלייב, להלן קישור

https://docs.google.com/spreadsheets/d/14ln1wgzOUhWyjl9uxZ0cv2UrwUfGgNXJorhd4jMAxsE/edit?usp=sharing[/QUOTE

 

[ברליו]

ה-2 גרוש שלי:
יש לי סקריפט שבודק מדי פעם את מאיה ושולח לי הודעה דרך PushOver על חברות ואירועים שבחרתי,
הנה דוגמא מלפני כמה דק׳ - אלקטריאון הוציאו הודעה.

הסקריפט ממתמשק מול endpoint של הבורסה שמחזיר json. אני בכוונה לא חושף אותו כי אני יודע שהוא יחסם מהר מאוד ברגע שזה יפורסם פומבית.

כל הממשקים של הבורסה עוברים דרך Incapsula, ויש להם את כל הטריקים שיש בספר (cookie test, js test וכו׳).
מעבר לזה, הבורסה עתידה להשיק api אוטוטו, אני זוכר שקראתי הודעה במאיה ומה שהם פירסמו לא תואם ל-api שיש כרגע, ימים יגידו.

 

[nmac]

הגעתי לשרשור הזה כדי לחפש פתרון *פשוט* בלי יכולות תכנות כלשהן, להכנסת מחיר נוכחי של מניה ישראלית לגליון גוגל שיטס.
מסתבר שזה לא פשוט כמו שזה אמור להיות
אז אחרי שכל האתרים הפיננסיים המובילים בארץ סירבו להגיב ל-importxml פשוט, המשכתי לחפש בשדות זרים.
מצאתי פתרון אחר שעבד לי והנחתי שאולי זה יעזור לעוד אנשים-

בקצרה, יש תוסף שנקרא ImportFromWeb לגוגל שיטס (בקישור הזה).
הוא חינמי עד 100 קריאות בחודש (לא הרבה, אבל אמור להספיק למי שעוקב אחרי התיק שלו באופן סולידי )
הוא עבד לי בצורה מושלמת עם ה-xml של ביזפורטל, למרות שה-importxml הסטנדרטי של אקסל לא עבד.

איך עושים?
אז נניח ורוצים מחיר של מניה כלשהי בביזפורטל (לדוגמא).
מוצאים את ה-xml של השדה של מחיר המניה (מסמנים את המחיר, קליק ימני->inspect, קליק ימני על השורה המסומנת בחלון שנפתח->copy XPath).
במקרה שלנו הוא-

/html/body/div[1]/section/article[1]/div[1]/div/div[2]/span[1]

מכניסים הכל לנוסחא, ובגדול זהו.
כך שהנוסחא הסופית היא-

=IMPORTFROMWEB("https://www.bizportal.co.il/forex/quote/generalview/"&B3,"/html/body/div[1]/section/article[1]/div[1]/div/div[2]/span[1]")/100

כשסימול המניה נמצא בתא B3 (במקרה שלי, בתא הזה מופיע הערך 1159250).

מקווה שזה עזר למישהו ‍

 

[לופטגשפט]

סליחה על ההקפצה, אבל מישהו יודע האם יש עדכון לAPI של גוגל, שיוכל להשיג מידע (מחיר של יחידה, זה הכל) של קרנות סל שנסחרות בת"א? לדוגמא זאת של בלקרוק:
https://www.tase.co.il/he/market_data/security/1159250/major_data
ראיתי שעבור מניות רגילות ניתן להריץ משהו כמו:
=GOOGLEFINANCE("TLV:LUMI")
שהסימול מגיע מכאן: https://info.tase.co.il/eng/marketd...TBSPKOdmJKe5bWtRY3H0Z5BYgbVLf6-Pc8t1AVAO5WrOE.
ממה שראיתי אין סימולים לקרנות סל.

מישהו הצליח?

 

[לופטגשפט]

עדכון, מצאתי דרך גוגל פייננס טיקר מתאים לקרנות סל (לפחות אלה שאני חיפשתי עבורם). לדוגמא, הקרן סנופי של בלקרוק, הטיקר שלה הוא: TLV:IS.FF702. עם הנתון הזה הצלחתי לעשות את כל ההוצאות מידע הבסיסיות בgoogle sheets:

=GOOGLEFINANCE("TLV:IS.FF702")/100

=GOOGLEFINANCE("TLV:IS.FF702", "changepct")/100 

=SPARKLINE(GOOGLEFINANCE("TLV:IS.FF702","price",TODAY()-7,TODAY(),"daily"),
{"charttype","line";"linewidth",2;"color","#5f88cc"})

 

[zivt83]

מישהו הבין איך בודקים מדד מחירים לצרכן לפי חודש ועל בסיס שונה ? כלומר אם אני צריך את המדד של ספטמבר 2020 על בסיס 1998 ? אני בדיוק עובד על סרגל כלים חדש לאקסל ומעוניין לבנות מודול שמושך את נתוני המדדים.

אגב- אני משתמש בפורמט XML, למה בחרת להשתמש ב-JSON ?

מקפיץ את השרשור לטובת התייעצות עם המתכנתים כאן. אקדים ואומר שכישורי התכנות שלי ממש בסיסים.

אני מנסה למשוך לתוך תוכנה שאני בונה ב C#, נתוני עדכניים של מדד המחירים לצרכן.
מצאתי את הלינק הנ"ל של הלמ"ס:
https://api.cbs.gov.il//index/data/...=JSON&Lang=en&download=false&last=2&coef=true
כאשר אני פותח מתוך דפדפן אני מקבל JSON תקין
כאשר אני מנסה לעבד את הקובץ באמצעות ה VISUAL STUDIO מקבל שגיאה. כאשר משתמש בכלי כלי אונלייני , אני מקבל במקום ה JSON הודעת חסימה, כנראה יותר מידי נסיונות גישה מאותו IP אז הוא חושב שאני בוט. אגב, למרות ההודעה, אני יכול מיד לאחר מכן לגשת דרך דפדפן וה JSON תקין.

יש לכם רעיון איך אני יכול בכל זאת להוציא מה API הזה נתונים? לחילופין אם אתם מכירים API אחר שמוציא נתוני מדד המחירים לצרכן, אשמח לקבל לינק.