• חשבון מסחר באקסלנס טרייד : סנט למניה במסחר בארה"ב (מינימום $5 לעסקה), פטור מדמי טיפול לשנתיים, קורס במתנה ובונוס 100 ש"ח למצטרפים חדשים. להצטרפות דיגיטלית לחצו כאן .

השאלות של דור ה-Z (אוטומטיזציה ועוד)

דור ה-Z

משתמש בכיר
הצטרף ב
26/4/19
הודעות
1,652
דירוג
1,476
היי,
לאור הרכב הקהל בפורום וההצלחה עם המאקרו, רציתי לפנות אליכם שוב בנוגע לסוגיות שונות שקשורות לתכנות, הייטק ודברים אחרים
אני יודע שזאת לא בדיוק מטרת הפורום, אבל האמת שקשה למצוא אנשים שאפשר לשאול אותם על זה
מעריך את כל מי שיוכל לעזור, ואת זמנכם היקר
--------------------

תהיתי לעצמי אם יש אפשרות להכין בוט שיסכם ויתרגם אוטומטית כתבות באתרים מסוימים, יצרף להן תמונה רלוונטית וכמה משפטים קבועים. לאחר מכן, פשוט לפרסם את המידע בערוץ טלגרם ספציפי.
כבר מצאתי הרבה בוטים שמסוגלים לעשות (בהצלחה חלקית...) את המטלות הראשונות (למשל, SummarizeBot), ואת מלאכת התרגום אני שוקל להשאיר סמי אוטומטית (תרגום ראשון באמצעות bing - שעושה עבודה טובה יותר מגוגל טנסלייט, ואז פשוט אעבור על זה ואלטש את הטקסט), אבל כאן בערך נתקעתי.
התוצר מאוד בוסרי, ואני לא יודע איך בדיוק להעביר אותו לערוץ הרלוונטי אוטומטית (או לפחות למאגר באקסל). אני גם לא יודע איך לגרום לו לעקוב אחרי הכתבות המתפרסמות ו"למשוך" אותן אוטומטית.

אשמח לכיוון - איפה אני יכול ללמוד על הנושא? זה אפשרי בכלל?
אני מרגיש כאלו כל פעם חסר לי הידע על הכלי הנכון...
 
https://automatetheboringstuff.com/ אולי תמצא את מה שאתה מחפש כאן.
יותר ספציפי:
בפעם האחרונה שהתעסקתי עם אקסל השתמשתי ב xlsxwriter , כל מה שקשור בווב אני חושב שנעשה עם ביוטיפול סופ או סלניום.
אולי אני לא מעודכן , אני בחור שמעדיף low level
 
כמו ש @Et1 אמר:
בהנחה שהכתבות הן מאותם האתרים (כולן למשל מ ynet או מוואלה), אז:
beautifulsoup - אם האתר סטטי.
selenium - אם נוצר תוכן ע"י javascript כלשהו.

יצרף להן תמונה רלוונטית
להוריד תמונה מגוגל, באופן אוטומטי, לא אמור להיות בעיה.
להגדיר "רלוונטית", באופן אוטומטי, ייתכן ולא משימה פשוטה.
אפשר ללכת על דרך נאיבית ופשוט לרשום את הכותרת של הכתבה בחיפוש בגוגל images,
ואפשר להריץ מודל שמחלץ את נושא הכתבה, ואותו לחפש בגוגל images.
הראשון אולי פשוט מדיי, האחרון כנראה overkill ולא ב scope.
שים לב שיש פה עניין של זכויות יוצרים על התמונות.

לפרסם את המידע בערוץ טלגרם ספציפי.
יש חבילות בפייתון שעושות את זה, תריץ חיפוש.
ממה שאני זוכר, לכל יוזר בטלגרם משוייך מספר טלפון שונה,
ככה שאם תרצה לפתוח יוזר ייעודי עבור הבוט הזה - תצטרך מספר טלפון שאין לו יוזר בטלגרם.

(או לפחות למאגר באקסל).
בקטנה - csv או json יהיה כנראה יותר קל ויענה על הצורך שלך.

אני גם לא יודע איך לגרום לו לעקוב אחרי הכתבות המתפרסמות ו"למשוך" אותן אוטומטית.
תגגל web scraping.
אם ניקח את הכתבה הראשית בynet כדוגמה נאיבית,
אז לא בעיה למשוך באופן יומי נגיד את ה url של הכתבה הראשית,
ומשם לגרד (scrape) את הטקסט שנמצא ב url.
 
@Et1 @ asafal תודה על התשובות המחכימות!
אני חושב ש-selenium היא כיוון מעניין, והייתי שמח לבחון גם את הכיוונים האחרים, אבל אני לא ממש מצליח להבין מאיפה להתחיל
"Automate the Boring Stuff with Python" נראה רלוונטי, אבל אני באמת נרתע מאנגלית
יש מקור דומה בעברית שאתה אולי מכיר?


כמו ש @Et1 אמר:
בהנחה שהכתבות הן מאותם האתרים (כולן למשל מ ynet או מוואלה), אז:
beautifulsoup - אם האתר סטטי.
selenium - אם נוצר תוכן ע"י javascript כלשהו.
אני מניח שהכוונה ב"אתר דינמי" היא לאתר שמתעדכן באופן שעתי/יומי? כי אם כן-אז כן.

עריכה: נראה שאתר דינמי הוא אתר עם כמה שכבות ניווט. ע"פ ההגדרה הזו, אתר כמו ynet או דה מרקר שפשוט יש לו "מרכז כותרות" שמשתנה תדיר, לא נחשב לדינמי.

כמו ש @Et1
להוריד תמונה מגוגל, באופן אוטומטי, לא אמור להיות בעיה.
להגדיר "רלוונטית", באופן אוטומטי, ייתכן ולא משימה פשוטה.
אפשר ללכת על דרך נאיבית ופשוט לרשום את הכותרת של הכתבה בחיפוש בגוגל images,
ואפשר להריץ מודל שמחלץ את נושא הכתבה, ואותו לחפש בגוגל images.
הראשון אולי פשוט מדיי, האחרון כנראה overkill ולא ב scope.
שים לב שיש פה עניין של זכויות יוצרים על התמונות.

הייתי שמח לנסות את הדרך הנאיבית, או פשוט לנסות לחלץ תמונות מהכתבה
איך מתחילים את המטרה הראשונה?
web scraping זה הכיוון עבורי למטרה השנייה?

כמו ש @Et1
יש חבילות בפייתון שעושות את זה, תריץ חיפוש.
ממה שאני זוכר, לכל יוזר בטלגרם משוייך מספר טלפון שונה,
ככה שאם תרצה לפתוח יוזר ייעודי עבור הבוט הזה - תצטרך מספר טלפון שאין לו יוזר בטלגרם.
אין לי בעיה להקדיש מספר טלפון לבוט, בהנחה שהוא עובד
אבל כאן אני נתקע בפער מידע - אני לא יודע מה זה חבילות בפייתון... הידע שלי בפייתון מאוד בסיסי

כמו ש @Et1
בקטנה - csv או json יהיה כנראה יותר קל ויענה על הצורך שלך.
לא מכיר את שתיהן :$

כמו ש @Et1
תגגל web scraping.
אם ניקח את הכתבה הראשית בynet כדוגמה נאיבית,
אז לא בעיה למשוך באופן יומי נגיד את ה url של הכתבה הראשית,
ומשם לגרד (scrape) את הטקסט שנמצא ב url.

משהו בסגנון השירות הזה?

-----------------------
אוקיי, לאור העובדה שיש לי פער בידע מקצועי, רציתי לשאול:
1. יש מקורות מידע בעברית שקל ללמוד מהן? אפילו בתשלום. מניח שבאנגלית הספר שצירף @Et1 יכול לעשות את העבודה.
אם אין מקור איכותי בעברית, אפנה אליו.
2. יש דרך פשוט להעסיק מתכנת שיעשה זאת עבורי? ראיתי שיש קבוצות של מתכנתים פרילנסרים, ותמורת תוצר איכותי (בוט שבאמת יעשה את העבודה כמו שצריך), שווה לברר לפחות את התמחור
 
למען הסדר הטוב:
אפשר לחלק את הדרישה שלך לשלושה שלבים:
1. לשלוף כתבות / תמונות / מידע באופן אוטומטי מהאינטרנט - התשובה לזה זה web scraping.
2. לשמור את המידע במחשב - יש כל מיני פורמטים מתאימים, אקסל זה כנראה אחד מהם.
3. פרסום המידע בטלגרם - יש דרכים לעשות את זה בפייתון, הנה אחת.

ב"אתר דינמי" היא לאתר שמתעדכן באופן שעתי/יומי?
אני לא איש web, קח בערבון מוגבל את דברי.
בתאוריה, התשובה היא לא - אין קשר בין היותו של אתר סטטי / דינאמי לבין רמת ההתעדכנות שלו (שעתי יומי...).
ברמה הפרקטית:
יש כל מיני פעולות (לחיצה על העכבר, תזוזה של העכבר, שימוש בגלגלת) שמריצות javascript וטוענות מידע חדש לאתר.
אתר כמו פייסבוק, בו ברגע שאתה גולל למטה נטען לך מידע נוסף - הוא אתר דינאמי.
הגלילה מריצה javascript בדפדפן, שטוען לך מידע נוסף לעמוד.
selenium יודע לדמות את אותן פעולות (לחיצה, גלילה וכו...) - הוא רץ על גבי דפדפן (ולכן יש מה שיריץ JS), ולכן הוא כלי טוב לאתרים בסגנון הזה.
אתרים בהם כל המידע (או לפחות הרוב הרלוונטי שלו) מופיע ב html, דוגמת ynet,
הם אתרים סטטיים, ו beautifulsoup יודע לשלוף את המידע מהם בצורה מהירה.
גם selenium ידע לעשות את העבודה, הוא פשוט בדר"כ איטי יותר.

יש מקורות מידע בעברית
יש את זה. הוא על תכנות כללי בפייתון - מניח שיתן לך רקע טוב.

---------------------
עריכה:
אני זורק פה לאוויר selenium ו web scraping וכל מיני שמות יפים,
אבל אם אין לך רקע בסיסי בתכנות, אז כדאי להשיג אותו קודם.
אני פשוט לא רואה טעם לדבר על הכל מבלי רקע בסיסי, זה סוג של סינית בשבילך כנראה...
 
נערך לאחרונה ב:
למען הסדר הטוב:
אפשר לחלק את הדרישה שלך לשלושה שלבים:
1. לשלוף כתבות / תמונות / מידע באופן אוטומטי מהאינטרנט - התשובה לזה זה web scraping.
2. לשמור את המידע במחשב - יש כל מיני פורמטים מתאימים, אקסל זה כנראה אחד מהם.
3. פרסום המידע בטלגרם - יש דרכים לעשות את זה בפייתון, הנה אחת.


אני לא איש web, קח בערבון מוגבל את דברי.
בתאוריה, התשובה היא לא - אין קשר בין היותו של אתר סטטי / דינאמי לבין רמת ההתעדכנות שלו (שעתי יומי...).
ברמה הפרקטית:
יש כל מיני פעולות (לחיצה על העכבר, תזוזה של העכבר, שימוש בגלגלת) שמריצות javascript וטוענות מידע חדש לאתר.
אתר כמו פייסבוק, בו ברגע שאתה גולל למטה נטען לך מידע נוסף - הוא אתר דינאמי.
הגלילה מריצה javascript בדפדפן, שטוען לך מידע נוסף לעמוד.
selenium יודע לדמות את אותן פעולות (לחיצה, גלילה וכו...) - הוא רץ על גבי דפדפן (ולכן יש מה שיריץ JS), ולכן הוא כלי טוב לאתרים בסגנון הזה.
אתרים בהם כל המידע (או לפחות הרוב הרלוונטי שלו) מופיע ב html, דוגמת ynet,
הם אתרים סטטיים, ו beautifulsoup יודע לשלוף את המידע מהם בצורה מהירה.
גם selenium ידע לעשות את העבודה, הוא פשוט בדר"כ איטי יותר.


יש את זה. הוא על תכנות כללי בפייתון - מניח שיתן לך רקע טוב.

---------------------
עריכה:
אני זורק פה לאוויר selenium ו web scraping וכל מיני שמות יפים,
אבל אם אין לך רקע בסיסי בתכנות, אז כדאי להשיג אותו קודם.
אני פשוט לא רואה טעם לדבר על הכל מבלי רקע בסיסי, זה סוג של סינית בשבילך כנראה...

יש לי רקע מאוד בסיסי בפייתון (למדתי את רוב הקורס של אוניברסיטת תל אביב ב''קמפוס''), ולכן אני לא מכיר את כל השמות
אני אעבור על הספר בעברית ששלחת, ואז אבדוק איך מתכנתים את הבוט/מיקור חוץ למתכנת חיצוני
 
נושאים דומים
פותח הנושא כותרת פורום תגובות תאריך
G שאלת השאלות של קרן השתלמות פנסיה, גמל וקרנות השתלמות 13
בובין חוט-השני מה השאלות שחייבים לשאול כשמצטרפים כשותף לעסק? השקעות אלטרנטיביות 10
A השאלות החשובות בבחירת דירה להשקעה נדל"ן 10
עייף ומותש סעמק אירית או לונדונית שאלת השאלות שוק ההון 15
abby1994 שאלת השאלות מסלול או דמי ניהול? צרכנות פיננסית 14
מ שאלת השאלות - לקנות או לשכור? נדל"ן 13
yossik שאלת השאלות בראיון עבודה - 'ספר לי על עצמך' התפתחות אישית 86
A חובת הגשה של טופס 134 בדוח השנתי מיסים 0
B תשואות של מסלול פנסיה לפי חודש (מחקה מדד s&p 500) פנסיה, גמל וקרנות השתלמות 2
G נייר ערך של 50 החברות הגדולות ב-s&p שוק ההון 6
K האם שוק המניות לא יכול להיות מימוש של מעבר פשוט בין סוגי משאבים שוק ההון 47
ק המלצה: "כסף קטן" - ספרוני חינוך פיננסי לילדים של בנק ישראל התפתחות אישית 0
R לא מוצא את ZPRX במערכת ספארק של מיטב שוק ההון 4
ש התנהלות של עוסק פטור כלפי מס הכנסה מיסים 8
J גלגל החיים (או הפרמידה) של הפנסיה, ו-IRA פנסיה, גמל וקרנות השתלמות 6
S מיטב טוענים שכדי לסחור ב - IB דרכם צריך תיק של לפחות 25K דולר, האם מישהו מכיר את ההגבלה הזו והאם יש משהו לעשות בנידון? שוק ההון 4
E האם קרן אירית של בלקרוק משלמת מס רווחי הון מקוזז אינפלציה או מקוזז הפרשי שערי מט"ח? שוק ההון 3
T מהי "שָנָה" בהגדרת תושב חוזר ותיק, טופס 113 של מס הכנסה מיסים 3
Z אם מתחרטים יום אחרי על מכירה של מנייה שהוחזקה שנים שוק ההון 4
P להיות הגירסה הכי טובה של עצמך. התפתחות אישית 14
ה הפסיכולוגיה של הכסף - הספר צרכנות פיננסית 2
S חבות מס של ידועים בציבור כשלאשה אין הכנסה חייבת במס מיסים 2
I משיכת פנסיה - עניין של מיסוי אוף טופיק 4
עלילה מסלול חוות דעת על תמהיל של יועץ נדל"ן 24
Y שאלות של מייק מתחיל לגבי קרן השתלמות ופנסיה פנסיה, גמל וקרנות השתלמות 1
Y העברה בנקאית או צ'ק האם יש הבדל בין דרכי העברה? סכום של 80 אש"ח נדל"ן 7
S האם יש ETF-ים של מגוון רחב של מטבעות קריפטו - ולא רק ביטקוין? השקעות אלטרנטיביות 10
K התחשבות במיסוי בשיקול מכירת נייר ורכישה של אחר? שוק ההון 2
Y שאלות של מייק מתחיל לגבי תיק השקעות פשוט שוק ההון 33
ה מה היתרון של קרן אג"ח ממשלתית לעומת קרן כספית? שוק ההון 12
Yuvalbuz3 הנהירה של כל צעירי ישראל ללימודי מדעי המחשב התפתחות אישית 57
S ביטוח סיעודי של קופ"ח מכבי לחייל שמתגייס לשירות סדיר צרכנות פיננסית 0
C מקור לראות דוחות כספיים של עסקים קטנים? אוף טופיק 2
3 כמה שאלות של שוכר מתחיל נדל"ן 8
א איפה אפשר לקרוא תנאים בסיסים של קופת פנסיה פנסיה, גמל וקרנות השתלמות 8
מ איך כל העניין הזה של ביטוח חיים משתלם למבטחת? פנסיה, גמל וקרנות השתלמות 4
V התיק של VINCENT שוק ההון 4
M האג"ח בסביבה של היום שוק ההון 20
Y השקעה של 350000 למשך שנתיים וחצי פנסיה, גמל וקרנות השתלמות 15
ב הניסוי של ארגנטינה: מס ליברטריאני מינימאלי מיסים 7
A "דוחות מס/הערכות מס של השלוש השנים האחרונות" איך אני מוצא משהו כזה? מיסים 2
Y מכירה של RSU בשכבות, מה הדרך המיטבית מיסים 19
מ קנייה של S&P500 דרך בנק הפועלים(חשבון הייטקזון) או מיטב/IBI? שוק ההון 10
painblanc נזילה גדולה מהשכן בדירה של בני נדל"ן 8
A איך להקל על יורשים בהוצאת כספים מחשבונות השקעה אמריקאיים של אזרח אמריקאי שנפטר שוק ההון 188
B התייחסות לRSU של מניות דיוידנד בפרישה מוקדמת שוק ההון 9
ד האם אתם רואים בנפילה של הביטקוין בשבוע האחרון הזדמנות קנייה ? פוסטים מאיכות נמוכה 5
ה מודיס צפויה להוריד את דירוג האשראי של ישראל פוליטיקה, אקטואליה, דת-מדינה ושאר מרעין בישין 168
O דיבידנדים מול מדדים בהקשר של יציאה לחופש כלכלי - איך כדאי להתנהל דיוני עומק על פוסטים מהבלוג 88
H סיפוח של טיוואן ע"י סין. אוף טופיק 9

נושאים דומים

Back
למעלה