השאלות של דור ה-Z (אוטומטיזציה ועוד)

דור ה-Z

משתמש בכיר
הצטרף ב
26/4/19
הודעות
1,650
דירוג
1,471
היי,
לאור הרכב הקהל בפורום וההצלחה עם המאקרו, רציתי לפנות אליכם שוב בנוגע לסוגיות שונות שקשורות לתכנות, הייטק ודברים אחרים
אני יודע שזאת לא בדיוק מטרת הפורום, אבל האמת שקשה למצוא אנשים שאפשר לשאול אותם על זה
מעריך את כל מי שיוכל לעזור, ואת זמנכם היקר
--------------------

תהיתי לעצמי אם יש אפשרות להכין בוט שיסכם ויתרגם אוטומטית כתבות באתרים מסוימים, יצרף להן תמונה רלוונטית וכמה משפטים קבועים. לאחר מכן, פשוט לפרסם את המידע בערוץ טלגרם ספציפי.
כבר מצאתי הרבה בוטים שמסוגלים לעשות (בהצלחה חלקית...) את המטלות הראשונות (למשל, SummarizeBot), ואת מלאכת התרגום אני שוקל להשאיר סמי אוטומטית (תרגום ראשון באמצעות bing - שעושה עבודה טובה יותר מגוגל טנסלייט, ואז פשוט אעבור על זה ואלטש את הטקסט), אבל כאן בערך נתקעתי.
התוצר מאוד בוסרי, ואני לא יודע איך בדיוק להעביר אותו לערוץ הרלוונטי אוטומטית (או לפחות למאגר באקסל). אני גם לא יודע איך לגרום לו לעקוב אחרי הכתבות המתפרסמות ו"למשוך" אותן אוטומטית.

אשמח לכיוון - איפה אני יכול ללמוד על הנושא? זה אפשרי בכלל?
אני מרגיש כאלו כל פעם חסר לי הידע על הכלי הנכון...
 

Et1

משתמש ותיק
הצטרף ב
25/8/17
הודעות
530
דירוג
606
https://automatetheboringstuff.com/ אולי תמצא את מה שאתה מחפש כאן.
יותר ספציפי:
בפעם האחרונה שהתעסקתי עם אקסל השתמשתי ב xlsxwriter , כל מה שקשור בווב אני חושב שנעשה עם ביוטיפול סופ או סלניום.
אולי אני לא מעודכן , אני בחור שמעדיף low level
 

teeto

משתמש ותיק
הצטרף ב
6/12/18
הודעות
112
דירוג
108
כמו ש @Et1 אמר:
בהנחה שהכתבות הן מאותם האתרים (כולן למשל מ ynet או מוואלה), אז:
beautifulsoup - אם האתר סטטי.
selenium - אם נוצר תוכן ע"י javascript כלשהו.

יצרף להן תמונה רלוונטית
להוריד תמונה מגוגל, באופן אוטומטי, לא אמור להיות בעיה.
להגדיר "רלוונטית", באופן אוטומטי, ייתכן ולא משימה פשוטה.
אפשר ללכת על דרך נאיבית ופשוט לרשום את הכותרת של הכתבה בחיפוש בגוגל images,
ואפשר להריץ מודל שמחלץ את נושא הכתבה, ואותו לחפש בגוגל images.
הראשון אולי פשוט מדיי, האחרון כנראה overkill ולא ב scope.
שים לב שיש פה עניין של זכויות יוצרים על התמונות.

לפרסם את המידע בערוץ טלגרם ספציפי.
יש חבילות בפייתון שעושות את זה, תריץ חיפוש.
ממה שאני זוכר, לכל יוזר בטלגרם משוייך מספר טלפון שונה,
ככה שאם תרצה לפתוח יוזר ייעודי עבור הבוט הזה - תצטרך מספר טלפון שאין לו יוזר בטלגרם.

(או לפחות למאגר באקסל).
בקטנה - csv או json יהיה כנראה יותר קל ויענה על הצורך שלך.

אני גם לא יודע איך לגרום לו לעקוב אחרי הכתבות המתפרסמות ו"למשוך" אותן אוטומטית.
תגגל web scraping.
אם ניקח את הכתבה הראשית בynet כדוגמה נאיבית,
אז לא בעיה למשוך באופן יומי נגיד את ה url של הכתבה הראשית,
ומשם לגרד (scrape) את הטקסט שנמצא ב url.
 

דור ה-Z

משתמש בכיר
הצטרף ב
26/4/19
הודעות
1,650
דירוג
1,471
@Et1 @ asafal תודה על התשובות המחכימות!
אני חושב ש-selenium היא כיוון מעניין, והייתי שמח לבחון גם את הכיוונים האחרים, אבל אני לא ממש מצליח להבין מאיפה להתחיל
"Automate the Boring Stuff with Python" נראה רלוונטי, אבל אני באמת נרתע מאנגלית
יש מקור דומה בעברית שאתה אולי מכיר?


כמו ש @Et1 אמר:
בהנחה שהכתבות הן מאותם האתרים (כולן למשל מ ynet או מוואלה), אז:
beautifulsoup - אם האתר סטטי.
selenium - אם נוצר תוכן ע"י javascript כלשהו.
אני מניח שהכוונה ב"אתר דינמי" היא לאתר שמתעדכן באופן שעתי/יומי? כי אם כן-אז כן.

עריכה: נראה שאתר דינמי הוא אתר עם כמה שכבות ניווט. ע"פ ההגדרה הזו, אתר כמו ynet או דה מרקר שפשוט יש לו "מרכז כותרות" שמשתנה תדיר, לא נחשב לדינמי.

כמו ש @Et1
להוריד תמונה מגוגל, באופן אוטומטי, לא אמור להיות בעיה.
להגדיר "רלוונטית", באופן אוטומטי, ייתכן ולא משימה פשוטה.
אפשר ללכת על דרך נאיבית ופשוט לרשום את הכותרת של הכתבה בחיפוש בגוגל images,
ואפשר להריץ מודל שמחלץ את נושא הכתבה, ואותו לחפש בגוגל images.
הראשון אולי פשוט מדיי, האחרון כנראה overkill ולא ב scope.
שים לב שיש פה עניין של זכויות יוצרים על התמונות.

הייתי שמח לנסות את הדרך הנאיבית, או פשוט לנסות לחלץ תמונות מהכתבה
איך מתחילים את המטרה הראשונה?
web scraping זה הכיוון עבורי למטרה השנייה?

כמו ש @Et1
יש חבילות בפייתון שעושות את זה, תריץ חיפוש.
ממה שאני זוכר, לכל יוזר בטלגרם משוייך מספר טלפון שונה,
ככה שאם תרצה לפתוח יוזר ייעודי עבור הבוט הזה - תצטרך מספר טלפון שאין לו יוזר בטלגרם.
אין לי בעיה להקדיש מספר טלפון לבוט, בהנחה שהוא עובד
אבל כאן אני נתקע בפער מידע - אני לא יודע מה זה חבילות בפייתון... הידע שלי בפייתון מאוד בסיסי

כמו ש @Et1
בקטנה - csv או json יהיה כנראה יותר קל ויענה על הצורך שלך.
לא מכיר את שתיהן :$

כמו ש @Et1
תגגל web scraping.
אם ניקח את הכתבה הראשית בynet כדוגמה נאיבית,
אז לא בעיה למשוך באופן יומי נגיד את ה url של הכתבה הראשית,
ומשם לגרד (scrape) את הטקסט שנמצא ב url.

משהו בסגנון השירות הזה?

-----------------------
אוקיי, לאור העובדה שיש לי פער בידע מקצועי, רציתי לשאול:
1. יש מקורות מידע בעברית שקל ללמוד מהן? אפילו בתשלום. מניח שבאנגלית הספר שצירף @Et1 יכול לעשות את העבודה.
אם אין מקור איכותי בעברית, אפנה אליו.
2. יש דרך פשוט להעסיק מתכנת שיעשה זאת עבורי? ראיתי שיש קבוצות של מתכנתים פרילנסרים, ותמורת תוצר איכותי (בוט שבאמת יעשה את העבודה כמו שצריך), שווה לברר לפחות את התמחור
 

teeto

משתמש ותיק
הצטרף ב
6/12/18
הודעות
112
דירוג
108
למען הסדר הטוב:
אפשר לחלק את הדרישה שלך לשלושה שלבים:
1. לשלוף כתבות / תמונות / מידע באופן אוטומטי מהאינטרנט - התשובה לזה זה web scraping.
2. לשמור את המידע במחשב - יש כל מיני פורמטים מתאימים, אקסל זה כנראה אחד מהם.
3. פרסום המידע בטלגרם - יש דרכים לעשות את זה בפייתון, הנה אחת.

ב"אתר דינמי" היא לאתר שמתעדכן באופן שעתי/יומי?
אני לא איש web, קח בערבון מוגבל את דברי.
בתאוריה, התשובה היא לא - אין קשר בין היותו של אתר סטטי / דינאמי לבין רמת ההתעדכנות שלו (שעתי יומי...).
ברמה הפרקטית:
יש כל מיני פעולות (לחיצה על העכבר, תזוזה של העכבר, שימוש בגלגלת) שמריצות javascript וטוענות מידע חדש לאתר.
אתר כמו פייסבוק, בו ברגע שאתה גולל למטה נטען לך מידע נוסף - הוא אתר דינאמי.
הגלילה מריצה javascript בדפדפן, שטוען לך מידע נוסף לעמוד.
selenium יודע לדמות את אותן פעולות (לחיצה, גלילה וכו...) - הוא רץ על גבי דפדפן (ולכן יש מה שיריץ JS), ולכן הוא כלי טוב לאתרים בסגנון הזה.
אתרים בהם כל המידע (או לפחות הרוב הרלוונטי שלו) מופיע ב html, דוגמת ynet,
הם אתרים סטטיים, ו beautifulsoup יודע לשלוף את המידע מהם בצורה מהירה.
גם selenium ידע לעשות את העבודה, הוא פשוט בדר"כ איטי יותר.

יש מקורות מידע בעברית
יש את זה. הוא על תכנות כללי בפייתון - מניח שיתן לך רקע טוב.

---------------------
עריכה:
אני זורק פה לאוויר selenium ו web scraping וכל מיני שמות יפים,
אבל אם אין לך רקע בסיסי בתכנות, אז כדאי להשיג אותו קודם.
אני פשוט לא רואה טעם לדבר על הכל מבלי רקע בסיסי, זה סוג של סינית בשבילך כנראה...
 
נערך לאחרונה ב:

דור ה-Z

משתמש בכיר
הצטרף ב
26/4/19
הודעות
1,650
דירוג
1,471
למען הסדר הטוב:
אפשר לחלק את הדרישה שלך לשלושה שלבים:
1. לשלוף כתבות / תמונות / מידע באופן אוטומטי מהאינטרנט - התשובה לזה זה web scraping.
2. לשמור את המידע במחשב - יש כל מיני פורמטים מתאימים, אקסל זה כנראה אחד מהם.
3. פרסום המידע בטלגרם - יש דרכים לעשות את זה בפייתון, הנה אחת.


אני לא איש web, קח בערבון מוגבל את דברי.
בתאוריה, התשובה היא לא - אין קשר בין היותו של אתר סטטי / דינאמי לבין רמת ההתעדכנות שלו (שעתי יומי...).
ברמה הפרקטית:
יש כל מיני פעולות (לחיצה על העכבר, תזוזה של העכבר, שימוש בגלגלת) שמריצות javascript וטוענות מידע חדש לאתר.
אתר כמו פייסבוק, בו ברגע שאתה גולל למטה נטען לך מידע נוסף - הוא אתר דינאמי.
הגלילה מריצה javascript בדפדפן, שטוען לך מידע נוסף לעמוד.
selenium יודע לדמות את אותן פעולות (לחיצה, גלילה וכו...) - הוא רץ על גבי דפדפן (ולכן יש מה שיריץ JS), ולכן הוא כלי טוב לאתרים בסגנון הזה.
אתרים בהם כל המידע (או לפחות הרוב הרלוונטי שלו) מופיע ב html, דוגמת ynet,
הם אתרים סטטיים, ו beautifulsoup יודע לשלוף את המידע מהם בצורה מהירה.
גם selenium ידע לעשות את העבודה, הוא פשוט בדר"כ איטי יותר.


יש את זה. הוא על תכנות כללי בפייתון - מניח שיתן לך רקע טוב.

---------------------
עריכה:
אני זורק פה לאוויר selenium ו web scraping וכל מיני שמות יפים,
אבל אם אין לך רקע בסיסי בתכנות, אז כדאי להשיג אותו קודם.
אני פשוט לא רואה טעם לדבר על הכל מבלי רקע בסיסי, זה סוג של סינית בשבילך כנראה...

יש לי רקע מאוד בסיסי בפייתון (למדתי את רוב הקורס של אוניברסיטת תל אביב ב''קמפוס''), ולכן אני לא מכיר את כל השמות
אני אעבור על הספר בעברית ששלחת, ואז אבדוק איך מתכנתים את הבוט/מיקור חוץ למתכנת חיצוני
 
נושאים דומים
פותח הנושא כותרת פורום תגובות תאריך
G שאלת השאלות של קרן השתלמות פנסיה, גמל וקרנות השתלמות 13
A השאלות החשובות בבחירת דירה להשקעה נדל"ן 10
עייף ומותש סעמק אירית או לונדונית שאלת השאלות שוק ההון 15
abby1994 שאלת השאלות מסלול או דמי ניהול? צרכנות פיננסית 14
מ שאלת השאלות - לקנות או לשכור? נדל"ן 13
yossik שאלת השאלות בראיון עבודה - 'ספר לי על עצמך' התפתחות אישית 86
N מה דעתכם על קרן ההשתלמות המנייתית של אלטשולר שחם? פנסיה, גמל וקרנות השתלמות 9
א הארכה של הפריים במשכנתא שוק ההון 11
A שונות אינפלציה בין מדינות כפונקציה של שערי מטבע אוף טופיק 20
א איפה אפשר למצוא מידע לגבי התשואה הפנימית והמח"מ של קרנות כספיות ? שוק ההון 2
C עזרו לי להבין את ״הסתירות״ בדיווחים השונים של לאומי שוק ההון 22
O קרן הסל של אינווסקו 1183441- האם באמת מדובר בקרן עם תשואה עודפת על פני היתר? שוק ההון 22
הק995 חובת מילוי סקר פולשני של הלמ"ס אוף טופיק 45
ה השקעות בETF של אגרות חוב שוק ההון 7
Z כיצד מחושבים דמי ניהול של קרן פנסיה משלימה? פנסיה, גמל וקרנות השתלמות 2
ס הגשה פיזית של טופס 135 (תקופה לפני 2019)- האם אפשר להגיש אצל כל משרד שומה? מיסים 4
G קרנות ההשקעה של האפוטרופוס הכללי שוק ההון 1
עניי עירך קודמים שלום.שאלה לגבי עמלות באקסלנס.לא מזמן עברתי לשם לפי קישור של הסולידית. שוק ההון 5
K העלת דמי ניהול בהשתלמות וגמל של קבוצת סנופי פנסיה, גמל וקרנות השתלמות 3
R שאלה של מתחילים על עמלות ותשלום מס על רווחים מיסים 6
יבגני_ל משלוח עד הבית של דואר ישראל אוף טופיק 80
R בעלות הילד על חשבון בנק של הורה מזדקן צרכנות פיננסית 6
Couch Potato קרנות אג"ח ושמירת ערך בחלק ה"סולידי" של התיק שוק ההון 3
M האם רוב מוחלט של דירות יד2 אכן עולות לאתר יד2/מדלן? נדל"ן 11
D קניית דירה בהתניה של המוכר, שימכור הדירה אם לא ישלם מיסים . אשמח לטיפים, וממה להזהר. נדל"ן 246
ה פריקה של סוף מסע ומבט אל העתיד צרכנות פיננסית 7
א תזמון מכירה של נייר מגודר מט"ח שוק ההון 14
D כספים לטווח של 5 שנים - קרן כספית או גמל להשקעה מסלול כללי? שוק ההון 4
V יש הנחות טובות בימי הקניות של נובמבר? פוסטים מאיכות נמוכה 6
C נבואות זעם, מלאכים של שלום פרישה מוקדמת והחיים שאחריה 19
K מחיר למשתכן - סיכון בעקבות אג"ח של הקבלן נדל"ן 4
B אריחים בקירות חיצוניים של בניין חדיש (בן כ15) שהחלו ליפול נדל"ן 9
Y החלק הסולידי של התיק בפקדון ל5 שנים שוק ההון 22
שם משתמש בעייתי "ספרינט דיגיטלי" של בנק הפועלים: האם הריבית מתעדכנת לבד, או שצריך למשוך ולשים מחדש? צרכנות פיננסית 0
ג מעונין ללמוד א' ב' של מושגי שוק ההון לא למטרת השקעה התפתחות אישית 3
M ביטוח לכסף בברוקרים ישראלים במקרה של פריצה לחשבון פוסטים מאיכות נמוכה 3
ט מינוף של 1M ש"ח -> להחזיר משכנתא או להשקיע בשוק ההון שוק ההון 23
G לדברים יש נטיה להסתדר - יומנו של בן 26 יומני מסע אישיים 14
D העדפה של מק"מ מול קרן כספית בהקשר של תשואה שוק ההון 4
D הנפקה של מובלאיי כדוגמא תאורטית שוק ההון 17
painblanc הרצאה של פול מרימן מספטמבר 2022 שוק ההון 10
י עבודה "של גדולים" שוק ההון 4
Shnizelia מדריך הישרדות במקרה של מלחמה גרעינית אוף טופיק 41
W סיפורו של אדם שניצח את השיטה - דיון תאורטי פוסטים מאיכות נמוכה 69
א מחפש שמות של תעודות הנסחרת ביורו שוק ההון 5
ה חדלות פרעון של בנק גדול בישראל שוק ההון 4
W טיפים של מאסטרים לנצח את השיטה התפתחות אישית 2
י אינטרקטיב ברוקרס IBKR משלמים על מזומן ריבית שנתית של מעל 5% בעבור מטבע הריאל הסעודי( SAR). שוק ההון 2
Y אי בהירות בנוגע לתאריך הכניסה של קרנות כספיות לישראל שוק ההון 0
Level מבקש עזרה להבין למה האג"ח השקלי של חברת החשמל בחשבון שלי מראה הפסד חריג שוק ההון 2

נושאים דומים

למעלה