Data Engineer
מעבר למשרות נוספות אקורייט תוכנה בע"מ
פורסם לפני 1 ימים
- לוד, פתח תקווה, תל אביב יפו
- משרה מלאה
- לא צוין שכר
תיאור המשרה:
Data Engineer עם ניסיון מוכח בפיתוח והובלת פרויקטים מורכבים מקצה לקצה (E2E) בעולם ה - Big Data כולל עיבוד נתונים, תשתיות, מידול וארכיטקטורה.
אנחנו מחפשים מישהו עם ראש גדול, יכולת למידה עצמית , שמסוגל להכתיב כיוון ולהיות חלק משמעותי בצוות.
בדגש על הכלים הבאים: פלטפורמת Databricks ,Kafka , spark ,GitHub ואפליקציות ענן שונות תוך שימוש בטכנולוגיות מתקדמות ליצירת פתרונות data בקנה מידה גדול וזמן אמת.
תחומי אחריות:
תכנון, פיתוח ותחזוקה של pipelines מורכבים בDatabricks (PySpark/SQL).
יישום פתרונות Data Lakehouse על גבי Azure באמצעות Delta Lake.
אינטגרציה עם מערכות ענן (Azure Data Factory, Azure Synapse, Event Hub).
ניהול גרסאות קוד ו-Asset Bundles באמצעות Repos ו-Git.
הטמעת תהליכי CI/CD באמצעות Azure DevOps או GitHub Actions.
שיפור ביצועים, אופטימיזציה של קוד ופתרון תקלות בסביבת Spark.
עבודה מול צוותי Data Science ו-BI לשילוב מודלים ויזואליזציות.
אנחנו מחפשים מישהו עם ראש גדול, יכולת למידה עצמית , שמסוגל להכתיב כיוון ולהיות חלק משמעותי בצוות.
בדגש על הכלים הבאים: פלטפורמת Databricks ,Kafka , spark ,GitHub ואפליקציות ענן שונות תוך שימוש בטכנולוגיות מתקדמות ליצירת פתרונות data בקנה מידה גדול וזמן אמת.
תחומי אחריות:
תכנון, פיתוח ותחזוקה של pipelines מורכבים בDatabricks (PySpark/SQL).
יישום פתרונות Data Lakehouse על גבי Azure באמצעות Delta Lake.
אינטגרציה עם מערכות ענן (Azure Data Factory, Azure Synapse, Event Hub).
ניהול גרסאות קוד ו-Asset Bundles באמצעות Repos ו-Git.
הטמעת תהליכי CI/CD באמצעות Azure DevOps או GitHub Actions.
שיפור ביצועים, אופטימיזציה של קוד ופתרון תקלות בסביבת Spark.
עבודה מול צוותי Data Science ו-BI לשילוב מודלים ויזואליזציות.
דרישות המשרה:
לפחות 5 שנות ניסיון כמהנדס/ת דאטה עם דגש על אינטגרציית נתונים ופיתוח תהליכי ETL/ELT בענן, כולל ניהול ואופטימיזציה של ביצועים- חובה.
ניסיון מוכח בפיתוח בפלטפורמת Databricks של שנתיים לפחות - חובה.
ניסיון בפיתוח ב- Python - לפחות שנתיים - חובה.
SQL ברמה גבוהה- חובה
תואר במדעי המחשב/הנדסה/ data science / מערכות מידע או תחום רלוונטי אחר - יתרון.
שליטה במתודולוגיות DWH/DATA LAKE (ארכיטקטורת Data ומידול נתונים)
ניסיון ואופטימיזציה של משאבי ענן /FinOps - יתרון
ניסיון מוכח בפיתוח בפלטפורמת Databricks של שנתיים לפחות - חובה.
ניסיון בפיתוח ב- Python - לפחות שנתיים - חובה.
SQL ברמה גבוהה- חובה
תואר במדעי המחשב/הנדסה/ data science / מערכות מידע או תחום רלוונטי אחר - יתרון.
שליטה במתודולוגיות DWH/DATA LAKE (ארכיטקטורת Data ומידול נתונים)
ניסיון ואופטימיזציה של משאבי ענן /FinOps - יתרון
מתאים ל:
מתאים לאנשים עם מוגבלויות, מתאים למגזר דתי, מתאים למגזר חרדי
מעבר למשרות דומות בתחומים:
משרה מספר 9838992
הגדילו את החשיפה שלכם למגייסים עם מנוי ProJobs
אלפי מגייסים מחפשים אתכם במאגר הפרופילים בג'וב מאסטר, הגדילו את החשיפה שלכם עד פי 4 באמצעות מנוי ProJobs
ניתן לבטל את המנוי בכל עת
metapel
על החברה:
אקורייט תוכנה בע"מ
גודל חברה: 51-200
תעשייה: תוכנת מחשב
חברת Aqurate מקבוצת UCL מתמחה בכל הקשור לעולמות הדאטה :טיוב נתונים, הסבת נתונים, אינטגרציה, BI ו Big Data . החברה מייצגת באופן בלעדי בישראל 4 קווי מוצ...