תיאור המשרה:
למרכז רפואי במרכז הארץ דרוש.ה Data Engineer
תחומי אחריות עיקריים:
תכנון, פיתוח, הטמעה ותחזוקה של תהליכי ETL/ELT מורכבים לאיסוף, טרנספורמציה וטעינה של נתונים ממקורות שונים (Databases, APIs, Files, Streaming) אל Data Lake (S3) ו-Data Warehouse.
אופטימיזציה של תהליכי Data Pipelines לשיפור ביצועים וסקיילביליות.
יישום Best Practices לטיפול בנתונים (Data Quality, Data Validation, Error Handling).
עבודה שוטפת עם Apache Spark באמצעות Databricks Notebooks
פיתוח וניהול Workflows ב-Databricks.
שימוש ב-Databricks SQL לניתוח נתונים ופיתוח שכבות סמנטיות.
הטמעת Data Governance וניהול הרשאות באמצעות Unity Catalog.
כתיבת שאילתות SQL מורכבות ומתקדמות
תכנון ופיתוח מודלי נתונים (Dimensional Modeling, Star/Snowflake Schemas) עבור Data Warehouses ו-Data Marts. יצירה ואופטימיזציה של Stored Procedures, Views, Functions ו- Materialized Views.
אחריות על הבטחת איכות, שלמות ועקביות הנתונים לאורך כל ה-Pipeline.
עבודה צמודה עם אנליסטים עסקיים, מדעני נתונים, מפתחי תוכנה וצוותי תפעול.
תחומי אחריות עיקריים:
תכנון, פיתוח, הטמעה ותחזוקה של תהליכי ETL/ELT מורכבים לאיסוף, טרנספורמציה וטעינה של נתונים ממקורות שונים (Databases, APIs, Files, Streaming) אל Data Lake (S3) ו-Data Warehouse.
אופטימיזציה של תהליכי Data Pipelines לשיפור ביצועים וסקיילביליות.
יישום Best Practices לטיפול בנתונים (Data Quality, Data Validation, Error Handling).
עבודה שוטפת עם Apache Spark באמצעות Databricks Notebooks
פיתוח וניהול Workflows ב-Databricks.
שימוש ב-Databricks SQL לניתוח נתונים ופיתוח שכבות סמנטיות.
הטמעת Data Governance וניהול הרשאות באמצעות Unity Catalog.
כתיבת שאילתות SQL מורכבות ומתקדמות
תכנון ופיתוח מודלי נתונים (Dimensional Modeling, Star/Snowflake Schemas) עבור Data Warehouses ו-Data Marts. יצירה ואופטימיזציה של Stored Procedures, Views, Functions ו- Materialized Views.
אחריות על הבטחת איכות, שלמות ועקביות הנתונים לאורך כל ה-Pipeline.
עבודה צמודה עם אנליסטים עסקיים, מדעני נתונים, מפתחי תוכנה וצוותי תפעול.
דרישות המשרה:
ניסיון של שנתיים ומעלה בפיתוח BI/Data Engineering.
ניסיון מוכח ורחב עם Databricks (כולל Spark, Delta Lake, Notebooks, Jobs, Workflows, Databricks SQL, Unity Catalog).
שליטה עמוקה ומוכחת ב-SQL ויכולת כתיבת שאילתות מורכבות, אופטימיזציה ו-Performance Tuning.
ניסיון עשיר בפיתוח תהליכי ETL/ELT.
ניסיון במידול נתונים (Dimensional Modeling, Star/Snowflake Schemas).
שליטה מלאה ב-Python (לפיתוח Spark/PySpark) או Scala.
היכרות עם כלי CI/CD (Jenkins, GitLab CI, CodePipeline/CodeBuild) ו-Git.
מעבר למשרות דומות בתחומים:
משרה מספר 9794632
הגדילו את החשיפה שלכם למגייסים עם מנוי ProJobs
אלפי מגייסים מחפשים אתכם במאגר הפרופילים בג'וב מאסטר, הגדילו את החשיפה שלכם עד פי 4 באמצעות מנוי ProJobs
ניתן לבטל את המנוי בכל עת
metapel
על החברה:
Prologic
גודל חברה: 201-500
תעשייה: טכנולוגית מידע ושירותים
Prologic Ltd. is a leading provider of Information Technology services, specializing in database-oriented solutions and high-end system maintenance. ...