Məlumat mühəndisi (Data engineer)
- Location
- Baku
- Employment
- Full-time
- Category
- Data & Analytics
- Posted
- Deadline
Description
Təsvir
- Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larının dizayn edilməsi, hazırlanması və optimallaşdırılması;
- Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;
- Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və dəstəklənməsi;
- Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitorinq mexanizmlərinin tətbiqi;
- Data warehouse və data lake arxitekturalarının qurulmasında iştirak;
- Məlumat pipeline-larında yaranan problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);
- SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;
- Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);
- Müxtəlif sistemlər arasında data inteqrasiyası və data miqrasiya proseslərinin həyata keçirilməsi;
- Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.
Tələblər
- İnformasiya texnologiyaları, kompüter elmləri, tətbiqi riyaziyyat və ya digər müvafiq sahələr üzrə ali təhsil;
- Müvafiq sahədə minimum 3 il iş təcrübəsi;
- ETL/ELT pipeline-larının hazırlanması və optimallaşdırılması üzrə praktiki təcrübə;
- Böyükhəcmli məlumatlarla işləmək üçün SQL üzrə yüksəksəviyyəli bilik və sorğuların (query) optimallaşdırılması bacarıqları;
- Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL hazırlanması);
- Streaming və data processing texnologiyaları ilə iş təcrübəsi: Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow;
- Relyasiyalı (relational) və ya analitik verilənlər bazaları ilə iş təcrübəsi (PostgreSQL və s.);
- Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə biliklər.
- Data lake və ya lakehouse arxitekturası ilə iş təcrübəsi (üstünlükdür);
- Partitioning strategiyaları və metadata idarəçiliyi üzrə biliklər (üstünlükdür);
- Paylanmış sistemlər və böyükhəcmli məlumat infrastrukturlarının idarə olunması təcrübəsi (üstünlükdür).
Apply at the source
This role was published by Azərbaycan Yerüstü Nəqliyyat Agentliyi and listed via Hrin Co. Applications are handled there, not on this site.
Original posting: https://hrin.az/vakansiya/melumat-muhendisi-data-engineer-44400