Verilənlər bazası üzrə mühəndis (Data Engineer)
- Location
- Baku
- Employment
- Full-time
- Category
- Data & Analytics
- Posted
- Deadline
Description
Vəzifə təsviri
· Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larını dizayn etmək, inkişaf etdirmək və optimallaşdırmaq;
· Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;
· Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və saxlanması;
· Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitoring mexanizmlərinin tətbiqi;
· Data warehouse və data lake arxitekturalarının qurulmasında iştirak etmək;
· Məlumat pipeline-larında problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);
· SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;
· Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);
· Müxtəlif sistemlər arasında data inteqrasiyası və data migration proseslərinin həyata keçirilməsi;
· Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.
Requirements
Tələblər
· Müvafiq sahədə minimum 3 il iş təcrübəsi;
· ETL/ELT pipeline-larının inkişafı və optimallaşdırılması üzrə praktiki təcrübə;
· Böyük həcmli məlumatlarla işləmək üçün SQL üzrə yüksək səviyyəli bilik və query optimizasiya bacarıqları;
· Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL inkişafı);
· Streaming və data processing texnologiyaları ilə təcrübə: (Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow)
· Relational və ya analytical verilənlər bazaları ilə təcrübə (PostgreSQL və s.);
· Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə bilik.
Üstünlük hesab olunur
· Data lake və ya lakehouse arxitekturası ilə işləmə təcrübəsi;
· Partitioning strategiyaları və metadata idarəçiliyi üzrə bilik;
· Paylanmış sistemlər və böyük həcmli məlumat infrastrukturlarının idarə olunması təcrübəsi.
Apply at the source
This role was published by Azərbaycan Yerüstü Nəqliyyat Agentliyi and listed via Glorri. Applications are handled there, not on this site.
6 views