Find your next opportunity

Newest first

Məlumat mühəndisi (Data engineer)

Azərbaycan Yerüstü Nəqliyyat Agentliyi

Location
Baku
Employment
Full-time
Category
Data & Analytics
Posted
Deadline

Description

Təsvir

  • Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larının dizayn edilməsi, hazırlanması və optimallaşdırılması;
  • Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;
  • Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və dəstəklənməsi;
  • Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitorinq mexanizmlərinin tətbiqi;
  • Data warehouse və data lake arxitekturalarının qurulmasında iştirak;
  • Məlumat pipeline-larında yaranan problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);
  • SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;
  • Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);
  • Müxtəlif sistemlər arasında data inteqrasiyası və data miqrasiya proseslərinin həyata keçirilməsi;
  • Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.

Tələblər

  • İnformasiya texnologiyaları, kompüter elmləri, tətbiqi riyaziyyat və ya digər müvafiq sahələr üzrə ali təhsil;
  • Müvafiq sahədə minimum 3 il iş təcrübəsi;
  • ETL/ELT pipeline-larının hazırlanması və optimallaşdırılması üzrə praktiki təcrübə;
  • Böyükhəcmli məlumatlarla işləmək üçün SQL üzrə yüksəksəviyyəli bilik və sorğuların (query) optimallaşdırılması bacarıqları;
  • Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL hazırlanması);
  • Streaming və data processing texnologiyaları ilə iş təcrübəsi: Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow;
  • Relyasiyalı (relational) və ya analitik verilənlər bazaları ilə iş təcrübəsi (PostgreSQL və s.);
  • Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə biliklər.
  • Data lake və ya lakehouse arxitekturası ilə iş təcrübəsi (üstünlükdür);
  • Partitioning strategiyaları və metadata idarəçiliyi üzrə biliklər (üstünlükdür);
  • Paylanmış sistemlər və böyükhəcmli məlumat infrastrukturlarının idarə olunması təcrübəsi (üstünlükdür).

Apply at the source

This role was published by Azərbaycan Yerüstü Nəqliyyat Agentliyi and listed via Hrin Co. Applications are handled there, not on this site.

View & apply on hrin.az ↗