Verilənlər bazası üzrə mühəndis (Data Engineer)

Vəzifə təsviri

• Müxtəlif mənbələrdən məlumatların toplanması, transformasiyası və yüklənməsi üçün ETL/ELT pipeline-larını dizayn etmək, inkişaf etdirmək və optimallaşdırmaq;
• Batch və streaming məlumat axınlarının idarə olunması və performansının artırılması;
• Kafka, Debezium, NiFi, Apache Spark, Airflow, PostgreSQL və MinIO kimi texnologiyalar əsasında məlumat infrastrukturunun qurulması və saxlanması;
• Məlumat keyfiyyətinin təmin edilməsi üçün data validation, integrity checks və monitoring mexanizmlərinin tətbiqi;
• Data warehouse və data lake arxitekturalarının qurulmasında iştirak etmək;
• Məlumat pipeline-larında problemlərin aşkar olunması və aradan qaldırılması (troubleshooting, debugging);
• SQL və Python vasitəsilə məlumatların təmizlənməsi, transformasiyası və analiz edilməsi;
• Data orchestration workflow-larının qurulması və idarə olunması (Airflow, Prefect və ya Dagster);
• Müxtəlif sistemlər arasında data inteqrasiyası və data migration proseslərinin həyata keçirilməsi;
• Məlumat infrastrukturu və pipeline-ların monitorinqi və optimallaşdırılması.

• Müvafiq sahədə minimum 3 il iş təcrübəsi;
• ETL/ELT pipeline-larının inkişafı və optimallaşdırılması üzrə praktiki təcrübə;
• Böyük həcmli məlumatlarla işləmək üçün SQL üzrə yüksək səviyyəli bilik və query optimizasiya bacarıqları;
• Python proqramlaşdırma dilində təcrübə (data processing, API inteqrasiyası və ETL inkişafı);
• Streaming və data processing texnologiyaları ilə təcrübə: (Apache Kafka, Apache Spark, Apache NiFi, Apache Airflow)
• Relational və ya analytical verilənlər bazaları ilə təcrübə (PostgreSQL və s.);
• Git (GitLab) ilə versiya idarəetməsi və CI/CD prosesləri barədə bilik.

Üstünlük hesab olunur

• Data lake və ya lakehouse arxitekturası ilə işləmə təcrübəsi;
• Partitioning strategiyaları və metadata idarəçiliyi üzrə bilik;
• Paylanmış sistemlər və böyük həcmli məlumat infrastrukturlarının idarə olunması təcrübəsi.

Müraciət et

Asan müraciət

İndi müraciət et

CV-lər

Cv yoxdur

Müraciət et

Ad:

Soyad:

Email:

Telefon nömrəniz:

Cv endir:

Müraciət et