Data Mühəndisi

Batch və near-real-time məlumat emalı üçün ETL/ELT pipeline dizaynı, inkişafı və optimallaşdırılması

Bronze/Silver/Gold arxitekturalı data lake-lərin qurulması və saxlanması (Parquet, ORC, Hive və Iceberg cədvəl formatları)

Fact/Dimension cədvəlləri və Slowly Changing Dimensions (SCD) kimi məlumat modelləşdirmə konsepsiyalarının tətbiqi

Apache Airflow və ya oxşar orkestrasiya alətləri ilə iş axınlarının idarə edilməsi (DAG dizaynı, planlaşdırma, SLA idarəçiliyi, retry, alerting və xətaların idarə olunması)

Bütün pipeline məlumat keyfiyyəti, yoxlama və governance təmin edilməsi

Oracle, PostgreSQL, API və fayl əsaslı məlumat mənbələrindən inteqrasiya

Kafka və streaming anlayışları üzrə əsas bilik

Spark job-ların optimallaşdırılması (partisiya strategiyası, yaddaş istifadəsi, shuffle əməliyyatları)

İstehsalat mühitində pipeline monitorinqi, problemlərin aradan qaldırılması və kök səbəb analizi (RCA)

Biznes tələblərini texniki həllərə çevirmək üçün BI, Analitika və Data Science komandaları ilə əməkdaşlıq

Texniki sənədləşmə və data lineage üzrə məlumatlılıq, platforma standartlarına və best practice-lərə riayət

SQL üzrə yüksək səviyyəli bacarıqlar: mürəkkəb join-lar, CTE-lər, window funksiyaları

Məlumat emalı və ETL inkişafı üçün Python və/və ya Scala üzrə təcrübə

Apache Spark ilə batch emalı və performans optimallaşdırılması üzrə praktiki təcrübə

Məlumat modelləşdirmə konsepsiyalarını dərindən başa düşmək (Fact/Dimension modelləri, SCD)

Data Lake arxitekturaları üzrə təcrübə (Bronze/Silver/Gold)

Cədvəl formatları və inkremental emal üzrə bilik: Hive, Iceberg

ETL/ELT pipeline dizaynı, inkremental yükləmələr və Change Data Capture (CDC) üzrə təcrübə

Apache Airflow və oxşar orkestrasiya alətləri üzrə təcrübə

Relyasion məlumat mənbələri ilə işləmə təcrübəsi (Oracle, PostgreSQL), API və fayl əsaslı ingestion

Kafka və streaming anlayışları üzrə əsas bilik

Məlumat keyfiyyəti yoxlamaları, schema evolution, geriyə uyğunluq və PII/həssas məlumat anlayışları

Problemləri həll etmə, analitik düşünmə və əməliyyat bacarıqları

Spark job-ların optimallaşdırılması, böyük cədvəl join-ları və aqreqasiyalar üzrə təcrübə

Biznes tələblərini texniki həllərə çevirmək bacarığı və komandalarla effektiv əməkdaşlıq

Üstünlük Verilən Bacarıqlar:

Trino / Presto ilə təcrübə

Kafka əsaslı ingestion pipeline

dbt və ya oxşar transformasiya freymvörkləri

Telekom DWH / BSS data modelləri ilə təcrübə

Linux komanda sətri üzrə bacarıqlar

Müraciət üçün (CV) : https://careers.azercell.com/job/Baku-Data-M%C3%BCh%C9%99ndisi-Data-Engineer/1358747057/