Senior Data Engineer

Are you passionate about building cutting-edge, AI-ready data platforms from the ground up? We are looking for a Senior Data Engineer to join our Data Engineering Team and lead high-impact, greenfield initiatives.

You will work on building modern cloud-native data platforms, migrating on-premises legacy systems to the cloud, and laying the architectural foundation for AI-ready data infrastructure.

In this role, you will collaborate closely with Machine Learning, Data Science, and Product teams, serving as a key technical contributor and thought leader. You will also drive R&D efforts around agentic AI architectures, event-driven systems, and LLM-ready data pipelines — turning architectural concepts into production-grade solutions.

Responsibilities:

Design and build scalable, cloud-native data platforms from greenfield to production

Implement near-real-time ingestion pipelines using event-driven patterns

Define and enforce platform standards, including Data Lake / Lakehouse principles, medallion architecture, and data contracts

Refactor and optimise existing Spark and PySpark scripts for performance and maintainability

Introduce best practices for code quality, testing, and CI/CD across data pipelines

Drive adoption of AI tooling and agentic workflows within the data engineering team

Ensure data quality, observability, and reliability across all pipelines and platforms

Develop self-service tooling and microservices to simplify platform usage for other teams

Requirements:

5+ years of professional experience in Data Engineering

Strong Python and SQL development skills for pipeline development and optimisation

Proficiency in Apache Spark / PySpark, including query optimisation and performance tuning

Hands-on experience with Databricks (preferred) or Snowflake

Experience with at least one major cloud provider: Azure (preferred), AWS, or GCP

Experience with stream processing technologies (Kafka, Spark Structured Streaming)

Solid understanding of ETL/ELT patterns, data modelling (dimensional, Data Vault), and data warehousing

Experience with orchestration tools (Apache Airflow, Azure Data Factory, or equivalent)

Knowledge of Infrastructure as Code (Terraform or equivalent)

Understanding of production-grade system requirements: reliability, scalability, observability, and performance

Upper-Intermediate English level

Will be a plus

Familiarity with RAG pipeline design and LLM integration patterns

Knowledge of data governance frameworks and tools (Unity Catalog, Apache Atlas, or similar)

Experience with dbt for data transformation and modelling

Familiarity with MLflow, Feature Stores, or ML platform integration

Personal profile

Self-driven and proactive in identifying improvements

Comfortable working in a fast-paced, innovative environment

Strong problem-solving mindset with attention to detail

Open to experimenting with emerging technologies and approaches

_____________________________________________________________

Ти захоплюєшся створенням передових, AI-ready дата-платформ з нуля? Ми шукаємо Senior Data Engineer, щоб ти приєднався(-лася) до нашої команди Data Engineering та очолив(-ла) масштабні, інноваційні ініціативи з нуля.

Ти працюватимеш над побудовою сучасних хмарних дата-платформ, міграцією локальних (on-premises) легасі-систем у хмару та створенням архітектурного фундаменту для AI-ready дата-інфраструктури.

У цій ролі ти тісно співпрацюватимеш з командами Machine Learning, Data Science та Product, виступаючи ключовим технічним експертом та лідером думок. Також ти вестимеш R&D-роботи над agentic AI-архітектурами, подієво-орієнтованими системами та LLM-ready дата-пайплайнами — перетворюючи архітектурні концепції на готові до продакшену рішення.

Обовʼязки:

Проєктувати та створювати масштабовані, хмарні дата-платформи від концепції до продакшену

Реалізовувати пайплайни для майже реального часу (near-real-time ingestion) з використанням подієво-орієнтованих патернів

Визначати та впроваджувати стандарти платформи, включно з принципами Data Lake / Lakehouse, медальйонною архітектурою та дата-контрактами

Рефакторити та оптимізувати наявні скрипти на Spark та PySpark для підвищення продуктивності та зручності підтримки

Запроваджувати найкращі практики якості коду, тестування та CI/CD для дата-пайплайнів

Сприяти впровадженню AI-інструментів та agentic-підходів у команді дата-інженерів

Забезпечувати якість, спостережуваність (observability) та надійність усіх пайплайнів і платформ

Розробляти self-service інструменти та мікросервіси, що спрощують використання платформи іншими командами

Вимоги:

5+ років комерційного досвіду в Data Engineering

Сильні навички розробки на Python та SQL для створення та оптимізації пайплайнів

Впевнене володіння Apache Spark / PySpark, включно з оптимізацією запитів та налаштуванням продуктивності

Практичний досвід роботи з Databricks (бажано) або Snowflake

Досвід роботи з принаймні одним великим хмарним провайдером: Azure (бажано), AWS або GCP

Досвід роботи з технологіями потокової обробки даних (Kafka, Spark Structured Streaming)

Глибоке розуміння ETL/ELT-патернів, моделювання даних (dimensional, Data Vault) та побудови дата-складів

Досвід роботи з інструментами оркестрації (Apache Airflow, Azure Data Factory або аналогами)

Знання Infrastructure as Code (Terraform або аналогів)

Розуміння вимог до продакшен-рішень: надійність, масштабованість, спостережуваність, продуктивність

Рівень англійської — Upper-Intermediate

Буде плюсом:

Знайомство з проєктуванням RAG-пайплайнів та патернами інтеграції LLM

Знання фреймворків і інструментів для data governance (Unity Catalog, Apache Atlas або подібних)

Досвід роботи з dbt для трансформації та моделювання даних

Знайомство з MLflow, Feature Stores або інтеграцією з ML-платформами

Особистий профіль:

Самомотивованість та проактивність у пошуку покращень

Комфортна робота у швидкому та інноваційному середовищі

Сильне аналітичне мислення та увага до деталей

Відкритість до експериментів з новими технологіями та підходами