LLM Fine-Tuning & Evaluation Engineer

Təsvir

İnnovasiya və Rəqəmsal İnkişaf Agentliyi ölkənin rəqəmsal transformasiya strategiyasına

uyğun olaraq, Azərbaycan dili və dövlət xidmətləri üçün yüksək keyfiyyətli Böyük Dil Modellərinin (LLM)

hazırlanması, təkmilləşdirilməsi və qiymətləndirilməsi məqsədilə LLM Fine-Tuning & Evaluation

Engineer vakansiyasını elan edir.

Böyük Dil Modellərinin (LLM) müxtəlif istifadə ssenarilərinə uyğun fine-tuning

proseslərinin həyata keçirilməsi;

Dövlət xidmətləri və Azərbaycan dili

üzrə yüksək keyfiyyətli datasetlərin hazırlanması, təmizlənməsi və optimallaşdırılması;

Fine-tuning nəticələrinin obyektiv qiymətləndirilməsi və model performansının davamlı olaraq

yaxşılaşdırılması;

Müxtəlif yanaşmalar (Fine-Tuning, RAG, Prompt

Engineering və Guardrails) arasında düzgün texniki həllin seçilməsi;

GPU

klasterlərində model təlimi, optimallaşdırılması və istehsal (production) mühitinə

hazırlanması;

Təcrübələrin (experiments), modellərin və datasetlərin

izlənilə bilən və təkrarlana bilən (reproducible) şəkildə idarə olunmasının təmin edilməsi.

Biznes və ümumi bacarıqlar:

Machine Learning və ya LLM sahəsində minimum 2 il real iş

təcrübəsi;

Analitik düşünmə və mürəkkəb problemləri sistemli şəkildə həll

etmə bacarığı;

Texniki həllərin biznes ehtiyaclarına uyğunlaşdırılması

bacarığı;

Krosfunksional komandalarla effektiv əməkdaşlıq və Agile

metodologiyaları ilə işləmə təcrübəsi;

Elmi məqalələri sürətlə analiz

edib praktik həllərə çevirmək bacarığı;

Fine-tuning yanaşmasının hansı

problemləri həll edə biləcəyini və edə bilməyəcəyini düzgün qiymətləndirmək bacarığı.

Texniki bacarıqlar:

Python proqramlaşdırma dili üzrə yüksək səviyyədə bilik;

PyTorch framework-u ilə iş təcrübəsi;

Transformer

arxitekturasının (Attention, RoPE, Tokenization, Context Window, KV Cache) dərin anlayışı;

Supervised Fine-Tuning (SFT), LoRA, QLoRA, DPO və digər Preference Tuning metodları ilə

praktiki təcrübə;

Hugging Face ekosistemi (Transformers, PEFT, TRL,

Datasets, Accelerate) ilə işləmə bacarığı;

Axolotl, LLaMA-Factory,

Unsloth və ya ekvivalent fine-tuning framework-ləri ilə təcrübə;

Distributed GPU Training (DeepSpeed, FSDP, NCCL) texnologiyaları üzrə praktiki

bilik;

Slurm mühitində GPU resurslarının idarə olunması (sbatch, srun,

multi-node job management, restart/failure handling);

H100, H200 və ya

ekvivalent yüksək performanslı GPU-larla iş təcrübəsi;

BF16/FP16, Flash

Attention, Gradient Checkpointing və Quantization texnologiyalarını tətbiq etmək bacarığı;

Dataset Engineering üzrə təcrübə (Cleaning, Deduplication, Contamination Detection, Formatting

və Quality Scoring);

Multilingual və Low-resource dillər üzrə model

fine-tuning təcrübəsi;

Tokenizer analizi (Vocabulary Coverage, Fertility

və Token Efficiency Analysis);

LLM qiymətləndirmə metodları üzrə praktiki

bilik:

Base və Fine-tuned modellərin müqayisəsi;

Domain-specific Evaluation Dataset-lərinin hazırlanması;

LLM-as-a-Judge yanaşması;

Human

Evaluation;

Regression Testing;

Hallucination və Grounding göstəricilərinin ölçülməsi;

Fine-Tuning, Retrieval-Augmented Generation (RAG), Prompt Engineering və Guardrails

yanaşmalarının düzgün seçilməsi bacarığı;

MLflow və ya Weights &

Biases (W&B) vasitəsilə experiment tracking təcrübəsi;

Model, dataset

və experiment lineage prinsipləri və reproducibility anlayışı;

vLLM

platformasında modelin production mühitinə çıxarılması üzrə təcrübə;

Docker, Linux və Git alətləri ilə sərbəst işləmək bacarığı;

Hugging Face checkpoint-dən başlayaraq distributed fine-tuning, evaluation, merged/export

edilmiş checkpoint və production inference prosesini tam şəkildə həyata keçirmə təcrübəsi.

Üstünlük verilir:

Continued Pre-training və Domain Adaptive Pre-training

təcrübəsi;

Model Merging texnikaları;

Long Context Tuning;

Multimodal Model

Fine-Tuning;

Synthetic Data Generation;

Knowledge Distillation;

Speculative Decoding və

digər inference optimallaşdırma texnikaları;

LLM Safety, Guardrails və

Red Teaming sahəsində təcrübə;

Dövlət, hüquq və ya tənzimlənən

(regulated) sahələr üçün AI həllərinin hazırlanması təcrübəsi.

Vakansiya növü - Tam

Maraqlanan namizədlər Müraciət

et düyməsində qeyd

olunan linkə daxil olaraq müraciət edə bilərlər.