Senior MLOps Engineer (Training & Inference Optimization)

Goi-mailako ingeniaria (Prestakuntza eta Inferentzia Optimizazioa)

Fecha de publicación: 30 June 2026

Data argitaratua: asteartea, 30 ekaina 2026

Ingeniero/as y técnicos en Informática

Informatika

¿Qué buscamos?
We are seeking a Senior MLOps Engineer to steer the technical vision of our Training and Inference Optimization team. In this high-impact role, you will architect the infrastructure that powers our next-generation AI models. You will bridge the gap between systems programming and machine learning, optimizing large-scale LLM training via NVIDIA NeMo and building ultra-high-throughput serving systems using vLLM, TensorRT-LLM, and SGLang.

Your mission is to ensure our models are not only state-of-the-art but also production-hardened, cost-efficient, and performant at scale.

Key Responsibilities


Training Infrastructure: Architect and maintain scalable distributed training pipelines using NVIDIA NeMo/Nemotron/Megatron-Bridge. You will optimize GPU utilization, manage complex checkpointing strategies, and implement automated fault tolerance for long-running jobs.
Inference Orchestration: Lead the deployment of LLMs using vLLM, TensorRT-LLM, or SGLang. You will implement and tune cutting-edge techniques - including PagedAttention, continuous batching, and advanced quantization (AWQ/FP8) to maximize throughput and minimize TPOT (Time Per Output Token).
Workload Orchestration: Utilize SLURM/Flyte/Ray/SkyPilot to manage and scale ML workloads across diverse cloud providers and on-prem clusters, ensuring seamless resource shifting and cost-effective execution.
Lifecycle Management: Standardize model tracking, versioning, and transition workflows using MLflow (or similar tool), ensuring reproducible training runs and a clear path from research to production.
Performance Engineering: Conduct deep-dive profiling and bottleneck analysis across the full stack - from CUDA kernels and NCCL collective communications to Python-level orchestration.
Efficiency & Cost Governance: Monitor and optimize cloud and on-prem GPU expenditures through intelligent scaling policies and high-density resource packing.
Technical Leadership: Set the bar for engineering excellence. You will drive the roadmap, perform rigorous code reviews, and mentor junior and mid-level engineers. Zer bilatzen dugu?
MLOps-eko Goi Ingeniari bat bilatzen ari gara gure Prestakuntza eta Inferentzia Optimizatzeko taldearen ikuspegi teknikoa bideratzeko. Eragin handiko paper horretan, azken belaunaldiko gure IA ereduak indartzen dituen azpiegitura eraikiko duzu. Sistemen programazioaren eta makinen ikaskuntzaren arteko zubi lana egingo duzu, eskala handiko LLM entrenamendua optimizatuz NVIDIA NeMo bidez eta ultra-altuko HPUT zerbitzatzeko sistemak eraikiz vLLM, TensorRT-LLM, eta SGLang erabiliz.

Zure eginkizuna da bermatzea gure modeloak ez direla azken belaunaldikoak bakarrik, baita produktibitatea ere, gogortua, errentagarria eta errendimendua eskalan.

Funtsezko erantzukizunak

NVIDIA NeMo/Nemotron/Megatron-Bridge erabiliz, arkitektoa eta entrenamendu-hodi banatuak mantentzea. GPUren erabilera optimizatuko duzu, kontrol-estrategia konplexuak kudeatuko dituzu, eta akats-tolerantzia automatizatua ezarriko duzu ibilbide luzeko lanpostuetarako.
Inferentzia Orkestrazioa: LLMen hedapena gidatzea vLLM, TensorRT-LLM edo SGLang erabiliz. Punta-puntako teknikak inplementatu eta sintonizatuko dituzu, PagedAttention, etengabeko bateatzea eta kuantifikazio aurreratua (AWQ/FP8) barne, TPOT (Time Per Output Token) maximizatzeko eta minimizatzeko.
Lan kargaren orkestrazioa: SLURM/Flyte/Ray/SkyPilot erabiltzea ML lan-kargak kudeatzeko eta eskalatzeko hodei-hornitzaile ezberdinen eta on-prem klusterren bidez, josturarik gabeko baliabideen lekualdaketa eta exekuzio errentagarria bermatuz.
Bizi-zikloaren kudeaketa: Eredu estandarizatu MLflow (edo antzeko tresna) erabiltzen duten jarraipen-, bertsio- eta trantsizio-lan fluxuak, prestakuntza erreproduktiboaren ibilbideak eta ikerketatik produkziora doan bide argi bat bermatuz.
CUDA kernels eta NCCL komunikazio kolektiboetatik Piton mailako orkestraziora.
Eraginkortasuna eta kostu-gobernantza: hodeiko eta aurrez aurreko GPUko gastuak gainbegiratzea eta optimizatzea, eskalatze-politika adimendunen eta dentsitate handiko baliabideak paketatzearen bidez.
Lidergo Teknikoa: Bikaintasun Ingeniaritzaren barra ezarri. Bide-orria gidatuko duzu, kode-berrikuspen zorrotzak egingo dituzu, eta ingeniariak, mendekoak eta erdi-mailakoak.

¿Qué te ofrecemos?
Indefinite contract
Equal pay guaranteed.
Variable performance bonus.
Signing bonus.
We offer work visa sponsorship (If applicable).
Relocation package (if applicable).
Private health insurance.
Eligibility for educational budget according to internal policy.
Hybrid opportunity.
Flexible working hours.
Language classes and discounted lunch options
Working in a high paced environment, working on cutting edge technologies.
Career plan. Opportunity to learn and teach.

Zer eskaintzen dizugu?
Kontratu mugagabea
Soldata berdina bermatuta.
Errendimendu aldakorreko hobaria.
Bonoa sinatzen.
Laneko bisen babesa eskaintzen dugu (hala badagokio).
Birkokatze-paketea (hala badagokio).
Aseguru mediko pribatua.
Hezkuntza-aurrekonturako hautagarritasuna, barne-politikaren arabera.
Aukera hibridoa.
Ordutegi malgua.
Hizkuntza klaseak eta bazkaltzeko aukera deskontatuak
Ibilbide luzeko giroan lan egiten, mugako teknologietan.
Karrera plana. Ikasteko eta irakasteko aukera.

Formación academica
Experience: 5+ years in MLOps, DevOps, or Software Engineering, with a minimum of 2 years dedicated to LLM infrastructure.

Prestakuntza akademikoa
Esperientzia: 5+ urte MLOps, DevOps edo Software Ingeniaritzan, gutxienez 2 urte LLM azpiegituretan.

Formación específica
Deep Learning Ecosystem: Expert-level proficiency with PyTorch and the NVIDIA stack (CUDA, NCCL, Triton). Specialized Tooling: Hands-on experience with NVIDIA NeMo (or Megatron-Bridge) for distributed training and at least two of the following for serving: vLLM, TensorRT-LLM, or SGLang. Orchestration & Lifecycle: Proven experience with SLURM/Flyte/Ray/SkyPilot for cluster management and MLflow (or similar tool) for experiment and model management. Infrastructure: Deep expertise in Kubernetes and K8s operators (e.g., KubeRay, MPI Operator, or Run:ai). Systems Programming: Mastery of Python and a functional understanding of C++ or Rust for performance-critical components. Next-Gen Hardware: Familiarity with high-performance networking (InfiniBand/RoCE) and NVIDIA H200/B200 (Blackwell) architectures.

Prestakuntza espezifikoa
Deep Learning Ecosystem: ezagutza maila PyTorch eta NVIDIA (CUDA, NCCL, Triton) pilarekin.
Tresna espezializatuak: NVIDIA NeMo-rekin (edo Megatron-Bridge-rekin) izandako esperientzia, prestakuntza banaturako eta, gutxienez, honako bi hauetarako: vLLM, TensorRT-LLM, edo SGLang.
Orchestration & Lifecycle: esperientzia frogatua SLURM/Flyte/Ray/SkyPilot konpainiarekin klusterren kudeaketarako eta MLflow (edo antzeko tresna) esperimentu eta ereduen kudeaketarako.
Azpiegitura: Kubernetes eta K8s operadoreen ezagutza sakona (adibidez, KubeRay, MPI Operator edo Run: ai).
Sistemen programazioa: Pitonen maisutasuna eta C++ edo Herdoilaren ulermen funtzionala errendimendu kritikoko osagaietarako.
Next-Gen hardwarea: errendimendu handiko networking-a (InfiniBand/RoCE) eta NVIDIA H200/B200 (Blackwell) arkitekturak.

Nivel de idiomas requerido: Ingles y castellano

Hizkuntzak eta eskatutako maila: Ingelesa eta gaztelera

Experiencia en funciones similares: Más de 3 años

Antzeko eginkizunetan eskatutako esperientzia: 3 urte baino gehiago

Competencias:
Active contributions to relevant open-source projects (vLLM, SGLang, SkyPilot, or NeMo). Proven track record with model compression (Sparsity, Distillation, or Quantization). Experience writing or optimizing custom Triton kernels. Expertise in ML observability stacks (Prometheus, Grafana, Jaeger).

Gaitasunak:
Kode irekiko proiektu garrantzitsuetarako ekarpen aktiboak (vLLM, SGLang, SkyPilot edo NeMo).
Ereduzko konpresioarekin (Sparicity, Distillation, or Quantization) egiaztatutako ibilbidea.
Esperientzia idaztea edo ohitura optimizatzea Triton kernels.
ML behagarritasun-piletan aditua (Prometeo, Grafana, Jaeger).