Senior IA Inference Engineer (x/f/m)

Paris, Paris, France

Ingénieur inference ML senior pour construire et exploiter la plateforme de serving LLM self-hosted. Intégré à l'équipe ML Platform (TIGER) au sein d'AI & Machine Learning pour soutenir les produits IA de santé.

Ce que vous ferez

Définir et implémenter la pile de serving pour modèles open-weight
Gérer le registre de modèles et la promotion vers la production
Optimiser performance et coût d'inférence sur la flotte GPU
Assurer fiabilité production, tests de charge et reprise après incident
Mettre en place observabilité, alerting et reporting des coûts

Ce qu'ils recherchent

5+ ans d'expérience en ingénierie logicielle ou informatique
Expérience pratique avec au moins un moteur de serving LLM
Maîtrise de Python et Terraform
Expérience GPU sur Kubernetes ou Ray/Anyscale
Anglais courant requis

Compétences

Python
Terraform
vLLM
Triton Inference Server
TensorRT-LLM
Ray Serve
Kubernetes
Datadog

Résumé rédigé par StartupJobs à partir de l'annonce de l'entreprise. L'annonce complète est sur le site de l'entreprise.

Cette offre provient de la page carrières de Doctolib. Nous renvoyons directement vers la source.