Research Engineer, Latency & Throughput

Ingénieur·e de recherche sur la latence et le débit pour inventer et prototyper techniques d'inférence LLM. Intégré·e à l'équipe Latency & Throughput, en lien avec les équipes Inference Foundation et Kernels.

Ce que vous ferez

• Rechercher et prototyper techniques d'inférence (quantisation, KV compression)
• Concevoir et exécuter expériences pour valider hypothèses d'optimisation
• Collaborer pour intégrer techniques validées au service vLLM
• Travailler avec prétraining et RL quand un co-entraînement est nécessaire

Ce qu'ils recherchent

• Solide connaissance des techniques d'entraînement LLM
• Expérience pratique avec Python et PyTorch (JAX acceptable)
• Preuve d'expérience recherche (thèse, publications ou projet dédié)
• Habitude de conduire expériences et tirer conclusions claires

Compétences

• Python
• PyTorch
• JAX
• LLM training
• Quantization
• Speculative decoding
• KV compression
• vLLM

Résumé rédigé par StartupJobs à partir de l'annonce de l'entreprise. L'annonce complète est sur le site de l'entreprise.