Research Engineer - Eval Platform
Ingénieur·e de recherche travaillant sur la plateforme d'évaluation pour mesurer la qualité des modèles. Intégré·e à l'équipe Eval Platform, vous fournissez l'infrastructure et les outils utilisés par les équipes de recherche.
Ce que vous ferez
- Maintenir résultats d'éval reproductibles et comparables dans le temps
- Exécuter évaluations à grande échelle sur clusters GPU
- Fournir APIs et tableaux de bord pour accéder aux résultats d'éval
- Détecter évaluations erronées ou bruyantes avant décisions de recherche
- Soutenir évaluations d'agents multi-tours et d'utilisation d'outils
Ce qu'ils recherchent
- Master ou PhD en informatique ou expérience équivalente
- 4+ années de développement logiciel en production
- Excellente maîtrise de Python et bonnes pratiques logiciel
- Expérience d'exécution sur clusters GPU (Slurm, Kubernetes, Ray)
- Familiarité avec inférence et évaluation de LLM
Compétences
Résumé rédigé par StartupJobs à partir de l'annonce de l'entreprise. L'annonce complète est sur le site de l'entreprise.
Cette offre provient de la page carrières de Mistral AI. Nous renvoyons directement vers la source.