Evaluation Engineer, Applied AI
Poste d Evaluation Engineer dans l'équipe Applied AI pour définir et mesurer la fiabilité des solutions IA pour clients entreprise. Travail transversal entre recherche, ingénierie et équipes produit pour faire passer les modèles en production.
Ce que vous ferez
- Concevoir des cadres d'évaluation pour les performances des LLMs
- Construire et maintenir infrastructure d'évaluation et pipelines reproductibles
- Développer méthodes d'évaluation pour cas d'usage sectoriels
- Collaborer avec clients pour créer suites d'évaluation personnalisées
- Transformer les insights d'évaluation en améliorations modèles avec la recherche
Ce qu'ils recherchent
- Minimum 3 ans d'expérience en évaluation de ML, LLM ou systèmes agentiques
- Expérience d'implémentation de produits IA ou machine learning back-end/API
- Compétences solides en Python
- Bonne maîtrise des concepts et algorithmes ML liés aux LLMs
- Familiarité avec LM Eval Harness, OpenAI Evals ou projets open source similaires
Compétences
Résumé rédigé par StartupJobs à partir de l'annonce de l'entreprise. L'annonce complète est sur le site de l'entreprise.
Cette offre provient de la page carrières de Mistral AI. Nous renvoyons directement vers la source.