Le poste est à pourvoir au sein de la R&D IA-TL ( IA & Technologies Logicielles).
IA-TL fait partie de la R&T, et sa mission est de fournir aux R&D, pour le siège français et les sites de R&D offshore, des services et outils visant à améliorer leur productivité et la qualité de leurs développements dans le domaine du Logiciel.

Sujet : Développement d'une plateforme de benchmark et d'évaluation de modèles d'intelligence artificielle

Les benchmarks publics des modèles d’intelligence artificielle ne sont souvent pas adaptés aux besoins spécifiques des projets des entreprises. Il est donc essentiel de mettre en place un cadre d’évaluation interne, permettant de mesurer la performance des modèles IA sur des cas d’usage réels, tout en intégrant des critères avancés tels que l’impact environnemental, la sécurité et la robustesse face aux hallucinations, etc.

Objectifs du stage

L’objectif du stage est de concevoir et de déployer une plateforme de benchmark dédiée à l’évaluation des modèles IA dans les contextes métiers de Sagemcom.

Missions

Veille technologique et état de l’art : Analyse des benchmarks existants et des solutions d’évaluation de modèles IA.

Définition des métriques d’évaluation : Proposer et implémenter des indicateurs pour juger la qualité, la sécurité et l’impact environnemental des modèles.

Conception et développement de la plateforme : Développer une solution (dashboard, scripts, outils d’automatisation…) permettant de réaliser des benchmarks sur différents modèles et contextes projet.

Intégration de scénarios et jeux de données réels : Adapter les benchmarks aux spécificités des projets Sagemcom.

Tests et validation : Mettre en place des campagnes de test, analyser les résultats et proposer des axes d’amélioration.

Étudiant(e) en dernière année d’école d’ingénieur, spécialisation informatique, data science ou intelligence artificielle.

Bonnes connaissances en Python et dans l’utilisation des librairies de data science (pandas, numpy, etc.).

Esprit d’analyse et capacité à définir des critères d’évaluation pertinents.
Intérêt pour les problématiques d’impact environnemental et de sécurité des systèmes IA.

Autonomie, curiosité, rigueur et motivation pour les sujets de recherche appliquée et d’expérimentation.

Une ou plusieurs expériences avec les frameworks de ML (PyTorch, etc.) ainsi que l'utilisation de LLMs (Ollama, llama.cpp) serait un plus.

Sagemcom est une entreprise handi-accueillante.

Un cadre de travail stimulant dans une entreprise internationale et engagée  

Un management de proximité et une grande autonomie dans les missions

CE, conciergerie, coiffeur, et restaurant d’entreprise