Analyste Red Teaming des modèles d'embeddings - Risques - La Defense, Ile de France, France - SOCIETE GENERALE

Vos missions au quotidien
Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu'au suivi du risque de modèle de la banque. L'équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées.
L'objectif du stage est d'étudier et d'évaluer la robustesse des modèles d'embeddings utilisés dans les systèmes RAG et agentiques au travers d'exercices de red teaming. Le stagiaire contribuera à la définition d'un cadre méthodologique permettant d'identifier les vulnérabilités susceptibles d'affecter la qualité des informations récupérées et, in fine, les décisions prises par les systèmes d'IA.
Vous serez notamment amené à :

• Réaliser une revue de littérature sur les principales vulnérabilités des modèles d'embeddings et des systèmes de recherche vectorielle
• Prendre en main différents modèles d'embeddings open source, bases vectorielles et frameworks RAG afin de construire des environnements d'expérimentation représentatifs de cas d'usage métier
• Concevoir et implémenter des scénarios de red teaming visant à évaluer la robustesse des mécanismes de recherche et de récupération d'information ;
• Analyser l'impact d'attaques telles que l'empoisonnement de bases de connaissances, la manipulation des résultats de recherche, les attaques multilingues et les techniques d'évasion.
• Définir des métriques de résilience
• Évaluer les risques associés pour des cas d'usage bancaires
• Documenter l'étude et animer des ateliers interactifs pour présenter les avancements aux membres de l'équipe

Apports du stage
Vous acquerrez une vision spécifique en gestion du risque de modèle au sein des établissements bancaires, ainsi qu'une expérience significative dans le domaine de la data science. Vous mettrez en exergue vos qualités rédactionnelles et de présentation.
Durée du stage : 6 mois.
Et si c'était vous ?
Compétences requises et qualités appréciées :

• De formation Bac + 4/5 - École d'Ingénieurs ou équivalent universitaire, vous avez de solides connaissances théoriques et opérationnelles en Machine Learning et en Deep Learning (e.g. étapes d'apprentissage d'un modèle)
• Vous justifiez de bonnes connaissances en Python
• Doté de qualités rédactionnelles, vous savez rédiger des notes synthétiques et présenter vos résultats sous format PowerPoint ou de Web apps. Autonome, rigoureux, curieux, vous êtes force de proposition
• Un fort esprit d'équipe, de l'enthousiasme et un bon relationnel vous permettront de vous insérer rapidement dans l'équipe

Plus qu'un poste, un tremplin
Rejoignez-nous pour faire grandir vos ambitions ! Dès votre arrivée, vous serez intégré dans nos équipes et apprendrez chaque jour aux côtés de nos experts qui vous accompagneront dans vos missions. Progressivement, vous gagnerez en autonomie sur vos projets pour faire de cette expérience un vrai accélérateur de carrière. Vous découvrirez également toute la diversité de nos métiers, dans un secteur qui évolue et innove en permanence.
A la fin de vos études, diverses opportunités pourront s'offrir à vous, en France et à l'international.
Pourquoi nous choisir ?
Attentif à votre qualité de vie et conditions de travail, vous bénéficiez d'avantages :

• Télétravail possible selon le rythme de votre service
• Prise en charge de 60% de votre titre de transport
• Billetterie à prix réduits de notre Comité d'Entreprise (concerts, cinéma, sport)
• Offre variée de restaurants d'entreprise et de cafétérias à tarifs compétitifs ainsi que des titres restaurants dématérialisés quand vous êtes en télétravail

Créer, oser, innover, entreprendre font partie de notre ADN. Si vous aussi vous souhaitez être dans l'action, évoluer dans un environnement stimulant et bienveillant, vous sentir utile au quotidien et développer ou renforcer votre expertise, nous sommes faits pour nous rencontrer !
Vous hésitez encore ?
Sachez que nos collaborateurs peuvent s'engager quelques jours par an pour des actions de solidarité sur leur temps de travail : parrainer des personnes en difficulté dans leur orientation ou leur insertion professionnelle, participer à l'éducation financière de jeunes en apprentissage ou encore partager leurs compétences avec une association. Les formats d'engagement sont multiples.