About this Event
IA : Construire un Transformer type ChatGPT et générer du texte dans le style d’un auteur français
Animateur : Patrice, ingénieur diplômé de Centrale Nantes et consultant senior Data & IA, intervient également lors d’événements organisés au sein d’écoles d’ingénieurs en informatique.
Description
Places limitées à 16 participants afin de garantir un accompagnement personnalisé, Les premières places sont proposées à tarif réduit.
Découvrez comment construire progressivement un modèle génératif de texte en français, jusqu’à une architecture de type Transformer inspirée des modèles modernes comme ChatGPT.
Lors de cet atelier intensif en présentiel sur 3 jours, vous développerez pas à pas un modèle de langage : depuis les bases de l’apprentissage jusqu’à la génération de texte cohérente dans le style d’un auteur français (Victor Hugo ou corpus équivalent).
L’approche est résolument pratique : vous codez, entraînez et observez l’évolution du modèle à chaque étape.
Objectifs
L’objectif n’est pas simplement d’utiliser un modèle existant, mais de comprendre concrètement :
- le fonctionnement de l’apprentissage différentiable
- le rôle des gradients et de l’optimisation
- la modélisation séquentielle du langage
- les embeddings et la représentation du texte
- la prise en compte du contexte
- les principes fondamentaux d’un Transformer
À l’issue de l’atelier, vous aurez construit et entraîné un modèle capable de générer du texte en français.
Public
Cet atelier s’adresse à :
- data scientists
- ML engineers
- développeurs Python
- ingénieurs IA
- profils techniques souhaitant comprendre en profondeur les modèles génératifs
Prérequis
- bases en Python
- notions de machine learning recommandées
Programme (3 jours)
Jour 1 — Fondations et premier modèle génératif
- principes de l’apprentissage (loss, gradients, optimisation)
- introduction à la modélisation du langage
- construction d’un premier modèle génératif (type bigram ou modèle simple)
- entraînement sur un corpus littéraire français
- premières générations de texte
Le modèle produit déjà du texte dès cette première journée.
Jour 2 — Représentations et passage au Transformer
Matin :
- limites des modèles simples
- embeddings et représentation vectorielle du texte
- prise en compte d’un contexte plus riche
- amélioration de la qualité des générations
Après-midi :
- introduction à l’attention (self-attention)
- compréhension des mécanismes Q / K / V
- construction des premières briques d’un Transformer
- première implémentation d’un modèle de type GPT
Cette journée marque la transition vers les architectures modernes.
Jour 3 — Transformer et génération avancée
- approfondissement de l’architecture Transformer
- entraînement du modèle
- génération de texte avancée
- analyse des résultats
- comparaison avec les modèles précédents
Le modèle final permet de générer du texte dans le style de l’auteur choisi.
Spécificités de l’atelier
- approche from scratch, sans boîte noire
- progression pédagogique structurée
- utilisation d’un corpus littéraire français
- mise en pratique continue
- groupe restreint favorisant les échanges
Résultats
Les participants repartent avec :
- une compréhension solide des modèles de langage
- un modèle qu’ils ont eux-mêmes construit et entraîné
- une vision claire du fonctionnement d’un Transformer
Event Venue & Nearby Stays
21 Rue le Sueur, 21 Rue le Sueur, Paris, France
EUR 319.93 to EUR 384.95
