About this Event
Intelligence Artificielle - IA Générative : Construire un Transformer type ChatGPT et générer du texte dans le style du corpus d'entrainement.
Animateur : Patrice, ingénieur diplômé de Centrale Nantes et consultant senior Data & IA, intervient également lors d’événements organisés au sein d’écoles d’ingénieurs en informatique.
Description
Places limitées à 16 participants afin de garantir un accompagnement personnalisé, Les premières places sont proposées à tarif réduit.
Découvrez comment construire progressivement un modèle génératif de texte, jusqu’à une architecture de type Transformer inspirée des modèles modernes comme ChatGPT.
Lors de cet atelier intensif en présentiel sur 3 jours, vous développerez pas à pas un modèle de langage : depuis les bases de l’apprentissage jusqu’à la génération de texte cohérente dans le style du corpus d'entrainement.
L’approche est résolument pratique : vous codez, entraînez et observez l’évolution du modèle à chaque étape.
Objectifs
L’objectif n’est pas simplement d’utiliser un modèle existant, mais de comprendre concrètement :
- le fonctionnement de l’apprentissage différentiable
- le rôle des gradients et de l’optimisation
- la modélisation séquentielle du langage
- les embeddings et la représentation du texte
- la prise en compte du contexte
- les principes fondamentaux d’un Transformer
À l’issue de l’atelier, vous aurez construit et entraîné un modèle capable de générer du texte dans le style du corpus d'entrainement.
Public
Cet atelier s’adresse à :
- Toute personne souhaitant comprendre en profondeur les modèles génératifs
Prérequis
- bases en Python
Programme (3 jours)
Jour 1 — Fondations et premier modèle génératif
- principes de l’apprentissage (loss, gradients, optimisation)
- introduction à la modélisation du langage
- construction d’un premier modèle génératif (type bigram ou modèle simple)
- entraînement sur un corpus littéraire
- premières générations de texte
Le modèle produit déjà du texte dès cette première journée.
Jour 2 — Représentations et passage au Transformer
Matin :
- limites des modèles simples
- embeddings et représentation vectorielle du texte
- prise en compte d’un contexte plus riche
- amélioration de la qualité des générations
Après-midi :
- introduction à l’attention (self-attention)
- compréhension des mécanismes Q / K / V
- construction des premières briques d’un Transformer
- première implémentation d’un modèle de type GPT
Cette journée marque la transition vers les architectures modernes.
Jour 3 — Transformer et génération avancée
- approfondissement de l’architecture Transformer
- entraînement du modèle
- génération de texte avancée
- analyse des résultats
- comparaison avec les modèles précédents
Le modèle final permet de générer du texte dans le style du corpus d'entrainement..
Spécificités de l’atelier
- approche from scratch, sans boîte noire
- progression pédagogique structurée
- utilisation d’un corpus littéraire
- mise en pratique continue
- groupe restreint favorisant les échanges
Résultats
Les participants repartent avec :
- une compréhension solide des modèles de langage
- un modèle qu’ils ont eux-mêmes construit et entraîné
- une vision claire du fonctionnement d’un Transformer
Il s'agit d'un atelier événement, à l'issue il ne sera délivré aucun certificat de formation.
Event Venue & Nearby Stays
20 Rue le Sueur, 20 Rue le Sueur, Paris, France
EUR 199.00 to EUR 319.93
