Dossier complet — Intelligence artificielle et Machine Learning

L3 · S5 · Données et intelligence artificielle

Dossier pédagogique original Matrice MI. Contenu d’entraînement non officiel; il ne remplace pas le support ou la maquette d’un établissement.

Objectifs d’apprentissage

• Décrire un problème supervisé en distinguant observations, variables explicatives et cible.

• Choisir une fonction de perte et interpréter une optimisation simple.

• Calculer et comparer des métriques de régression et de classification.

• Concevoir une séparation train-validation-test qui limite les fuites et le surapprentissage.

• Analyser les biais, limites et conditions d’usage d’un modèle sans confondre score et décision.

Prérequis

• Bases de Python : variables, fonctions, tableaux et lecture d’un fichier de données.

• Probabilités et statistiques descriptives : moyenne, proportion et interprétation d’un échantillon.

• Notions d’algorithmes, de graphiques et de calcul matriciel élémentaire.

Cours

1. Apprentissage supervisé

Idée centrale

L’apprentissage supervisé apprend une fonction à partir de couples $(x_i,y_i)$ : $x_i$ contient les variables explicatives et $y_i$ la cible connue. En notant $f$ l’hypothèse, l’entraînement cherche souvent $\hat f=\arg\min_f\frac1n\sum_i\ell(f(x_i),y_i)$, où $\ell$ mesure l’erreur. Une ligne n’est pas automatiquement une observation indépendante : des doublons, une fuite de cible ou une variable mesurée après la décision rendent l’évaluation trompeuse.

Méthode et limites

On sépare les données en apprentissage et test avant tout réglage; une validation peut guider le choix d’hyperparamètres. Exemple guidé : pour les points $(1,2),(2,4),(3,6)$, le modèle $f(x)=2x$ donne exactement les trois cibles; l’erreur quadratique moyenne vaut $(0^2+0^2+0^2)/3=0$. Cela décrit l’échantillon, pas nécessairement le monde réel. Contrôle : expliquer pourquoi un test consulté pendant le réglage n’est plus un test impartial. Une bonne réponse cite la fuite d’information et recommande un nouveau jeu tenu à l’écart.

Points-clés

• Une observation associe variables d’entrée et cible connue.
• La perte formalise ce que l’entraînement cherche à minimiser.
• Le jeu de test doit rester indépendant des choix de modèle.

2. Régression et classification

Choisir la sortie et la mesure

Une régression prédit une quantité numérique; une classification prédit une classe, souvent via une probabilité puis un seuil. Dans une matrice de confusion, un vrai positif est noté VP et un faux positif FP. La précision vaut $\mathrm{precision}=\frac{VP}{VP+FP}$, tandis que le rappel vaut $\mathrm{rappel}=\frac{VP}{VP+FN}$. L’exactitude peut masquer une classe rare.

Exemple guidé

Supposons VP=30, FP=10, FN=5 et VN=55. Il y a 100 décisions : l’exactitude vaut $(30+55)/100=0,85$, la précision $30/(30+10)=0,75$, et le rappel $30/(30+5)\approx0,857$. Si manquer un cas est plus grave qu’une alerte inutile, on privilégie le rappel et on ajuste le seuil, sans annoncer une amélioration avant validation. Pour une régression, on pourrait comparer MAE et RMSE, car leurs sensibilités aux écarts diffèrent. Erreur fréquente : confondre précision et exactitude. Contrôle : calculer quelle métrique change si un faux négatif devient un faux positif.

Points-clés

• La tâche détermine la forme de sortie et les métriques pertinentes.
• Précision et rappel ne répondent pas à la même priorité.
• La matrice de confusion permet de relier métriques et erreurs concrètes.

3. Généralisation et éthique

Principe

La généralisation est la capacité à réussir sur des données nouvelles issues du même cadre. Le surapprentissage survient quand le modèle mémorise des particularités du train : l’erreur d’entraînement diminue mais l’erreur de validation augmente. Une validation croisée découpe le train en plusieurs plis, entraîne sur certains et évalue sur le pli restant; elle ne remplace pas un test final.

Exemple guidé

Un classifieur obtient 98 % sur train, 82 % sur validation et 81 % sur test. L’écart train-validation de 16 points suggère un surapprentissage; choisir le modèle à 98 % serait une erreur. On peut réduire la complexité, régulariser, obtenir plus de données ou revoir les variables, puis comparer les choix sur validation. Le test final n’est consulté qu’une fois la procédure figée. Attention aussi au décalage de distribution : un test aléatoire peut être optimiste si les mêmes personnes apparaissent dans plusieurs partitions. Contrôle : expliquer pourquoi un score de validation ne prouve pas une performance hors domaine.

Points-clés

• La généralisation se mesure sur des données non utilisées pour ajuster les paramètres.
• Un écart train-validation est un signal, pas un diagnostic unique.
• Les groupes et le temps peuvent imposer une séparation non aléatoire.

4. Fonctions de perte et optimisation

Définition

Une fonction de perte transforme une prédiction et une cible en coût numérique. Pour une régression, l’erreur quadratique $\ell(y,\hat y)=(y-\hat y)^2$ pénalise fortement les grands écarts; l’erreur absolue $|y-\hat y|$ résiste davantage aux valeurs extrêmes. Pour une classification binaire probabiliste, l’entropie croisée est $-[y\log(p)+(1-y)\log(1-p)]$.

Méthode et erreurs fréquentes

L’optimisation ajuste les paramètres dans le sens du gradient, par exemple $\theta\leftarrow\theta-\eta\nabla J(\theta)$, avec un taux $\eta$ suffisamment petit. Exemple guidé : pour une cible $y=10$ et une prédiction $\hat y=7$, la perte quadratique vaut $(10-7)^2=9$; après correction à $\hat y=9$, elle vaut $1$, donc l’amélioration est de huit unités. Cette comparaison n’autorise pas à conclure que le modèle est globalement meilleur : il faut agréger sur un ensemble et vérifier l’échelle. Contrôle : distinguer perte d’entraînement, métrique métier et critère optimisé; ils peuvent être différents.

Points-clés

• La perte encode une notion d’erreur, pas une vérité universelle.
• Le gradient met à jour les paramètres selon la pente locale.
• Une perte moyenne doit être interprétée avec son échelle et son contexte.

5. Données, biais et limites éthiques

Examiner un modèle au-delà du score

Un biais peut venir de la collecte, de l’étiquetage, de la représentation d’un groupe ou de l’usage final. Une variable corrélée à une caractéristique sensible peut agir comme proxy même si cette caractéristique est retirée. Il faut documenter population, période, exclusions, qualité des labels et conditions de déploiement, sans transformer une moyenne en garantie individuelle.

Exemple guidé

Un modèle accepte 90 personnes d’un groupe A sur 100 et 45 du groupe B sur 100. Les taux d’acceptation sont respectivement 90 % et 45 %, soit un écart de 45 points. Ce constat signale une disparité; il ne prouve pas sa cause. On examine les taux d’erreurs, les bases de référence et la qualité des données, puis on teste des mesures correctives et leur coût. Supprimer le champ de groupe ne suffit pas si des proxies restent présents. Erreur fréquente : confondre égalité d’un taux avec équité globale. Contrôle : rédiger une phrase séparant clairement constat, hypothèse causale et décision de gouvernance.

Points-clés

• Un score moyen ne décrit pas automatiquement les sous-groupes.
• Les biais peuvent entrer par les labels, les échantillons et les usages.
• Toute conclusion doit distinguer mesure observée et explication causale.

Exercices corrigés

Exercice 1 · Fondamental

Un jeu comporte 240 lignes. Réservez 75 % à l’apprentissage et 25 % au test. Donnez les effectifs, puis indiquez ce qui serait une fuite de données lors de la standardisation.

Correction détaillée

1. Calculer 240×0,75=180 lignes d’apprentissage. 2. Calculer 240×0,25=60 lignes de test. 3. Ajuster la moyenne et l’écart-type du standardiseur sur les 180 lignes seulement. 4. Réutiliser ces paramètres pour transformer les 60 lignes. Ajuster le standardiseur sur l’ensemble avant la séparation ferait entrer une information du test dans l’apprentissage : c’est une fuite.

Exercice 2 · Fondamental

Pour une classification, on observe VP=24, FP=6, FN=10 et VN=60. Calculez précision, rappel et exactitude, en donnant des valeurs arrondies au millième.

Correction détaillée

1. Total=24+6+10+60=100. 2. Précision=VP/(VP+FP)=24/30=0,800. 3. Rappel=VP/(VP+FN)=24/34≈0,706. 4. Exactitude=(VP+VN)/Total=84/100=0,840. Le rappel est inférieur à la précision : le modèle manque proportionnellement davantage de positifs qu’il ne produit de fausses alertes.

Exercice 3 · Intermédiaire

Deux modèles de régression prédisent sur trois cibles [2, 4, 8]. A donne [1, 5, 7] et B donne [2, 6, 6]. Calculez la MAE et la MSE de chaque modèle, puis choisissez selon chaque critère.

Correction détaillée

1. Pour A, erreurs absolues [1,1,1] : MAE=1; carrés [1,1,1] : MSE=1. 2. Pour B, erreurs absolues [0,2,2] : MAE=4/3≈1,333; carrés [0,4,4] : MSE=8/3≈2,667. 3. A est meilleur selon MAE et MSE. 4. Le calcul montre aussi que deux grosses erreurs sont davantage pénalisées par MSE.

Exercice 4 · Intermédiaire

Un modèle M1 obtient train=0,96, validation=0,78, test=0,77; M2 obtient train=0,88, validation=0,84, test=0,83. Analysez le surapprentissage et proposez une décision justifiée.

Correction détaillée

1. M1 perd 18 points entre train et validation, M2 seulement 4 : M1 surapprend davantage. 2. M2 a la meilleure validation et le meilleur test parmi les deux, avec un écart validation-test d’un point. 3. Si le protocole était fixé avant l’observation du test, retenir M2 est justifié. 4. Pour améliorer M1, essayer régularisation ou modèle plus simple, sans régler les choix sur le test.

Exercice 5 · Avancé

Un filtre de risque est évalué sur deux groupes de 1 000 dossiers. Groupe A : VP=180, FP=20, FN=20, VN=780. Groupe B : VP=90, FP=10, FN=100, VN=800. Comparez précision, rappel et taux de faux positifs; proposez un plan d’audit sans conclure hâtivement à une discrimination causale.

Correction détaillée

1. A : précision=180/200=0,90; rappel=180/200=0,90; taux de faux positifs=20/(20+780)=0,025. 2. B : précision=90/100=0,90; rappel=90/190≈0,474; taux de faux positifs=10/(10+800)=0,012. 3. La précision est égale, mais le rappel de B est beaucoup plus faible et les taux de faux positifs diffèrent. 4. Auditer les définitions de la cible, la qualité des labels, la prévalence réelle, les variables-proxies et les seuils; refaire des analyses par sous-groupe avec intervalles d’incertitude. 5. Tester des corrections et leurs coûts, puis faire valider les règles d’usage et le suivi post-déploiement. Ces chiffres établissent une disparité mesurée, pas sa cause juridique ou sociale.

Quiz d’autoévaluation

Question 1

Quel ensemble sert normalement à estimer la performance finale après le réglage du modèle ?

✓ Le jeu de test tenu à l’écart • Le jeu d’apprentissage • Les données dupliquées • Les seules lignes mal classées

Explication : Le test final doit rester indépendant des choix de modèle; sinon son score devient optimiste.

Question 2

Quelle perte pénalise directement le carré de l’écart en régression ?

✓ La perte quadratique • La précision • Le rappel • Le taux de faux positifs

Explication : La perte quadratique utilise $(y-\hat y)^2$, donc les grands écarts pèsent davantage.

Question 3

Dans une matrice de confusion, que mesure le rappel ?

✓ La part des vrais positifs parmi les positifs réels • La part des prédictions positives qui sont justes • La part de toutes les décisions justes • La part des négatifs correctement rejetés

Explication : Le rappel est $VP/(VP+FN)$ : il mesure les positifs réels retrouvés.

Question 4

Quel indice suggère le plus directement un surapprentissage ?

✓ Un score train très supérieur au score validation • Deux scores identiques sur train et validation • Un jeu sans variable numérique • Une matrice de confusion carrée

Explication : Un grand écart train-validation indique que le modèle réussit mieux sur ce qu’il a vu.

Question 5

Pourquoi standardiser avant de séparer train et test peut-il être incorrect ?

✓ Les statistiques du test contaminent la transformation • La standardisation supprime toujours la cible • Elle rend le modèle non déterministe • Elle transforme une classification en régression

Explication : La moyenne et l’écart-type calculés sur tout le jeu transmettent une information du test.

Question 6

Quelle affirmation distingue correctement régression et classification ?

✓ La régression vise une quantité numérique, la classification une classe • La régression ne nécessite jamais de validation • La classification prédit toujours deux classes • La régression utilise uniquement le rappel

Explication : La nature de la cible guide le type de sortie; binaire ou multiclasse, une classification peut avoir plus de deux classes.

Question 7

Retirer une variable sensible garantit-il l’absence de biais ?

✓ Non, une autre variable peut servir de proxy • Oui, toujours • Oui, si l’exactitude dépasse 80 % • Non, car aucun modèle ne peut être évalué

Explication : Des variables corrélées peuvent reconstruire indirectement l’information retirée.

Question 8

Quelle pratique limite le mieux l’optimisme d’un score de test ?

✓ Ne consulter le test qu’après avoir figé la procédure • Choisir les hyperparamètres sur le test • Mélanger les prédictions du test au train • Remplacer les labels par les prédictions

Explication : Un test réellement tenu à l’écart fournit une estimation moins biaisée de la généralisation.

Glossaire

• Apprentissage supervisé — Cadre où un modèle apprend à relier des entrées à des cibles connues dans des exemples annotés.
• Variable explicative — Attribut d’entrée utilisé pour produire une prédiction; elle est aussi appelée caractéristique ou variable prédictive.
• Fonction de perte — Fonction qui quantifie l’écart entre une sortie prédite et la cible selon un objectif choisi.
• Validation croisée — Procédure qui répète l’évaluation sur plusieurs partitions du jeu d’apprentissage pour comparer des réglages.
• Généralisation — Capacité d’un modèle à rester performant sur des données nouvelles comparables aux données d’étude.
• Surapprentissage — Situation où le modèle ajuste trop les particularités du jeu d’apprentissage et perd en performance hors échantillon.
• Précision — En classification, proportion des prédictions positives qui sont effectivement positives : VP/(VP+FP).
• Rappel — En classification, proportion des positifs réels détectés : VP/(VP+FN).

TP · Mini-cas : classifier des demandes de support

À partir d’un tableau local de demandes anonymisées contenant texte court, catégorie attendue et quelques variables numériques, construire une classification binaire ‘prioritaire’/‘standard’. Le cas est pédagogique : ne pas déployer le modèle ni prendre de décision réelle. Le niveau visé est L3, semestre S5, dans la matière Intelligence artificielle et Machine Learning.

Objectifs

• Définir une cible et repérer les fuites de données.

• Construire une séparation apprentissage/test reproductible.

• Comparer précision, rappel et matrice de confusion.

• Documenter limites, biais possibles et conditions de non-usage.

Étapes

1. Décrire les colonnes, valeurs manquantes, doublons et groupes; justifier la cible et retirer toute information postérieure à la décision.

2. Séparer 80 % apprentissage et 20 % test avec une graine fixée; ajuster tout prétraitement sur l’apprentissage seulement.

3. Entraîner un modèle simple, par exemple une régression logistique ou un arbre peu profond, puis choisir le seuil sur validation.

4. Calculer sur le test la matrice de confusion, précision, rappel et exactitude; commenter au moins une erreur de chaque type.

5. Rédiger une note de limites : représentativité, qualité des labels, sous-groupes observables, décalage futur et décision humaine requise.

Livrables attendus

• Un notebook ou script reproductible avec dépendances et graine indiquées.

• Un tableau de métriques et une matrice de confusion annotée avec unités et effectifs.

• Une note de deux pages séparant résultats, hypothèses, limites et recommandation de non-déploiement.

Critères d’évaluation

• Séparation et absence de fuite vérifiables : 30 %.

• Calculs et interprétation des métriques : 25 %.

• Reproductibilité et clarté du code : 20 %.

• Analyse critique des biais et limites : 25 %.

Piste de résolution

Une solution attendue conserve le test intact, documente les colonnes exclues, ajuste le prétraitement sur le train et présente des métriques calculées sur le test. Elle ne cherche pas seulement l’exactitude : elle discute le compromis précision-rappel et fournit des résultats par sous-groupe si les effectifs le permettent. Elle conclut par des limites et une décision explicite de non-déploiement sans validation métier et humaine.

Sujets originaux d’entraînement (non officiels)

Sujet original de préparation — session normale

Sujet original, non officiel et créé pour s’entraîner; il ne s’agit jamais d’une épreuve d’une année passée ni d’un document institutionnel.

Exercice 1

On dispose de 500 observations dont 20 % sont positives. Un classifieur obtient VP=70, FN=30, FP=25 et VN=375. Calculer prévalence, précision, rappel et exactitude; commenter une limite de l’exactitude.

Correction : La prévalence vaut (70+30)/500=0,20. La précision vaut 70/(70+25)=70/95≈0,737. Le rappel vaut 70/(70+30)=0,700. L’exactitude vaut (70+375)/500=0,890. Comme 80 % des cas sont négatifs, une règle toujours négative atteindrait déjà 0,800 d’exactitude sans détecter aucun positif; l’exactitude seule est donc insuffisante.

Exercice 2

Expliquez un protocole de comparaison entre une régression linéaire et un arbre de décision sur des données numériques, depuis la séparation jusqu’au test final.

Correction : Séparer d’abord train et test, idéalement selon groupes ou temps si les lignes sont liées. Sur le train, imputer et standardiser dans une procédure ajustée uniquement au train; la standardisation est nécessaire à la linéaire mais pas généralement à l’arbre. Utiliser une validation croisée du train pour choisir hyperparamètres et comparer MAE ou RMSE selon le coût des erreurs. Figer ensuite la méthode, l’évaluer une fois sur le test, donner une incertitude ou une variabilité entre plis et documenter les limites. Ne pas choisir le modèle après avoir comparé plusieurs fois le test.

Exercice 3

Un jeu de données présente 96 % d’exactitude mais un rappel de 12 % pour une classe rare. Proposez un diagnostic et trois actions testables.

Correction : Le score indique probablement que la majorité négative domine; le rappel faible signifie que les positifs sont presque tous manqués. Diagnostiquer la matrice de confusion, la prévalence, les doublons, les labels et le protocole de séparation. Actions : ajuster le seuil sur validation selon le coût des faux négatifs; pondérer les classes ou rééchantillonner uniquement le train; améliorer les variables et les labels, puis comparer précision-rappel sur un test intact. Rapporter aussi les performances par groupe et la charge opérationnelle des alertes. Aucune action ne doit être jugée sur l’exactitude seule. Annoncer une amélioration seulement après une évaluation indépendante.

Sujet original de préparation — session de rattrapage

Sujet original, non officiel et créé pour s’entraîner; il ne s’agit jamais d’une épreuve d’une année passée ni d’un document institutionnel.

Exercice 1

Pour les cibles [3, 5, 9, 10], le modèle A prédit [2, 7, 8, 11]. Calculer MAE et MSE, puis expliquer laquelle est plus sensible à l’erreur de 2.

Correction : Les erreurs absolues sont [1,2,1,1], donc MAE=(1+2+1+1)/4=1,25. Les carrés sont [1,4,1,1], donc MSE=7/4=1,75. La MSE amplifie l’erreur de 2 en la comptant pour 4; la MAE la compte pour 2. Le choix dépend du coût réel des grandes erreurs.

Exercice 2

Un modèle a une perte train de 0,10 et validation de 0,42; un second a respectivement 0,24 et 0,28. Quel modèle examiner en priorité et pourquoi ? Donnez deux remèdes possibles au défaut du premier.

Correction : Le premier présente un écart de 0,32, contre 0,04 pour le second : il surapprend probablement. Le second a une validation meilleure (0,28 contre 0,42), donc il est le candidat initial si les pertes sont comparables. Pour le premier, réduire la complexité ou renforcer la régularisation; on peut aussi augmenter les données, supprimer des variables fuyantes ou revoir la séparation. Vérifier ces choix par validation, sans utiliser le test pour régler les hyperparamètres.

Exercice 3

Un système de sélection donne un taux d’acceptation de 70 % pour le groupe A et 50 % pour le groupe B. Décrivez une analyse responsable en quatre étapes sans conclure à partir de ces seuls taux.

Correction : 1. Vérifier les dénominateurs, la période, les doublons et les effectifs, puis fournir des intervalles d’incertitude. 2. Comparer par groupe VP, FP, FN, VN, prévalence et taux d’erreurs, car un taux d’acceptation agrégé ne montre pas les causes. 3. Auditer labels, variables-proxies, différences de collecte et décalage de distribution; consulter le contexte humain et juridique approprié. 4. Tester des corrections documentées, leurs effets sur chaque groupe et leurs coûts, avec une revue humaine et un suivi. Conclure seulement sur les disparités observées et les hypothèses à vérifier, jamais sur une causalité non établie.

Parcours de révision sur quatre semaines

Semaine 1 · Données et apprentissage supervisé

Relire le chapitre 1, annoter une petite table en entrées/cible, puis écrire un protocole train-test sans fuite. Avant de terminer, reformule les notions sans tes notes, vérifie les résultats dans le cours et note une difficulté précise à reprendre la semaine suivante.

Semaine 2 · Pertes et métriques

Résoudre les exercices 2 et 3 à la main; recalculer une matrice de confusion et expliquer le choix d’une métrique. Avant de terminer, reformule les notions sans tes notes, vérifie les résultats dans le cours et note une difficulté précise à reprendre la semaine suivante.

Semaine 3 · Généralisation

Comparer deux écarts train-validation, simuler un réglage par validation croisée et rédiger trois diagnostics possibles. Avant de terminer, reformule les notions sans tes notes, vérifie les résultats dans le cours et note une difficulté précise à reprendre la semaine suivante.

Semaine 4 · Biais, projet et préparation

Réaliser le mini-cas, vérifier les livrables, puis traiter un sujet de préparation en temps limité et corriger les erreurs. Avant de terminer, reformule les notions sans tes notes, vérifie les résultats dans le cours et note une difficulté précise à reprendre la semaine suivante.