Vous cherchez à transformer des mesures complexes en groupes lisibles sans imposer de labels ? C’est exactement ce que propose la classification non supervisée (HCA) en laboratoire. J’utilise cette approche depuis des années pour explorer des signatures spectrales, trier des lots de production et repérer des comportements cachés. Vous trouverez ci-dessous une explication claire, des choix méthodologiques concrets, des retours d’expérience et un mode d’emploi opérationnel. Si vous débutez en chimiométrie, l’objectif est simple : gagner en discernement avant de modéliser.
Comprendre la classification non supervisée (HCA) en chimiométrie
HCA signifie Hierarchical Cluster Analysis. En français, on parle souvent de CAH (Classification ascendante hiérarchique). Le principe : regrouper des échantillons semblables, étape par étape, jusqu’à former une hiérarchie visualisée par un dendrogramme. Aucune classe n’est imposée au départ ; la structure vient des données elles-mêmes.
En chimie analytique, cette cartographie révèle des familles de matières premières, des profils de fabrication ou des états de dégradation. Sur des spectres NIR ou Raman, les motifs faibles mais cohérents ressortent. J’aime commencer par une exploration HCA avant toute modélisation prédictive : on comprend le terrain, on identifie les cas particuliers, puis on décide du plan d’action.
Préparer les données avant une HCA robuste
La qualité du regroupement dépend d’abord du prétraitement. Les amplitudes dominantes écrasent souvent l’information fine, et la variance instrumentale crée de faux rapprochements. Au minimum, centrez et réduisez les variables : le centrage-réduction met chaque variable sur un pied d’égalité. En spectroscopie, l’alignement de ligne de base, la correction de dérive et la normalisation sont décisifs.
Sur des spectres NIR farineux, j’ai constaté qu’une simple normalisation type SNV combinée à un lissage-dérivée Savitzky–Golay élimine la texture et révèle les différences chimiques. Pour approfondir, le prétraitement des données spectrales mérite une lecture dédiée, car chaque matrice a ses caprices.
Gérer les valeurs aberrantes et les manques
Avant de lancer l’HCA, vérifiez les valeurs extrêmes, les colonnes quasi constantes et les données manquantes. Un outlier peut tirer tout un groupe vers une branche artificielle. Mon rituel : inspection graphique, statistique robuste et, si besoin, imputation prudente. Une HCA devient fiable quand les sources de variabilité sont comprises, pas seulement nettoyées.
Distances et méthodes d’agrégation : choisir selon la chimie du problème
Deux ingrédients structurent votre hiérarchie : la mesure de similarité et la façon d’agréger les groupes. Mes préférences changent avec la nature des variables, l’échelle et le bruit.
| Mesure / Lien | Quand l’utiliser | Forces / Points d’attention |
|---|---|---|
| distance euclidienne | Données centrées-réduites, signaux comparables | Intuitive, sensible aux amplitudes résiduelles |
| Manhattan (L1) | Présence de valeurs extrêmes, robustesse | Moins sensible aux outliers, peut lisser trop |
| Corrélation | Forme du profil plus importante que l’intensité | Ignore l’échelle, utile pour spectres normalisés |
| Mahalanobis | Variables corrélées, covariance informative | Nécessite estimation fiable de la covariance |
| Lien simple / complet / moyen | Contrôle la compacité vs. la chaîne | Le lien complet favorise des clusters compacts |
| méthode de Ward | Minimiser l’inertie intra-groupe | Souvent la plus lisible pour matrices centrées |
En routine, je combine Ward avec une distance euclidienne sur données autoscalées. Pour des empreintes chromatographiques, la corrélation offre parfois un regard plus pertinent sur la forme du signal que sur sa hauteur brute.
Interpréter le dendrogramme et fixer le nombre de classes
Le découpage du dendrogramme n’est pas qu’un trait horizontal arbitraire. Cherchez les sauts de hauteur qui traduisent des fusions coûteuses ; testez plusieurs coupes et confrontez-les à la réalité métier. Les métriques aident : validation des clusters par stabilité bootstrap, saut d’incohérence, silhouette adaptée à la partition finale. Le coefficient de corrélation cophenétique indique si la hiérarchie reflète bien les dissimilarités initiales.
Lorsque deux solutions rivales émergent, je reviens aux échantillons : qu’est-ce qui les distingue physiquement ? Dans un dossier pharmaceutique, la meilleure coupe séparait des comprimés selon l’humidité résiduelle confirmée ensuite par Karl Fischer. L’HCA gagne toujours quand l’interprétation chimique suit le calcul.
Cas pratiques issus du laboratoire
NIR et matières premières agro
Sur des farines, l’HCA a mis en évidence trois familles alignées avec la teneur en protéines. Après SNV et dérivée de Savitzky–Golay, la structure s’est clarifiée et a permis de paramétrer des contrôles d’entrée plus fins.
Fermentations et suivi de lots
En bioprocédés, l’HCA sur profils en temps (pH, DO, signaux spectroscopiques) a séparé les cuves “saines” de celles sensibles à une contamination lactique. Le déclenchement précoce d’investigations a évité des pertes de batch.
Empreintes chromatographiques
Pour des extraits végétaux, la corrélation avec lien complet a groupé les profils par chémotype. L’analyse ciblée des pics discriminants a facilité la documentation qualité. Un détail pragmatique : le lissage excessif masque parfois des marqueurs clés.
La valeur d’une HCA tient moins au logiciel qu’à la capacité d’écouter ce que disent les branches. La statistique propose, la chimie valide.
HCA, ACP et k-means : quel outil quand ?
L’HCA explore et structure. L’analyse en composantes principales (ACP) projette et visualise les directions de variance ; k-means impose un nombre de groupes et optimise leur compacité. En pratique, j’enchaîne : ACP pour voir large, HCA pour lire les proximités hiérarchiques, k-means pour stabiliser une partition finale. Pour réviser les bases, je vous renvoie à cette ressource claire sur l’ACP en chimiométrie.
Dans des matrices très bruitées, l’ACP préalable sert de filtre : réduire la dimension aux composantes pertinentes stabilise les distances. Sur des classes attendues en production, k-means est rapide et suffisant ; pour un screening exploratoire, l’HCA raconte une histoire plus riche.
Procédure pas à pas pour déployer une HCA en routine
- Définir l’objectif : contrôle d’entrée, investigation qualité, étude exploratoire.
- Documenter l’acquisition : lots, étalonnages, limites du système.
- Nettoyer et prétraiter : correction de bruit instrumental, normalisation, centrage-réduction, gestion des manques.
- Réduire si besoin la dimension (ACP ou sélection de variables).
- Choisir distance et lien selon la physico-chimie et l’UX d’interprétation.
- Lancer l’HCA, examiner le dendrogramme, tester plusieurs coupes.
- Valider : stabilité, pertinence métier, cohérence métrologique.
- Documenter les règles de décision et intégrer dans le flux qualité.
Conseils de praticien
- Conserver une version “brute” et une version prétraitée pour comparer.
- Tester Ward + Euclidienne sur données autoscalées comme configuration de base.
- Échantillonner des témoins dans chaque cluster pour vérification chimique.
- Noter les transformations appliquées : traçabilité et reproductibilité priment.
Classification non supervisée (HCA) : bonnes pratiques et limites
L’HCA excelle pour dévoiler des proximités et initier des hypothèses. La méthode reste sensible aux échelles, aux variables redondantes et aux artefacts de mesure. Un choix judicieux de prétraitements, la confrontation systématique au contexte et quelques indicateurs de qualité évitent les pièges fréquents.
Si vous travaillez sur des spectres ou des profils capricieux, investissez du temps dans les réglages de prétraitement, puis confrontez votre dendrogramme à des mesures orthogonales. Cette discipline d’analyse transforme un outil exploratoire en véritable levier de décision.