Textes et savoirs numériques
La lexicométrie et la textométrie désignent des méthodes qui analysent les textes à partir de données observables : mots employés, fréquences, contextes, cooccurrences et répartition dans un corpus. Elles ne remplacent pas la lecture ni l’interprétation. Elles permettent plutôt de repérer des régularités, des contrastes ou des évolutions qui seraient difficiles à identifier par une lecture manuelle de nombreux documents.
La lexicométrie s’est d’abord concentrée sur le vocabulaire. Elle mesure la présence et la distribution des formes lexicales, puis compare ces distributions entre des textes ou des sous-ensembles de textes. La textométrie a élargi cette perspective. Elle peut prendre en compte les unités lexicales, les segments répétés, les parties du discours, les métadonnées, les positions dans le texte et les opérations de retour au contexte.
Ces méthodes reposent sur une idée importante : la répétition d’une forme, son association avec d’autres formes et sa répartition ne sont pas de simples détails techniques. Elles peuvent renseigner sur des genres discursifs, des thèmes, des catégories d’acteurs ou des transformations historiques. Toutefois, une association statistique ne constitue pas automatiquement une preuve d’intention, de causalité ou de signification sociale.
Les recherches françaises en lexicométrie se sont développées au XXe siècle, notamment avec les travaux de Jean-Paul Benzécri sur l’analyse des données et ceux de Charles Muller sur la statistique lexicale. La statistique textuelle s’est ensuite structurée autour de méthodes permettant de traiter des corpus politiques, littéraires, historiques ou médiatiques.
Le terme textométrie met davantage l’accent sur l’exploration informatisée et interactive des données textuelles. Des travaux associés à André Salem, à Max Reinert et à l’équipe de statistique textuelle de l’Université de la Sorbonne ont contribué à formaliser des méthodes de comparaison, de classification et d’analyse du vocabulaire. Le logiciel Alceste, conçu autour des classifications lexicales, a notamment marqué l’histoire de l’analyse automatisée des discours. Les logiciels développés dans le cadre de la textométrie francophone ont également popularisé les concordances, les spécificités et l’analyse factorielle des correspondances.
Ces repères historiques ne signifient pas que les méthodes forment une école unique. Les pratiques varient selon les disciplines. Un historien peut comparer des périodes, un sociologue des groupes d’enquêtés, un spécialiste de littérature des œuvres ou des éditions, et un chercheur en sciences de l’information des collections documentaires. Le choix de la méthode dépend toujours de la question posée et de la structure du corpus.
La qualité d’une analyse statistique dépend d’abord de la qualité du corpus. Un corpus est un ensemble de textes réuni selon une règle explicite. Il peut être constitué d’articles, de discours, d’entretiens transcrits, de romans, de décisions de justice, de messages publics ou de documents institutionnels. Il ne suffit pas d’accumuler des fichiers : il faut définir ce qui entre dans le corpus, ce qui en est exclu et pourquoi.
Plusieurs questions doivent être documentées :
Un corpus déséquilibré peut produire des résultats trompeurs. Si une catégorie contient beaucoup plus de mots qu’une autre, elle aura mécaniquement davantage d’occurrences. Il faut donc distinguer les fréquences brutes, qui comptent les occurrences, des fréquences rapportées à une taille commune, souvent exprimées par un nombre d’occurrences pour un volume donné. Cette normalisation facilite les comparaisons, sans supprimer tous les biais liés au genre ou au contexte.
La première opération consiste à découper le texte en unités. Un token est une occurrence située dans le texte. Dans la phrase « les textes analysent les textes », le mot « les » apparaît deux fois et constitue donc deux occurrences. Un type correspond à une forme distincte. La distinction entre tokens et types permet de mesurer la répétition et la diversité apparente du vocabulaire.
La forme graphique conserve l’écriture exacte, tandis que le lemme rassemble des formes fléchies sous une entrée commune. « Analyser », « analyse » et « analysent » peuvent ainsi être rapprochés, selon les objectifs de l’étude et la qualité de l’étiquetage linguistique. La lemmatisation facilite certaines comparaisons, mais elle peut effacer des différences utiles. Dans une étude portant sur les temps verbaux, les formes fléchies doivent rester distinguées.
Le traitement doit aussi décider du sort de la ponctuation, des nombres, des sigles, des mots composés, des noms propres et des mots-outils. Retirer systématiquement les mots fréquents comme « de », « et » ou « dans » peut être pertinent pour certaines analyses thématiques, mais une telle suppression serait problématique pour l’étude du style, de la syntaxe ou de la modalisation. Les choix de préparation doivent donc être conservés dans un protocole reproductible.
Le comptage des occurrences fournit une première description. Les mots les plus fréquents donnent une indication sur la structure générale d’un corpus, mais ils ne résument pas son contenu. Les mots grammaticaux dominent souvent les listes, tandis que les termes spécialisés peuvent être moins fréquents mais plus discriminants.
La notion de spécificité compare la fréquence d’un mot dans une partie du corpus avec la fréquence attendue si ce mot était réparti de manière homogène. Un terme peut être dit caractéristique d’une partie lorsqu’il y apparaît davantage que prévu par rapport à l’ensemble. Le calcul exact dépend du modèle statistique retenu. Il ne faut donc pas interpréter une liste de spécificités sans connaître le corpus de référence et le seuil utilisé.
La diversité lexicale peut être approchée par le rapport entre types et tokens, mais cet indicateur varie fortement avec la longueur des textes. Deux corpus de tailles différentes ne sont pas directement comparables avec une simple proportion. Des mesures corrigées existent, mais aucune ne résout seule la question de la richesse lexicale. Une interprétation prudente croise les indicateurs et revient aux passages où les formes apparaissent.
Un mot prend une partie de sa valeur dans son contexte. L’analyse des cooccurrences étudie les mots qui apparaissent régulièrement avec une unité donnée, dans une fenêtre de proximité ou dans une même unité syntaxique. Une fenêtre de cinq mots à gauche et à droite ne produit pas le même réseau d’associations qu’une phrase ou qu’un paragraphe. Ce paramètre doit être indiqué.
La fréquence commune ne suffit pas à établir une association. Deux mots très fréquents peuvent coapparaître souvent simplement parce qu’ils sont fréquents séparément. Des mesures comme le chi carré, le coefficient de Dice, le pointwise mutual information ou le log-likelihood cherchent à distinguer la cooccurrence observée de la cooccurrence attendue. Ces mesures ne donnent pas toutes la même importance aux associations rares et fréquentes.
Les concordances apportent le contrôle qualitatif indispensable. Elles affichent les occurrences d’un mot avec une portion de contexte, souvent appelée KWIC, pour « Key Word In Context ». Une association statistique peut alors être séparée en plusieurs usages : sens différents, citations, formules figées ou simple proximité thématique. Le calcul repère un phénomène ; la lecture détermine ce qu’il signifie dans les passages concernés.
Lorsqu’un corpus est divisé en parties, par exemple selon des périodes, des genres ou des groupes, il est possible de comparer les profils lexicaux. L’analyse factorielle des correspondances, souvent abrégée AFC, représente les relations entre les lignes et les colonnes d’un tableau de contingence. Les lignes peuvent être des textes ou des catégories, et les colonnes des formes lexicales.
La carte obtenue résume plusieurs dimensions de variation. Des points proches ont des profils relativement similaires dans le tableau étudié. Des points éloignés se distinguent davantage. Les axes ne sont pas des thèmes au sens courant : ils résultent d’une combinaison mathématique de différences de profils. Pour les interpréter, il faut examiner les contributions des catégories et des mots, ainsi que les textes qui les portent.
Une projection graphique ne doit pas être lue comme une photographie objective du sens. La réduction à deux dimensions simplifie souvent une structure plus complexe. Il est également nécessaire de vérifier l’effet de la taille des parties, des genres textuels et des mots très fréquents. Une AFC devient utile lorsqu’elle est associée à des tableaux, des listes d’unités caractéristiques et un retour systématique aux concordances.
La classification lexicale regroupe des segments qui partagent des profils de vocabulaire. Une méthode peut découper les textes en unités de contexte, calculer les distributions de formes, puis rapprocher les segments selon une mesure de distance. La classification descendante hiérarchique associée aux travaux de Max Reinert est souvent utilisée pour faire émerger des ensembles lexicaux récurrents.
Un groupe de segments caractérisé par des mots liés au calendrier, aux institutions et aux décisions peut par exemple correspondre à une dimension administrative. Un autre, dominé par des termes de mesure, d’observation et de données, peut renvoyer à une dimension méthodologique. Ces étiquettes sont des interprétations : l’algorithme ne nomme pas lui-même les classes et ne prouve pas qu’elles correspondent à des catégories sociales stables.
La classification dépend de nombreuses décisions : longueur des segments, unités conservées, lemmatisation, seuils de fréquence et méthode de distance. Modifier ces paramètres peut changer le résultat. Une bonne pratique consiste à tester la robustesse des regroupements, à comparer plusieurs préparations raisonnables et à vérifier manuellement un échantillon de segments de chaque classe.
Une analyse textométrique peut suivre un protocole simple, à condition que chaque décision soit documentée :
Cette progression évite de commencer par un graphique séduisant mais déconnecté d’une hypothèse de lecture. Elle distingue l’exploration, qui sert à produire des pistes, de la confirmation, qui exige des contrôles supplémentaires. Une analyse exploratoire peut être féconde sans prétendre fournir une conclusion définitive.
La textométrie aide à mesurer des régularités et à comparer des ensembles. Elle peut faire apparaître la concentration d’un vocabulaire dans une période, les associations privilégiées autour d’un terme, la différenciation de genres discursifs ou la transformation de catégories nommées. Elle est particulièrement utile lorsque le corpus est assez volumineux pour rendre la lecture exhaustive difficile, mais suffisamment documenté pour permettre une interprétation.
Elle présente aussi des limites structurelles. Les textes disponibles ne représentent pas nécessairement tous les textes produits. Les archives peuvent favoriser certains auteurs, certaines institutions ou certaines périodes. La reconnaissance automatique des caractères peut déformer les formes. La traduction, la transcription et la normalisation peuvent modifier les fréquences. Enfin, la présence d’un mot ne suffit pas à établir qu’un texte défend l’idée associée à ce mot.
Il faut également distinguer corrélation et causalité. Si deux formes sont associées dans un corpus, cela signifie qu’elles apparaissent ensemble selon la définition retenue. Cela ne prouve pas que l’une provoque l’autre, ni que les auteurs leur donnent la même signification. Le contexte, le genre, la position dans le texte et les conditions de production restent essentiels.
Un résultat textométrique devient plus solide lorsqu’il est accompagné de plusieurs contrôles :
La significativité statistique ne mesure pas automatiquement l’importance scientifique ou sociale d’un résultat. Dans un corpus volumineux, une différence faible peut devenir statistiquement détectable. À l’inverse, un phénomène intéressant peut rester incertain dans un petit corpus. Il faut donc considérer la taille de l’effet, la stabilité du résultat et sa pertinence pour la question de départ.
La transparence concerne aussi les données. Lorsque les textes sont protégés par le droit d’auteur ou contiennent des données personnelles, le corpus complet ne peut pas toujours être diffusé. Il reste possible de décrire les critères de sélection, de partager les métadonnées autorisées, de publier le code ou de fournir des exemples non sensibles. La reproductibilité doit être pensée en tenant compte des contraintes juridiques et éthiques.
Les méthodes textométriques ne se confondent pas avec les modèles d’intelligence artificielle générative. La lexicométrie compte et compare des unités observables dans un corpus selon des règles explicites. Un modèle de langage, lui, apprend des régularités à partir de grands ensembles de données et produit des séquences en calculant des probabilités. Les deux approches peuvent traiter du texte, mais leurs objectifs et leurs modes d’interprétation diffèrent.
La textométrie offre souvent une traçabilité directe : une fréquence peut être reliée à des occurrences, une cooccurrence à des contextes, et une catégorie à des segments déterminés. Elle ne garantit pas pour autant une interprétation correcte. Les modèles d’intelligence artificielle peuvent aider à classer, résumer ou annoter, mais leurs sorties doivent être contrôlées, surtout lorsqu’elles servent à attribuer un thème ou une intention à des personnes.
Dans un projet de recherche, les deux familles d’outils peuvent être combinées avec prudence. Une annotation automatique peut accélérer la préparation, puis être vérifiée sur un échantillon. Les statistiques peuvent mesurer la distribution des catégories produites. Le principe reste le même : rendre explicites les données, les transformations, les paramètres et les incertitudes.
Non. Le comptage est une étape de départ. Une analyse peut ensuite comparer des parties de corpus, étudier les cooccurrences, repérer des segments répétés, calculer des spécificités ou représenter des profils lexicaux. Le retour aux contextes reste nécessaire pour interpréter les résultats.
La lexicométrie désigne généralement l’étude statistique du vocabulaire et de sa distribution. La textométrie est souvent employée dans un sens plus large, incluant l’exploration interactive des textes, les métadonnées, les positions, les segments et les contextes. Les usages terminologiques varient selon les disciplines.
Pas nécessairement. La taille pertinente dépend de la question, du genre textuel et de la fréquence des phénomènes étudiés. Un petit corpus bien délimité peut convenir à une étude ciblée, tandis qu’une comparaison de tendances rares demande davantage de données et des contrôles plus stricts.
Non. La fréquence indique une présence répétée, mais pas automatiquement une valeur distinctive ni une importance interprétative. Un mot peut être fréquent dans toutes les parties du corpus et donc peu discriminant. Les spécificités, les contextes et la comparaison avec un corpus de référence apportent des informations complémentaires.
Parce qu’une statistique ne montre pas toujours le sens local d’une occurrence. La lecture des concordances permet de distinguer les homonymes, les citations, les emplois ironiques, les expressions figées et les contextes réellement comparables. Elle relie le résultat numérique au texte effectivement produit.
