Avant Google, Karen Spärck Jones a expliqué pourquoi les mots rares comptent davantage dans la recherche.

En 1972, des décennies avant Google, Karen Spärck Jones formalisa une idée qui se trouve encore sous la recherche moderne : un mot peut compter davantage précisément parce qu’il est rare.

Pas rare dans la langue.

Rare dans la collection que vous interrogez.

Un mot présent dans presque tous les documents dit peu de choses sur le document que vous cherchez réellement.

Un mot présent dans seulement quelques documents peut être extrêmement informatif.

Spärck Jones transforma cette intuition en inverse document frequency — IDF.

La recherche a deux problèmes opposés

Imaginez une recherche parmi des milliers de documents.

Si un terme apparaît de nombreuses fois dans un document, cette répétition peut indiquer que le document est pertinent.

Mais certains mots apparaissent partout.

Les mots communs peuvent dominer les comptes sans aider à distinguer un document d’un autre.

L’intuition de Spärck Jones fut de considérer non seulement combien de fois un terme apparaît dans un document, mais aussi à quel point il est répandu dans toute la collection.

Un terme présent dans de nombreux documents devrait avoir moins de pouvoir discriminant.

Un terme présent dans relativement peu de documents devrait peser davantage.

Cette idée devint un élément standard de l’information retrieval.

Cela semble évident seulement après que quelqu’un l’a rendu évident

Aujourd’hui, l’intuition paraît naturelle.

Si vous cherchez « machine learning compiler optimization », un mot comme « machine » peut apparaître dans beaucoup d’endroits.

Un terme plus spécifique peut mieux réduire l’ensemble des résultats.

Mais dans les années 1960 et au début des années 1970, l’information retrieval construisait encore ses fondations mathématiques.

Spärck Jones proposa d’interpréter statistiquement la spécificité d’un terme.

Au lieu de demander uniquement ce qu’un mot signifie, un système pouvait observer son comportement dans l’ensemble du corpus.

Le langage devenait des données sur le langage.

L’idée est devenue une partie de TF-IDF

IDF est souvent associé à term frequency, ou TF.

Term frequency demande : quelle importance ce mot a-t-il dans ce document ?

Inverse document frequency demande : à quel point ce mot est-il inhabituel dans toute la collection ?

Ensemble, TF-IDF favorise les termes importants localement mais non omniprésents globalement.

La formule est assez simple pour être enseignée dans un cours d’introduction.

Son impact ne l’est pas.

L’University of Cambridge a ensuite décrit IDF comme une technique standard adoptée dans les systèmes modernes de recherche d’information, y compris la recherche web.

Des idées apparentées de pondération restent présentes dans des méthodes lexicales très répandues comme BM25.

L’IA moderne n’a pas supprimé l’ancienne leçon

La recherche actuelle peut utiliser embeddings, neural rerankers, grands modèles de langage et représentations sémantiques que Spärck Jones ne pouvait pas avoir en 1972.

Mais les systèmes modernes font toujours face au même problème fondamental.

Quels signaux contiennent réellement de l’information ?

Lesquels ne sont qu’un bruit fréquent ?

Quelle correspondance mérite plus de poids ?

Dans la retrieval-augmented generation, la recherche hybride combine souvent récupération sémantique et méthodes lexicales parce que des termes rares et exacts peuvent contenir une information que les embeddings estompent.

Un code produit.

Un nom de famille.

Une référence juridique.

Un message d’erreur.

La rareté compte encore.

Sa carrière se situait à la frontière du langage et de l’informatique

Spärck Jones commença ses recherches en traitement automatique du langage à la fin des années 1950 au Cambridge Language Research Unit.

Sa thèse explorait synonymie et classification sémantique.

Elle devint ensuite une figure majeure du natural language processing et de l’information retrieval.

Cette combinaison compte.

Elle ne traitait le langage ni comme pure théorie linguistique ni comme simples nombres.

Elle demandait constamment ce que l’évidence statistique pouvait révéler sur le sens, la pertinence et la recherche utile.

La question paraît contemporaine parce que l’IA moderne en pose encore des versions.

Il existe une leçon plus large sur le signal

IDF est une idée technique, mais son intuition se transpose bien.

Une information n’a pas de valeur seulement parce qu’elle apparaît souvent.

Parfois, la fréquence rend un signal moins utile.

Si tous les candidats disent être « travailleurs », la phrase distingue peu.

Si tous les dashboards d’entreprise sont verts, le vert ne distingue plus les systèmes sains des systèmes malades.

Si tous les produits se disent « AI-powered », l’étiquette n’apporte presque plus d’information.

Le détail inhabituel contient souvent plus de signal que le slogan répété.

Bien classer, c’est décider ce qui mérite du poids

Les moteurs de recherche ne se contentent pas de collecter des correspondances.

Ils les classent.

Cela signifie que tout système de retrieval contient une théorie — explicite ou cachée — sur les preuves qui méritent le plus de poids.

Spärck Jones a rendu précise une partie de cette théorie il y a plus de cinquante ans.

Une correspondance peut compter en partie parce que le terme n’est pas partout.

L’idée est modeste mathématiquement et puissante conceptuellement.

Elle constitue aussi un rappel utile dans une époque d’abondance informationnelle.

Lorsque tout est disponible, le problème n’est plus de trouver de l’information.

Il est de décider quelle information est vraiment distinctive.

Que classez-vous aujourd’hui par fréquence alors que la rareté pourrait être un meilleur signal ?

Sources

• University of Cambridge Computer Laboratory — Karen Spärck Jones
• University of Cambridge — Karen Spärck Jones, 1935–2007
• Karen Spärck Jones (1972) — A Statistical Interpretation of Term Specificity and Its Application in Retrieval
• University of Cambridge — CV et publications
• University of Cambridge — page de recherche archivée
• Image à la une — Karen Spärck Jones, photo Markus Kuhn, CC BY 2.5 via Wikimedia Commons. Recadrée en 16:9.