Une analyse statistique utile commence avant le premier calcul. Elle part d’une question assez précise pour définir qui l’on veut décrire, ce que l’on mesure, à quelle période et dans quel but. Demander si « les Français dorment assez » reste ambigu : quelle tranche d’âge, quelle définition du sommeil suffisant, quelle mesure et quelle saison ? Une formulation précise pourrait viser la durée moyenne déclarée chez les adultes vivant en France pendant les jours travaillés. Ce cadrage détermine les données nécessaires et les conclusions autorisées.

La population est l’ensemble auquel on souhaite généraliser. L’échantillon est la partie réellement observée. Une étude menée auprès d’étudiants volontaires peut décrire ces répondants sans représenter tous les adultes. La taille ne corrige pas une sélection inadéquate : dix mille réponses recueillies sur un site spécialisé peuvent rester biaisées. Il faut examiner comment les personnes ont été contactées, qui pouvait répondre et qui manque. La représentativité vient du mécanisme d’échantillonnage et de la participation, pas seulement du nombre.

Une variable traduit un aspect du monde en donnée. Sa définition opérationnelle est essentielle. La douleur peut être une note déclarée, la consommation un achat enregistré, et la réussite un score ou un diplôme. Ces mesures ne sont pas interchangeables. Une catégorie codée par un nombre ne devient pas automatiquement quantitative : attribuer 1, 2 et 3 à des couleurs ne permet pas de calculer une moyenne de couleur. L’unité, l’échelle, le protocole et les valeurs possibles doivent être annoncés avant l’analyse.

Une question estimative vise une grandeur inconnue : moyenne, proportion, différence ou association. Elle se distingue d’une question causale, qui demande ce qui se passerait sous une intervention. Observer que les personnes actives déclarent une meilleure santé ne suffit pas à estimer l’effet de leur imposer une activité. Le plan d’étude doit correspondre à la question. Une enquête décrit ; un essai randomisé peut mieux isoler un effet ; une cohorte suit une évolution. Aucun calcul sophistiqué ne transforme après coup un mauvais plan en expérience idéale.

Le protocole peut être résumé avant la collecte dans un petit contrat : population cible, critère principal, comparaison, durée et analyse prévue. Cette discipline réduit la tentation de chercher ensuite parmi de nombreux résultats celui qui paraît intéressant. Elle ne bloque pas l’exploration, mais distingue ce qui était prévu de ce qui a été découvert après avoir vu les données. Poser la bonne question rend l’analyse plus courte, plus transparente et souvent plus informative que l’accumulation de variables sans objectif.

Une liste de nombres devient compréhensible lorsqu’on examine sa distribution : valeurs fréquentes, dispersion, asymétrie, groupes et observations atypiques. Le graphique vient avant le résumé unique. Deux populations peuvent avoir la même moyenne tout en présentant des formes complètement différentes. Une classe où tous obtiennent 10 et une autre partagée entre 5 et 15 ont la même moyenne mais pas la même homogénéité. Histogramme, boîte à moustaches ou nuage de points répondent à des questions différentes et doivent conserver axes et unités lisibles.

La moyenne additionne les valeurs puis divise par leur nombre. Elle utilise toute l’information mais réagit fortement aux extrêmes. La médiane partage les observations ordonnées en deux moitiés et résiste mieux à quelques valeurs très élevées. Pour des revenus asymétriques, elle décrit souvent mieux la situation typique. Aucun indicateur n’est supérieur dans tous les cas. Le choix dépend de la question et de la forme ; annoncer moyenne et médiane ensemble peut révéler une asymétrie que l’une seule aurait masquée.

La dispersion indique à quel point les valeurs diffèrent. L’étendue dépend seulement des extrêmes ; l’intervalle interquartile décrit la moitié centrale. L’écart-type mesure la dispersion autour de la moyenne dans la même unité que la variable. Il ne représente ni l’erreur de mesure ni l’incertitude sur la moyenne. Une distribution très asymétrique ou composée de groupes rend son interprétation moins intuitive. Un résumé de position devrait donc être accompagné d’un résumé de dispersion et, si possible, d’une visualisation.

Une valeur atypique mérite une enquête, pas une suppression automatique. Elle peut venir d’une erreur de saisie, d’un appareil défectueux ou d’un cas réel important. La décision doit utiliser une règle documentée et vérifier son influence. Supprimer les valeurs uniquement parce qu’elles gênent le résultat fabrique une conclusion artificielle. Une analyse de sensibilité présente parfois le calcul avec et sans le cas en expliquant pourquoi. L’observation extrême peut aussi révéler une sous-population ou une limite du protocole.

La description doit toujours conserver les dénominateurs. Dire que 20 personnes ont répondu oui n’a pas le même sens sur 25 ou sur 2 000 répondants. Un pourcentage sur un très petit groupe peut varier fortement. Les données manquantes doivent aussi être visibles : si les non-répondants diffèrent, calculer seulement parmi les réponses peut déplacer le résultat. Décrire honnêtement consiste à montrer ce qui a été observé, ce qui manque et ce que le résumé laisse de côté.

Un échantillonnage aléatoire donne aux unités une probabilité connue d’être sélectionnées. Il permet de relier l’échantillon à la population et d’estimer la variabilité due au tirage. Aléatoire ne signifie pas improvisé : tirer des personnes dans un annuaire incomplet exclut déjà celles qui n’y figurent pas. Des plans stratifiés assurent la présence de groupes importants, tandis que des grappes facilitent la collecte. Les pondérations corrigent certaines probabilités de sélection, mais elles ne recréent pas des informations jamais recueillies.

Le biais de sélection apparaît lorsque l’inclusion est liée à la caractéristique étudiée. Un sondage volontaire sur la satisfaction attire souvent les personnes très satisfaites ou très mécontentes. Ajouter des milliers de volontaires rend l’estimation plus précise pour cette population sélectionnée, pas plus juste pour tout le monde. La question essentielle est : par quel mécanisme une personne entre-t-elle dans les données ? Une différence de participation entre groupes peut nécessiter des relances, une pondération et surtout une discussion des limites.

La non-réponse produit un problème similaire. Si les personnes absentes ressemblent aux répondants sur le sujet, l’effet peut être faible. Si elles diffèrent, le résultat est déformé. Comparer les caractéristiques connues, varier les modes de contact et raccourcir le questionnaire aide. Imputer des valeurs manquantes exige des hypothèses ; supprimer toutes les lignes incomplètes suppose implicitement qu’elles ne diffèrent pas de façon importante. Aucune méthode ne remplace une collecte conçue pour limiter le manque.

Le biais de mesure vient de l’instrument ou du contexte. Une balance décalée produit une erreur systématique même avec un excellent échantillon. Une question orientée, une période de rappel trop longue ou la crainte d’être jugé modifient les réponses. La précision — obtenir des mesures proches — ne garantit pas la justesse — être proche de la valeur recherchée. Tester le questionnaire, standardiser les conditions et utiliser des outils validés réduisent ces erreurs, sans les faire disparaître entièrement.

Sélection et mesure peuvent agir ensemble. Une application de santé recrute des utilisateurs équipés et mesure parfaitement leurs pas : elle décrit peut-être très bien ce groupe, mais pas les personnes sans smartphone. La qualité d’une étude ne se résume donc pas à son effectif ou à la sophistication du capteur. Il faut suivre la chaîne entière, de la population cible à la donnée analysée, et demander à chaque étape qui est absent, ce qui est mal mesuré et dans quel sens le résultat pourrait être déplacé.

Deux échantillons tirés selon le même protocole ne donnent pas exactement la même moyenne ou proportion. Cette variabilité d’échantillonnage n’est pas une erreur évitable : elle vient du fait que l’on observe une partie de la population. Plus l’effectif augmente, plus les estimations tendent à se concentrer, toutes choses égales. Un grand effectif réduit l’aléa du tirage mais ne corrige ni une sélection biaisée ni une mauvaise définition. La précision statistique et la validité du protocole sont deux dimensions séparées.

L’erreur standard décrit la variabilité attendue d’un estimateur entre échantillons. Elle ne doit pas être confondue avec l’écart-type des individus. L’écart-type répond à la question « à quel point les personnes diffèrent-elles ? » ; l’erreur standard répond à « à quel point l’estimation changerait-elle si l’on répétait l’échantillonnage ? ». Une population très variable peut tout de même produire une moyenne précise si l’effectif est suffisant. Présenter clairement ces deux quantités évite de faire paraître une population artificiellement homogène.

Un intervalle de confiance rassemble les valeurs compatibles avec les données selon une procédure et des hypothèses. Dans l’interprétation fréquentiste habituelle, le niveau de 95 % concerne la performance de la méthode répétée : sur de nombreuses études, environ 95 % des intervalles construits ainsi couvriraient la vraie valeur. Il ne signifie pas que 95 % des individus se trouvent dans la plage. Sa largeur reflète l’effectif, la variabilité et le niveau choisi, mais pas toutes les sources d’erreur.

Un intervalle étroit autour d’une valeur biaisée reste trompeur. Les calculs supposent un plan, une indépendance et parfois une forme de distribution. Les erreurs de mesure, les données manquantes et les analyses choisies après coup ne sont pas automatiquement incluses. L’incertitude statistique visible ne représente donc qu’une partie de l’incertitude totale. Une conclusion honnête associe l’intervalle aux limites méthodologiques et évite de convertir ses bornes en frontières absolues entre possible et impossible.

Comparer deux résultats exige leurs incertitudes et une estimation directe de la différence. Le fait qu’un groupe soit significatif et l’autre non ne prouve pas que les groupes diffèrent. De même, deux intervalles qui se chevauchent peuvent correspondre à une différence détectable selon le plan. Il faut calculer la comparaison pertinente. Dans une communication grand public, une estimation centrale accompagnée d’une plage et d’une phrase sur le protocole donne une image plus fidèle qu’un chiffre isolé avec plusieurs décimales.

Un test part d’une hypothèse nulle qui décrit un modèle de référence, souvent l’absence d’une différence précise. Il demande si les données observées seraient inhabituelles sous ce modèle et sous les hypothèses du test. Il ne calcule pas directement la probabilité que l’hypothèse soit vraie. Cette distinction est essentielle : les probabilités portent sur les données conditionnellement au modèle, pas sur la vérité du modèle conditionnellement aux données. Le résultat doit être accompagné de l’effet estimé et de son incertitude.

La valeur p est la probabilité, si l’hypothèse nulle et les autres hypothèses sont respectées, d’obtenir un résultat au moins aussi extrême. Une valeur p de 0,03 ne signifie ni 3 % de chances que le résultat soit dû au hasard, ni 97 % de chances que l’hypothèse alternative soit vraie. Elle indique une certaine incompatibilité avec le modèle de référence. Son sens dépend du test choisi, de la qualité des données et du fait que l’analyse ait été décidée avant ou après observation.

Le seuil de 0,05 est une convention, pas une loi naturelle. Deux études avec p = 0,049 et p = 0,051 apportent presque la même information, même si une étiquette binaire les sépare. Une décision peut nécessiter un seuil, mais l’interprétation scientifique doit conserver la continuité des preuves. La taille de l’effet, l’intervalle, la plausibilité, les coûts d’erreur et les résultats antérieurs comptent. Un très grand échantillon peut rendre détectable une différence minuscule sans importance pratique.

La puissance est la probabilité de détecter un effet défini lorsqu’il existe, compte tenu du protocole. Elle dépend de l’effectif, de la variabilité, du seuil et de l’effet recherché. Une étude peu puissante peut ne pas détecter un bénéfice réel ; un résultat non significatif ne prouve donc pas automatiquement l’absence d’effet. À l’inverse, calculer une puissance après avoir vu la valeur p apporte peu. La planification doit préciser l’effet minimal pertinent et prévoir assez d’observations avant la collecte.

Les erreurs de type I et II correspondent respectivement à une alerte injustifiée et à un effet manqué dans un cadre défini. Leur coût dépend du contexte. Un dépistage, une alarme industrielle et une étude exploratoire n’acceptent pas les mêmes compromis. Réduire l’une peut augmenter l’autre. Plutôt que chercher un test qui décide mécaniquement, il faut relier le seuil à la décision, annoncer les conséquences possibles et prévoir la réplication.

La taille d’effet décrit l’ampleur d’une différence ou d’une association. Elle peut être exprimée dans l’unité réelle — minutes gagnées, points de pression artérielle — ou sous forme standardisée. L’unité concrète facilite souvent la décision. Une différence détectable n’est pas nécessairement utile ; inversement, un effet potentiellement important mais imprécis mérite peut-être une étude plus grande. La taille d’effet doit donc être présentée avec son intervalle et comparée à un seuil de pertinence défini avant de regarder les résultats.

Le risque absolu indique la fréquence d’un événement dans chaque groupe. Si un événement passe de 1 % à 2 %, le risque relatif double, mais l’augmentation absolue est d’un point. Les deux descriptions sont mathématiquement correctes et répondent à des questions différentes. Présenter seulement la variation relative peut dramatiser un risque rare ; présenter seulement l’absolu peut minimiser un effet important à l’échelle d’une population. Les dénominateurs, la période et le risque initial doivent toujours accompagner le chiffre.

Le nombre nécessaire à traiter ou à exposer traduit parfois la différence absolue en nombre de personnes concernées pour obtenir ou provoquer un événement supplémentaire. Il dépend du risque de base et de la durée. Ce résumé ne doit pas masquer la diversité des bénéfices, des dommages et des préférences. Un traitement peut apporter un petit bénéfice moyen mais être précieux pour un sous-groupe, ou produire des effets indésirables qui changent l’arbitrage. La statistique informe la décision sans la remplacer.

La pertinence pratique inclut coûts, faisabilité, qualité de vie et alternatives. Une amélioration moyenne peut cacher des réponses hétérogènes, mais une analyse de sous-groupes doit être prévue et suffisamment étayée. Chercher après coup le seul groupe favorable multiplie les découvertes fortuites. Les résultats centrés sur un biomarqueur ou un score intermédiaire doivent également être reliés à ce qui compte réellement pour les personnes. Modifier un indicateur ne garantit pas un bénéfice ressenti ou une réduction d’événements.

Une communication équilibrée peut suivre quatre étapes : donner les risques absolus dans chaque groupe, la différence et son incertitude, le risque relatif si utile, puis les bénéfices et dommages sur la même période. Cette structure empêche les nombres spectaculaires de flotter sans contexte. Elle permet aussi de distinguer « aucune preuve d’effet » d’« effet suffisamment petit pour être considéré négligeable », conclusion qui nécessite un intervalle précis autour d’un seuil pertinent.

Une corrélation indique que deux variables varient ensemble. Elle ne choisit pas entre plusieurs histoires : A influence B, B influence A, un facteur C influence les deux, la sélection crée la relation ou le hasard l’a produite. Une corrélation n’est donc pas inutile ; elle décrit un motif et peut soutenir une prédiction. Mais passer à une recommandation causale exige un plan et des hypothèses supplémentaires. Plus l’affirmation est forte, plus il faut examiner les autres explications possibles.

Un facteur de confusion est associé à l’exposition et au résultat, sans être une simple conséquence de l’exposition, et déforme leur relation. L’âge peut par exemple être lié à un comportement et à une maladie. Comparer des groupes semblables, stratifier ou ajuster dans un modèle limite certains confondants mesurés. La randomisation les équilibre en moyenne, y compris ceux que l’on n’a pas identifiés. Aucun ajustement observationnel ne garantit cependant que toutes les différences pertinentes ont été correctement mesurées.

La régression décrit la relation moyenne entre une variable résultat et une ou plusieurs variables explicatives. Les coefficients dépendent de l’échelle, des variables incluses et de la forme supposée. Ajouter une variable peut corriger un confondant, mais aussi introduire un biais si elle est une conséquence de l’exposition ou un point de sélection. Un modèle ajusté n’est pas automatiquement causal. Le choix des variables devrait venir d’un raisonnement sur le mécanisme, pas d’une procédure automatique cherchant seulement le meilleur score.

Prédire et expliquer causalement sont deux objectifs différents. Un modèle météorologique peut prédire sans isoler une intervention ; un code postal peut améliorer une prédiction tout en étant inapproprié pour décider d’un droit. Une excellente précision ne dit pas ce qui se passerait si l’on modifiait une variable. Pour une décision, il faut aussi évaluer les erreurs, les sous-groupes, la stabilité dans le temps et les conséquences de l’usage. La performance technique appartient à un système social et opérationnel.

Les critères de causalité viennent d’un faisceau : temporalité, force et cohérence de l’association, relation dose-réponse, mécanisme plausible, expériences et réplications. Aucun critère isolé n’est une preuve universelle. Les essais randomisés sont puissants mais peuvent être impossibles, courts ou peu généralisables. Les études observationnelles bien conçues complètent le tableau. La conclusion la plus solide naît de méthodes différentes dont les faiblesses ne conduisent pas toutes au même faux résultat.

La première étape consiste à retrouver la source et la population. Un pourcentage sans dénominateur, période ou définition ne peut pas être interprété. Il faut demander qui a collecté les données, selon quelle méthode et si le résultat était prévu. Un communiqué peut sélectionner une phrase favorable dans un rapport plus nuancé. Revenir au tableau ou à l’étude permet de vérifier l’estimation, l’incertitude et les limites. L’autorité de l’auteur ne dispense pas de lire le protocole.

La multiplicité apparaît lorsque de nombreuses variables, sous-groupes et modèles sont testés. Même sans effet réel, certains résultats franchiront un seuil par hasard. Préenregistrement, correction des seuils et distinction entre exploration et confirmation réduisent le problème. Si seule l’analyse favorable est publiée, la littérature devient plus convaincante que l’ensemble des essais réalisés. Un résultat inattendu peut être important, mais il doit être présenté comme une découverte à confirmer, pas comme une preuve prévue depuis le départ.

La reproductibilité peut signifier retrouver le calcul avec les mêmes données et le même code, puis répéter l’étude sur de nouvelles données. La première détecte des erreurs d’analyse ; la seconde évalue la stabilité du phénomène. Une réplication différente ne supprime pas mécaniquement l’étude initiale : elle modifie le bilan des preuves et invite à examiner populations, méthodes et incertitude. Partager définitions, décisions et code rend ce travail possible et limite les résultats dépendants d’options invisibles.

Un graphique peut tromper par un axe tronqué, des surfaces disproportionnées, une échelle logarithmique non signalée ou une sélection de dates. Commencer l’axe à une valeur élevée amplifie visuellement une petite différence ; le commencer à zéro peut au contraire écraser une variation importante selon le contexte. La bonne visualisation annonce son unité, conserve des proportions cohérentes et montre l’incertitude si nécessaire. Il faut aussi chercher ce qui manque : groupe témoin, données brutes, effectifs ou valeurs extrêmes.

Une grille finale tient en six questions : quelle est la question, qui a été observé, comment la variable a-t-elle été mesurée, quelle est l’ampleur avec son incertitude, quelles autres explications existent et le résultat a-t-il été reproduit ? Si l’une manque, la conclusion doit être réduite. L’esprit critique statistique ne consiste pas à rejeter tous les chiffres. Il consiste à proportionner la confiance à la chaîne de preuve et à dire clairement ce que les données permettent — et ne permettent pas — d’affirmer.