Méthodologies de réplication et conduite expérimentale

Les Biais : Sources Externes de Variation Menacant la Validité Interne

Chaque méthodologie de recherche, qu'il s'agisse de quasi-expérimentation ou d'expérimentation, présente des limites inhérentes aux conclusions que l'on peut tirer de ses résultats. Ces limites se manifestent souvent sous forme de biais potentiels, qui peuvent affecter la validité des conclusions. D'où l'importance cruciale de la réplication des études.

Accumulation et Consensus Scientifique

Le processus scientifique repose sur l'accumulation de preuves et l'atteinte d'un consensus. Après une première expérience originale, les résultats sont analysés pour tester des hypothèses, qu'elles soient posées a priori (recherche confirmatoire) ou a posteriori (recherche exploratoire).

La hiérarchie de la preuve scientifique peut être représentée comme suit :

• Revue systématique, méta-analyses et méta-analyses de réplications

• Expérimentations sans limites statistiques

• Expérimentations avec limites statistiques (par exemple, faible puissance)

• Études corrélationnelles et quasi-expérimentations (randomisation incomplète)

• Présomption scientifique

Si les résultats supportent les hypothèses, la question suivante est : "Et ensuite ?"

Théorie de Réplication Conceptuelle

La réplication est un pilier de la science. Elle permet de vérifier la robustesse et la généralisabilité des résultats.

Typologie des Réplications (Hüffmeier, Mazel & Schultze, 2016)

Réplication Exacte

Une réplication exacte est une reproduction de l'expérience originale en tous points. Son objectif est d'éliminer les faux positifs (erreur de type I) qui pourraient être dus à une faible puissance statistique de l'étude initiale (échantillon trop faible par rapport à la taille d'effet recherchée).

En cas d'échec répété : Si les réplications exactes échouent de manière répétée, cela suggère que les effets observés dans l'expérience précédente étaient probablement dus à un faux positif. L'hypothèse ou la théorie sous-jacente est alors discréditée.

Réplication Proche

Une réplication proche est similaire à une réplication exacte, mais elle est menée par une autre équipe de recherche. Cela introduit inévitablement de légères variations dans la procédure. Elle vise à éliminer les faux positifs, les effets liés aux expérimentateurs ou les biais procéduraux insuffisamment formalisés.

En cas d'échec répété : Des échecs répétés de réplications proches indiquent que les effets précédents étaient potentiellement dus à un faux positif ou à un biais expérimentateur. L'hypothèse ou la théorie est alors discréditée, comme dans le cas de la réplication exacte.

Réplication Constructive

La réplication constructive inclut des éléments identiques à l'étude originale, mais introduit également des variations. Ces variations ont pour but de déterminer les conditions essentielles ou limites à l'émergence d'un effet, ou d'exclure des variables confondues.

Exemple : Études sur la soumission à l'autorité (Burger, 2009)

• Objectif : Identifier les conditions limites du phénomène de soumission à l'autorité.

• Procédure identique : Modalités de recrutement, durée des passations.

• Variations préliminaires :

  • Élimination des participants connaissant les recherches sur la soumission.

  • Exclusion des participants avec troubles psychologiques, problèmes d'abus de substance, ou trop grande sensibilité au stress.

  • Assurance d'une représentation équivalente hommes/femmes.

• Procédure expérimentale :

  • Rôles : Expérimentateur, participant "enseignant", compère "apprenant".

  • Tâche : Administrer des chocs électriques au compère pour renforcer l'apprentissage.

  • Mesure : Moment où le participant arrête d'administrer les chocs.

  • VI 1 : Intensité des chocs électriques (intra-sujets : sous 150V vs. au-dessus de 150V).

  • VI 2 (variation) : Pression normative à refuser d'administrer les chocs (inter-sujets : présente vs. absente).

    • Condition 1 : Expérimentateur incite le participant.

    • Condition 2 : Un second compère refuse de donner des chocs.

Conclusions de la réplication constructive (Burger, 2009) :

• Les variations préliminaires ont permis d'éliminer des variables potentiellement confondues (troubles de personnalité, sexe des participants).

• L'introduction de la VI 2 a permis d'identifier une éventuelle condition limite (l'exposition à un modèle normatif de refus). Dans cet exemple, les participants se sont soumis même en présence d'un modèle normatif, ce qui signifie que l'expérimentation n'a pas pu démontrer l'impact de cette variable.

En cas d'échec répété : Si des réplications constructives échouent de manière répétée, cela indique que les effets ne sont observables que dans des conditions très spécifiques. L'hypothèse ou la théorie doit alors être révisée.

Réplication Conceptuelle de Laboratoire

Cette réplication vise à reproduire les aspects théoriquement pertinents de l'étude originale en utilisant des manipulations et des mesures alternatives. L'objectif est de démontrer que les effets ne dépendent pas de la méthodologie spécifique utilisée et ne sont pas des artefacts de laboratoire.

Exemple : Rôle du faible effort de pensée sur le conservatisme politique (Eidelman et al., 2012)

• Hypothèse théorique : Le conservatisme politique est favorisé par un mode de pensée de moindre effort.

• Étude 1 : Manipulation de la charge cognitive (double tâche vs. tâche simple) pendant un questionnaire d'attitudes politiques.

• Étude 2 : Manipulation de la pression temporelle pendant une tâche informatique avant le questionnaire d'attitudes politiques.

Un pattern d'interaction similaire émerge dans les deux études, suggérant que l'effet est indépendant de la manipulation expérimentale spécifique, et n'est donc pas un artefact de laboratoire.

En cas d'échec répété : Si les réplications conceptuelles de laboratoire échouent, cela indique que les effets observés étaient des artefacts de laboratoire ou que la théorie sous-jacente est incorrecte. La théorie doit être révisée ou abandonnée.

Réplication Conceptuelle de Terrain

Cette forme de réplication évalue la pertinence des résultats sur le terrain et identifie les limites dues à la situation de laboratoire. L'objectif est de vérifier que l'effet se manifeste dans une situation écologique où la standardisation est moindre. Cela permet d'évaluer la pertinence du phénomène en situation réelle, en vue de proposer des interventions ou utilisations futures.

En cas d'échec répété : Si les réplications conceptuelles de terrain échouent, cela signifie que les effets observés en laboratoire ne sont pas généralisables au monde réel. La théorie est alors conservée mais son applicabilité est limitée au contexte de laboratoire.

Synthèse des Réplications

L'ensemble de ces processus de réplication est souvent nécessaire pour établir la confiance en un fait scientifique.

Planifier et Conduire une Expérimentation

Étape 1 : Les Caractéristiques d'une Hypothèse Opérationnelle

Une expérimentation vise à tester une hypothèse. Le processus de formulation d'une hypothèse passe de la théorie générale à l'hypothèse opérationnelle.

• Modèle général : Modèle général de l'agression.

• Déduction : La frustration génère de l'agression (hypothèse théorique).

• Vérification (hypothèse opérationnelle) : On s'attend à ce que les personnes empêchées de réaliser une tâche expriment des pensées plus agressives vis-à-vis de l'expérimentateur que les personnes non empêchées.

Rappel : Les Types d'Hypothèse

• Hypothèse théorique : La frustration génère de l'agression.

• Hypothèse opérationnelle : Les personnes empêchées de réaliser une tâche expriment des pensées plus agressives vis-à-vis de l'expérimentateur que les personnes non empêchées.

• H1 (hypothèse alternative) : La moyenne de la condition "Tâche empêchée" sera significativement supérieure à la moyenne de la condition "Tâche non empêchée".

• H0 (hypothèse nulle) : Les moyennes des deux conditions ne présenteront pas de différences significatives.

Qualités d'une Hypothèse Opérationnelle

• Ce n'est pas une question, mais une affirmation claire.

• Elle fait apparaître la VI (Variable Indépendante) et la VD (Variable Dépendante) ainsi que le sens de l'influence (augmentation ou réduction).

  • Exemple : Les personnes empêchées de réaliser une tâche (VI) expriment des pensées plus agressives (sens de l'influence) vis-à-vis de l'expérimentateur que les personnes non empêchées (VD).

• Elle peut être testée et est réfutable. Le plan expérimental doit permettre à l'hypothèse d'être contredite.

Il est important de noter que l'opérationnalisation d'une hypothèse est toujours imparfaite et ne constitue qu'une des nombreuses possibilités.

Étape 2 : Le Plan Expérimental de Base

Un plan expérimental de base doit respecter trois principes fondamentaux :

1. La VI précède la VD dans le temps.

2. Une variation (VI) intervient entre une modalité et son absence (ou une seconde modalité).

   • Exemple : Pour tester l'hypothèse "Le fait de visionner des médias violents augmente les comportements agressifs".

     • Mauvaise opérationnalisation : Les sujets visionnent un extrait de film réel violent (Die Hard) versus un film non violent (Les Bronzés). (Plus d'une chose varie).

     • Bonne opérationnalisation : Film expérimental identique présentant des actions dont la conclusion est violente versus non violente. (Une seule chose varie).

3. Il y a assignation aléatoire des sujets aux conditions expérimentales. Cela garantit que les groupes sont équivalents au départ, minimisant les biais.

Étape 3 : Construire les Variables Indépendantes et Contrôles

Principe de Base : "Toute Chose Égale Par Ailleurs"

L'objectif est de ne faire varier que la VI afin d'attribuer les variations de la VD à cette seule VI. Cela est assuré par l'aléatorisation et la standardisation.

Le défi est de construire une VI qui manipule ce que l'on veut manipuler, et uniquement cela, sans introduire d'autres facteurs. C'est la question de la validité interne.

Variables Indépendantes Provoquées ou Invoquées ?

• Variables invoquées : Caractéristiques préexistantes des participants (ex: sexe, âge, personnalité). Le chercheur observe ces caractéristiques.

• Variables provoquées : Modalités créées par le chercheur, et les participants sont attribués aléatoirement à ces modalités.

Seules les VI provoquées permettent d'affirmer un lien causal.

Exemple 1 : VI humeur +/-

• Invoquée : Sélectionner des sujets en fonction d'un test d'humeur préexistant.

• Provoquée : Induire une humeur positive (stylo entre les dents) ou négative (stylo entre les lèvres).

Exemple 2 : VI estime de soi

• Invoquée : Sélectionner des sujets en fonction d'un test d'estime de soi.

• Provoquée : Faire passer un faux test et donner un faux feedback positif ou négatif pour manipuler l'estime de soi.

Validité Interne des VI Provoquées

La question centrale est : "Est-ce qu'on manipule bien ce qu'on veut manipuler et uniquement cela ?"

• Recouvrement conceptuel : L'opérationnalisation doit manipuler suffisamment le concept théorique. D'où la nécessité de réplications conceptuelles.

• Absence de manipulation d'autres facteurs : L'opérationnalisation ne doit pas manipuler d'autres facteurs susceptibles d'influencer la VD.

  • Exemple : Manipuler le statut social en donnant du pouvoir peut aussi influencer la dominance, ce qui pourrait biaiser les résultats sur les comportements d'aide.

Comment vérifier la validité interne des VI provoquées ?

1. Prétest des manipulations (étude préliminaire) :

   • Objectif : Vérifier que les manipulations affectent le construit visé et n'affectent pas d'autres construits.

   • Exemple : Après avoir fait tenir un stylo entre les dents/lèvres, mesurer les émotions auto-rapportées pour confirmer l'induction de l'humeur.

   • Avantages : Permet de bien calibrer les manipulations.

   • Inconvénients : Coûteux en temps et en participants.

2. Vérification de la manipulation (intégrée à l'expérimentation) :

   • Mesure effectuée juste après la manipulation pour s'assurer de son efficacité.

   • Avantages : Évite le coût d'un prétest séparé.

   • Inconvénients : Peut renforcer la manipulation ou susciter la suspicion des participants.

Variables Inter-Sujets ou Intra-Sujets ?

• Plans intra-sujets (mesures répétées) : Chaque participant est exposé à toutes les modalités de la VI.

  • Avantages : Moins de problèmes d'aléatorisation, nécessite moins de participants pour une même puissance statistique. Chaque participant est son propre contrôle.

  • Inconvénients :

    • Biais d'histoire rétroactive (événements externes entre les mesures).

    • Biais de maturation (évolution naturelle des participants).

    • Biais d'ordre et de transport (l'ordre des modalités influence les réponses).

    • Biais dus à la clairvoyance (les participants devinent l'objectif).

    • Ne sont pas toujours réalisables (ex: si la manipulation est irréversible).

  • Solution pour les biais d'ordre et de transport : le contrebalancement (alterner l'ordre de présentation des modalités).

  • Solution pour les biais d'histoire rétroactive et de maturation : l'ajout d'une VI inter-sujet (groupe contrôle) pour capter l'évolution naturelle.

• Plans inter-sujets : Chaque participant est exposé à une seule modalité de la VI.

  • Avantages : Évite les biais liés aux plans intra-sujets.

  • Inconvénients : Nécessite plus de participants, peut avoir des problèmes d'équivalence des groupes si l'aléatorisation n'est pas parfaite.

Variables Contrôle (VC)

Une VC est une variable qui peut prendre plusieurs modalités mais dont on ne veut pas tester l'effet. On l'intègre pour contrôler son influence.

• Elle peut être manipulée (ex: contrebalancement de l'ordre des tâches).

• Elle peut être ajoutée à l'analyse des données pour neutraliser statistiquement son influence sur la VD, prenant alors le nom de covariable.

Répartition des sujets dans les modalités de la VC :

• Contrôle par constance : Maintenir une modalité de la VC constante (ex: uniquement des hommes).

• Répartition aléatoire : Répartir aléatoirement les participants dans chaque modalité de la VC.

• Contrôle par répartition systématique : Répartir les participants selon une variation systématique (ex: répartir équitablement les vélos en bon/mauvais état dans les conditions "seul" et "présence d'autrui").

Modalité Contrôle vs Condition Contrôle

• Modalité : Une des formes que peut prendre une VI.

• Condition : La situation dans laquelle se trouve le participant, qui peut être définie par une modalité d'une VI, ou par le croisement de plusieurs modalités de différentes VI.

Opérationnalisation du Groupe ou de la Modalité "Contrôle"

La nature du groupe contrôle dépend de l'hypothèse et influence les conclusions :

• Aucun traitement : Permet de conclure que le traitement est "mieux que rien".

• Traitement placebo : Permet de conclure que le traitement X est "plus efficace qu'un placebo".

• Traitement ordinaire et déjà connu pour son efficacité : Permet de conclure que le traitement X est "plus efficace que le traitement Y habituel".

Plus la modalité "contrôle" est proche de la modalité "traitement", plus les conclusions sont précises. Il est possible de proposer plusieurs groupes/modalités contrôle.

Un groupe contrôle peut aussi servir à obtenir un niveau de base.

• Exemple : Impact de la comparaison sociale sur les comportements agressifs (Muller et al., 2012).

  • VI inter-sujet à 3 modalités : Comparaison sociale descendante (meilleur), Égalité (contrôle), Comparaison sociale ascendante (moins bon).

  • VD : Comportement agressif mesuré par le paradigme de la sauce piquante.

Étape 3 : Construire les Variables Dépendantes (VD)

Typologie des VD

1. Les mesures en auto-report :

   • Déclarations subjectives de comportements, pensées, intentions.

   • Utilisées pour : réponses subjectives, comportements passés non observables.

   • Avantages : Simples, parfois seule option, sensibles, continues, standardisées.

   • Inconvénients :

     • Réactivité : Biais de désirabilité sociale, acquiescement.

     • Mémoire des événements.

     • Ne donnent pas accès aux déterminants du jugement.

   • Comment éviter les inconvénients :

     • Jouer sur le format (questionnaire).

     • Donner l'impression que la VD n'est pas l'objet principal de l'étude.

     • Noyer les questions d'intérêt.

     • Garantir l'anonymat.

2. Les mesures comportementaloïdes et cognitives :

   • Indicateurs indirects de tendances comportementales ou de saillance de concepts.

   • "Proxies" : Indices indirects de comportement (ex: port du préservatif pour la santé).

   • Tâches de complétion de mots : Pour la saillance d'un concept (ex: "co_pe_ _tion").

   • Tâches de mémoire : Pour l'organisation des connaissances (rappel, reconnaissance).

   • Temps de réaction :

     • Ex: Tâche d'association implicite (IAT) (Greenwald et al., 1998). Compare les temps de réponse entre blocs congruents et incongruents pour mesurer des associations implicites (ex: préjugés).

     • Avantages : Mesure des préjugés exempts de biais de désirabilité sociale, mais peut refléter des connaissances culturelles plutôt que des croyances personnelles.

   • Mesures physiologiques :

     • Ex: Dilatation de la pupille, réponses électro-dermales, rythme cardiaque, activité électrique du cerveau, mouvements oculaires, imagerie fonctionnelle.

     • Exemple : Mesure physiologique "Challenge vs Menace" en situation de performance motivée.

       • Challenge : ressources individuelles > demandes de la situation (indices cardiaques + vasculaires -).

       • Menace : ressources individuelles < demandes de la situation (indices cardiaques + vasculaires +).

     • Exemple : Électromyogramme pour mesurer les émotions via l'activation des muscles du visage (zygoma pour positif, corrugateur pour négatif).

3. Les mesures comportementales directes :

   • Temps passé à adopter un comportement, énergie dépensée (ex: rapidité à aider).

   • Nombre de comportements d'un type (ex: réaction au sexisme).

   • Taux d'acceptation ou de refus (ex: signer une pétition).

   • Performances à des épreuves (ex: résolution de problème).

   • Mesures comportementales par observation (codage par des juges).

Plusieurs VD dans une Étude

• Hypothèses causales simples : Une VI influence une VD (ex: Présence d'autrui (VI) Performances (VD)).

• Hypothèses de modération (ou d'interaction) : Une seconde VI (modérateur) influence la relation entre la première VI et la VD (ex: Présence d'autrui (VI 1) et Expertise dans la tâche (VI 2/Modérateur) Performances (VD)).

• Hypothèses de médiation : Une variable intermédiaire (médiateur) explique la relation entre la VI et la VD.

• Hypothèses sur les liens entre mesures :

  • Corrélationnelles : Plus les groupes sont cohésifs, plus ils sont performants.

  • Structurales.

Le Problème de la Mesure : Erreur

Mesure = Concept + Erreur

• Erreur aléatoire : S'annule sur un grand nombre de mesures, mais augmente la variance, diminuant la fiabilité des tests statistiques et augmentant l'erreur de type II (accepter H0 à tort).

• Erreur systématique : Ne s'annule pas, diminue la variance, augmentant la valeur des tests statistiques et augmentant l'erreur de type I (rejeter H0 à tort).

Causes principales d'erreur systématique :

• Biais dans les questions (désirabilité, acquiescement).

• Erreurs de constitution de l'échantillon.

• Erreurs techniques de mesure.

Étape 4 : Le Plan Expérimental

• Plans inter-sujets : Une ou plusieurs VI inter-sujets (plans factoriels à groupes indépendants).

• Plans intra-sujets : Une ou plusieurs VI intra-sujets (plans à mesures répétées).

• Plans mixtes : Combinaison de VI inter-sujets et intra-sujets (ex: plan avant-après avec groupe témoin).

• Plans spéciaux : Plus rares, vus ultérieurement.

Étape 5 : Construire le Scénario

Le scénario expérimental doit :

• Avoir un sens pour le participant.

• Justifier toutes les actions, VI et VD.

• Permettre de manipuler les VI.

• Rester le plus simple possible.

Souvent, il est nécessaire d'affabuler (surtout en psychologie sociale) pour dissimuler les objectifs de l'étude et éviter les biais dus à la clairvoyance des participants. Le scénario doit permettre un enchaînement logique et crédible des manipulations, tâches et mesures.

Exemple : Étude sur les effets de la sévérité d'une initiation sur l'attraction d'un groupe (Aronson & Mills, 1959)

• Contexte : 63 étudiantes croient participer à une étude sur les dynamiques de discussion de groupe sur un thème sexuel.

• VI (sévérité de l'initiation) : Sévère, modérée, pas d'initiation (test pour éliminer les timides, lecture de textes crus).

• Procédure : Les participantes écoutent une discussion de groupe (ennuyeuse, pré-enregistrée) qu'elles sont censées rejoindre.

• VD : Évaluation de l'intérêt de la discussion.

• Hypothèse : Plus l'initiation est sévère, plus les participantes jugeront la discussion intéressante.

Paramètres du scénario :

• 5 paramètres pour justifier l'initiation (VI).

• 1 paramètre pour crédibiliser le scénario et standardiser la discussion.

• 1 paramètre pour éliminer les variables confondues (le groupe rejoint n'a pas subi l'initiation).

Étape 6 : Le Recueil du Consentement et le Débriefing

Recueil du Consentement

Avant l'expérimentation, les participants doivent être informés sur :

• Le projet de recherche, l'identité et l'affiliation des responsables.

• La nature et la durée de la passation, le matériel potentiellement sensible, les risques.

• Le respect de l'anonymat et les mesures prises.

• Les modalités de retrait de l'expérimentation et du consentement.

• La nature, le lieu et la durée du stockage des données.

Certaines informations (ex: hypothèses) ne peuvent être données avant pour éviter les biais, mais un consentement éclairé nécessite une information suffisante.

Le Débriefing

Le débriefing a deux objectifs :

1. Éthique : Informer les participants sur les réels objectifs, s'assurer de leur bien-être, fournir des informations non données avant (hypothèses, contacts pour soutien psychologique). Les procédures sont soumises à un comité d'éthique.

2. Fiabilité de la recherche : S'assurer que les hypothèses n'ont pas été devinées et que le scénario était crédible.

Questions habituelles : "Avez-vous des questions ?", "Le déroulement était-il clair ?", "Quelles ont été vos impressions ?", "Des aspects ont-ils été surprenants/perturbants ?", "Y a-t-il des aspects à modifier ?". Il est crucial de demander aux participants de ne pas révéler le but de l'étude à d'autres.

Mot de la Fin

Les techniques et méthodes utilisées par les psychologues doivent reposer sur des fondements scientifiques. Les modèles théoriques doivent être connus, actualisés et basés sur des démonstrations fiables (consensus scientifique).

Il est essentiel de garder un esprit critique et de ne pas se laisser abuser par des instruments ou modèles présentés comme valides sous prétexte de chiffres, de terminologies savantes ou d'un jargon difficile d'accès.

Extrait du code de déontologie des psychologues :

• Article 23 : La pratique du psychologue ne se réduit pas aux méthodes et aux techniques employées. Elle est indissociable d'une appréciation critique et d'une mise en perspective théorique de ces techniques.

• Article 24 : Les techniques utilisées par le psychologue à des fins d'évaluation, de diagnostic, d'orientation ou de sélection, doivent avoir été scientifiquement validées et sont actualisées.