Validation scientifique

Ce volet porte sur l’analyse des propriétés psychométriques (validité) des cinq facteurs ODASE en termes de cohérence interne. La cohérence interne indique à quel point les items d’un test mesurent la même dimension. Un coefficient de consistance interne élevé indique que les items du test sont similaires dans leur contenu (c’est-à-dire homogènes).

La validité interne est liée aux études effectuées pendant la construction du test (analyse factorielle par résultats du test par rapport à ce qu’il prédit).

Description de la recherche

Au total, 149 personnes ont complété le questionnaire ODASE. La majorité des sujets se trouve entre 26 et 55 ans avec une légère surreprésentation des femmes (55% femmes et 45% hommes).

En termes de scolarisation, les deux tiers des participants ont un diplôme universitaire, le tiers restant ont une certification collégiale ou une formation de niveau secondaire.

Les catégories d’emploi ainsi que les secteurs d’activité proviennent du codage des variables originales : Professionnels, Gestionnaires, Employés de petites entreprises ou de grandes organisations, Organismes communautaires.

L’échantillon était formé surtout de Professionnels et de Gestionnaires.

Déroulement de l’étude

 Les personnes participantes ont complété le questionnaire sur une plateforme électronique sécurisée qui leur permettait de remplir sous forme auto-rapportée tous les items du questionnaire en deux séances. En moyenne, le temps de passation total variait entre 45 minutes et une heure. Les participants pouvaient poser des questions au webmestre lorsque nécessaire mais autrement la passation est individuelle. L’équipe de recherche transmettait aux participants un rapport détaillé contenant une interprétation des résultats obtenus par ces derniers. L’ensemble de l’opération de cueillette s’est effectué sur une période de six mois entre octobre 2023 et avril 2024.

Indices de cohérence interne (alpha de Cronbach)

L’alpha de Cronbach est un coefficient associé à la fiabilité d’un instrument de mesure en psychologie. C’est un indicateur de la cohérence ou de la stabilité des mesures lorsqu’un processus de mesure est répété (Prieto et Delgado, 2010).                 Une valeur psychométrique qui permet d’analyser la cohérence des résultats en mesurant la même chose dans des conditions très similaires.

Résultats du questionnaire ODASE (n=149)

 Généralement, une valeur comprise entre 0,60 et 0,70 est considérée satisfaisante. Une valeur se situant entre 0,70 et 0,80 est considérée bonne, une valeur se situant entre 0,80 et 0,90 est considérée très bonne et une valeur se situant au-delà de 0,90 est considérée excellente.

Dans l’ensemble, les résultats vont de satisfaisant à très bons pour les cinq facteurs ODASE.

Coefficients de corrélation test-retest du questionnaire ODASE (n=9)

 Au chapitre de la constance de la mesure, les coefficients de corrélation obtenus sont très élevés. Ceci signifie que les réponses données aux deux temps de mesure sont fortement associées.

Les échelles des cinq facteurs présentent donc une très bonne stabilité temporelle.

Validité de contenu

L’examen de la validité de contenu est préalable à toute démarche de construction d’outil psychométrique. Bien que toujours associée à la validité de construit, la validité de contenu permet de s’assurer que les items choisis pour constituer l’échelle  a) appartiennent bien à l’univers du concept mesuré et, b) sont en nombre suffisant pour bien couvrir le concept.

Dans le cadre de cette étude, la validité de contenu a été estimée à l’aide d’un panel de trois experts en évaluation psychométrique. Ces experts ont pris connaissance de la définition de chaque facteur ODASE et ils devaient individuellement déterminer à quel facteur chaque item semblait théoriquement être associé. La mise en commun des réponses des experts résulte en un pourcentage d’accord pour chaque item. Voici les pourcentages moyens d’accord pour les 15 items de chaque facteur :

Compte tenu du nombre d’experts et du nombre d’items impliqués, les pourcentages d’accord sont somme toute élevés, ce qui suggère une validité de contenu acceptable.

Les items ayant reçu moins de 40 % d’accord ont été revus et remplacés par d’autres items plus clairement associés avec leur facteur d’appartenance.

Validité théorique

La validité théorique est souvent définie comme synonyme de validité de construit. Bien qu’elle fasse forcément partie de la validité de construit, la validité théorique fait ici référence à la mesure avec laquelle les échelles ODAS se comportent entre elles de la manière annoncée par la théorie du modèle. Pour déterminer dans quelle mesure les lettres se comportent tel qu’attendu ou non, nous allons examiner la matrice de corrélation obtenue en croisant les scores des cinq facteurs.

Dans le tableau des corrélations Pearson:

• Entre 1 à .3 = corrélation petite

• Entre .3 à .5 = corrélation moyenne

• Entre .6 et .7 = corrélation forte

• On souhaite des corrélations faibles (sous la barre de .600) car plus les corrélations sont élevées, plus les facteurs mesurent la même chose.

Les Sig (2-tailed du tableau) sont une mesure de l’écart-type de la quantité de variation ou de dispersion d'un ensemble de valeurs. Les valeurs analysées sont associées aux cinq facteurs ODASE. Les écarts-types du tableau se situent à plus petit que ,001. Cela signifie que les résultats ne sont pas dus au hasard. C’est le cas du tableau en entier pour les Sigma.

L’interprétation des coefficients doit tenir compte de : a) l’importante puissance statistique du devis qui rend significatif les corrélations de faible magnitude et, b) la méthode de choix forcé qui limite les variations des échelles et augmente artificiellement le nombre de corrélations négatives.