La question de la validité et de la fidélité doit être posée avant l’usage de tel ou tel instrument de mesure. Concernant la fidélité, on dit retenir que celle-ci évoque les notions de précision et de constance dans les mesures produites par un instrument . Pour ce faire, l’alpha de Cronbach (α) est souvent présenté comme un incontournable pour mesurer la fidélité d’un instrument de collecte. Il permet de savoir si vous vous approchez ou non d’une mesure précise. Obtenir un indice (α ou autre) n’est pas une révélation divine : il faut le replacer dans une réflexion plus globale sur la validation de votre instrument. Cf. notamment

Indice de fidélité : réussirez-vous à atteindre la cible?
Icônes par Freepik, www.flaticon.com

Pour revenir à notre indice de fidélité et le vulgariser, imaginons que nous souhaitions tester la fidélité d’une échelle sur votre goût pour les agrumes 🍊🍋. L’échelle « Agrume » serait composée d’une série de questions du type « sur une échelle de 1 à 7, appréciez-vous le fruit suivant? ».  On peut s’attendre à ce qu’une personne qui aime les agrumes donne des notes élevées pour chacun des agrumes (citrons, oranges, pamplemousses, etc.) présentés dans la liste. À l’inverse, une personne qui n’aime pas les agrumes accordera certainement des notes plutôt faibles. Bref, que l’on aime ou non les agrumes, on peut prévoir une certaine cohérence dans les notes et alors notre indice de fidélité devrait être proche de 1. Par contre, si l’on intègre d’autres fruits dans notre échelle (des pommes 🍏, des bananes 🍌, des fraises 🍓, etc.), on peut supposer que les notes données pour chacun des fruits varieront davantage (vous pouvez aimer les agrumes et détester les bananes ou encore haïr les agrumes tout en raffolant des fraises). Bref, ces inconsistances vont illustrer les incohérences de notre échelle qui mesure imprécisément notre goût pour les agrumes, puisque l’on mesure aussi le goût pour d’autres fruits. De fait, une échelle avec des fruits obtiendrait possiblement un score de fidélité qui tend à davantage 0 qu’à 1.

La présence du calcul de l’alpha dans l’omniprésent logiciel SPSS contribue probablement à en préserver la popularité. Cependant, comme tout dispositif méthodologique, la fidélité doit faire l’objet d’un regard critique. Et notre alpha n’échappe pas à la règle : à de nombreux égards, l’oméga de McDonald (ω) peut constituer une alternative costaude, ce que la recherche récente semble avoir illustré . Notons à ce stade que ce billet n’a pas vocation à discuter de la performance de l’oméga et encore moins de sa supériorité sur l’alpha. Par contre, la procédure de calcul du premier n’est pas aussi simple que celui du second.

En effet, à la différence de l’alpha, le calcul de l’oméga ne fait pas partie des options incluses dans SPSS. De fait, comment générer celui-ci?

Selon moi, il est en fait important de connaître les possibilités d’une panoplie d’outils pour ne pas être contraint par les limites de celui que l’on aurait sélectionné.

Dans le cas de l’oméga, j’ai évalué trois options :

• Jumeler SPSS et R
• … Découvrir Jasp!

J’ai volontairement mis de côté de l’utilisation seule de R qui, bien qu’extrêmement puissant, s’avère être un outil plutôt aride (utilisation en lignes de commande) pour tout un chacun. Notons cependant que le package psych pour R offre un ensemble complet de solutions (incluant donc notre fameux oméga) pour les analyses psychométriques.

Le jumelage de SPSSⓇ et de R

Statistical Package for the Social Sciences (SPSS) est l’un des logiciels phares pour l’analyse statistique en sciences sociales. Bien que plusieurs alternatives existent (y compris des logiciels libres sous licence GNU/GPL tels que PSPP), il reste un outil puissant, voire incontournable, notamment en raison de son ancienneté : la 1re version du logiciel daterait de 1968. Tel qu’évoqué, SPSS, à ce jour, ne permet pas le calcul de l’oméga, par contre en le couplant à R, cela serait possible. En effet, il est possible d’ajouter des extensions à SPSS pour en accroître les fonctionnalités.

Avant de présenter la méthode de ce jumelage, qu’est-ce que R? R est un langage de programmation, lui aussi destiné aux statistiques et aux sciences (humaines ou non). C’est un logiciel libre distribué sous licence GNU/GPL. Différents environnements graphiques permettent de faciliter le développement sous R (par exemple RStudio, distribué sous licence libre AGPL et sous une licence commerciale).

Un tutoriel complet pour l’installation du paquet UserFriendlyScience pour R dans SPSS vous est proposé par S. Fraser . Le tutoriel propose aussi captures d’écran pour en voir l’utilisation.

Malheureusement, entre les différentes versions des logiciels R, de SPSS et du package UserFriendlyScience pour R, ainsi que l’extension de boîte de dialogue de S. Fraser, la compatibilité des dépendances semble vraiment compliquée surmonter. Bref, je n’ai jamais été en mesure de faire rouler le script.

Découvrir JASP

Au détour de nombreuses lectures, je suis tombé sur le logiciel JASP. JASP est publié sous licence GNU Affero GPL v3, qui est une licence open source garantissant le fait que JASP sera toujours gratuit. Ce point n’est pas anodin lorsque l’on imagine les coûts engagés par la communauté universitaire pour acheter des licences de logiciels tels que SPSS. JASP est installable sous Windows, macOS et Linux. Pour les utilisateurs de ce dernier, des paquets d’installation FlatPak et pour Ubuntu sont disponibles. Une version en ligne a même été mise à disposition (non testée).

JASP dispose d’une interface graphique très intuitive, réellement orientée sur l’utilisateur final. Ainsi, beaucoup de procédures se font par simple glissé-déposé. On y retrouve la plupart des procédures d’analyse quantitative. Attention, son interface est exclusivement en anglais.

Les jeux de données peuvent être importés sous un format CSV (tableau coma separated value) ou SPSS. On peut donc facilement jongler entre SPSS et JASP pour profiter des fonctionnalités de l’un ou de l’autre.

… et, miracle! JASP propose le calcul de l’oméga de McDonald (ω). Voyons comment faire.

Utiliser JASP

Dans l’exemple ci-dessous, j’ai choisi un jeu de données ou je souhaite mesurer la fidélité de l’échelle CriTT_Confia qui comprend plusieurs éléments.

1. La fenêtre se découpe en trois : en haut, le menu ; à gauche, les données ; à droite, les données.
2. D’abord, dans le menu en haut sélectionnons Descriptives > Reliability Analysis (Statistiques descriptives > Analyse de fidélité).
   Vous verrez ici que la fenêtre gauche consacrée aux données a été remplacée par une fenêtre de procédures. C’est ici que nous allons « jouer ».
3. Dans la liste des données éléments disponibles dans l’encart de gauche, sélectionner tous les items qui correspondent à votre échelle (ici tous les éléments numérotés CriTT_Confia_XX).
4. Appuyez sur la petite flèche de telle sorte que les items soient déplacés dans l’encart de droite.
5. En dessous, sélectionnez Scale Statistics (Statistiques d’échelles) et cliquez sur le bouton radio McDonald’s ω (et éventuellement Cronbach’s α si vous voulez les comparer).

Et voilà! Aussitôt, les données apparaissent en temps réel dans la colonne de droite.

Il ne vous reste plus qu’à analyser les résultats! 🤷‍♂️

À lire aussi:

Scénario « Révision parlementaire » La carte «PACiFiE» des stratégies du déni scientifique Buts et objectifs d’apprentissage de la métalittératie : proposition d’un traduction en français Regards sur l’originalité du corpus francophone de référentiels de compétence informationnelle : un essai d’analyse textuelle des tendances PSPP, JASP et Jamovi : des alternatives accessibles à SPSS et SAS