Au-delà du nombre de téléchargements
Les indicateurs d'utilisation comme les téléchargements, les pages vues et les inscriptions montrent la portée, pas le bénéfice. Ils vous disent combien de personnes sont arrivées jusqu'à un outil, mais rien sur le fait de savoir si quelqu'un s'en est mieux porté pour l'avoir utilisé.
Il est facile de confondre l'un avec l'autre. Une courbe d'utilisateurs qui grimpe a l'allure d'un succès, et c'est le genre de chiffre simple à recueillir et facile à présenter, ce qui explique en partie pourquoi il tend à dominer la discussion.
Mais la portée et le bénéfice peuvent se dissocier. Un outil peut être populaire et laisser tout de même les gens tout aussi démunis face à leur problème, si les visiteurs arrivent, se perdent ou se laissent distraire, puis repartent sans avoir franchi d'étape utile.
Le risque est que les efforts se dirigent vers ce qui fait bouger les chiffres visibles, même lorsque ces chiffres ne suivent pas ce qui compte vraiment. Mesurer la portée est correct, à condition de ne pas le confondre avec le fait de mesurer si l'outil aide réellement.
Quoi mesurer
De meilleures mesures portent sur les résultats et l'expérience plutôt que sur le trafic. Les questions qui comptent sont de savoir si l'utilisateur a compris la prochaine étape, accompli la tâche, économisé du temps ou du stress, posé le geste qu'il devait poser, et eu le sentiment que la démarche était équitable.
Ces mesures déplacent l'attention de l'outil vers la personne. Une page vue indique que le document a été consulté; comprendre la prochaine étape et accomplir la tâche indique que le document a rempli son rôle. Le temps ou le stress économisé, et le geste effectivement posé, montrent si l'outil a changé la situation réelle de la personne.
Le sentiment que la démarche était équitable compte aussi. Une personne peut techniquement accomplir une tâche et en ressortir tout de même avec l'impression d'avoir été ignorée ou désorientée, et un outil censé élargir l'accès devrait se soucier de cette expérience, et pas seulement du résultat mécanique.
Ces mesures n'apparaissent pas d'elles-mêmes. Elles exigent une évaluation délibérée, pas seulement des statistiques, ce qui veut dire interroger les utilisateurs, observer comment ils s'en tirent et faire un suivi, plutôt que de simplement regarder les tableaux de bord se remplir de comptes de trafic.
Le déficit d'évaluation
L'évaluation rigoureuse des outils d'accès à la justice demeure rare. Bien des outils sont lancés avec de bonnes intentions et des chiffres d'utilisation raisonnables, mais sans démonstration claire et fondée sur des données quant à savoir s'ils améliorent réellement les résultats pour les personnes qu'ils sont censés servir.
Des cadres pointent pourtant dans l'autre direction. Le cadre de l'OCDE axé sur les personnes fait de la planification fondée sur des données probantes un pilier central, traitant les données sur les besoins des gens et sur ce qui fonctionne comme une donnée essentielle à la conception des services de justice, et non comme une considération secondaire.
Certains acteurs investissent en conséquence. Des laboratoires comme celui de Stanford investissent dans la recherche utilisateur et l'évaluation des systèmes, en étudiant la façon dont de vraies personnes interagissent avec les outils et si le système qui les entoure tient ses promesses, un modèle dont le milieu a besoin davantage.
Combler le déficit relève en partie de la culture et des ressources. L'évaluation demande du temps et des efforts qui peuvent sembler détourner de la construction, mais sans elle le milieu ne peut distinguer les outils qui aident vraiment de ceux qui ne font qu'avoir l'air affairés, et c'est cette connaissance qui permet de reproduire le bon travail et d'améliorer le travail faible.
Ce que ceci est et n'est pas
Il s'agit de matériel de recherche et éducatif sur la mesure de l'impact des outils d'accès à la justice. C'est de l'information juridique générale, pas un conseil juridique, et cela ne décrit le dossier de personne en particulier.