Définir des indicateurs et mesurer son impact

Document en construction

Ce document n'est pas encore finalisé. Vous pouvez faire vos retours à l'équipe de coordination.

Pourquoi mesurer son impact

Les défis ont une durée initiale de vie courte : quelques mois tout au plus. Durant ce temps, il est nécessaire de savoir à quels problèmes on s'attaque et comment on peut quantifier les améliorations amenées par le défi et son impact, notamment pour assurer la continuité des projets initiés.

En définissant des indicateurs à suivre, on assure une vision commune des problématiques à résoudre. Si ces indicateurs atteignent les objectifs fixés, c'est un argument à faire valoir pour que les projets continuent.

Étapes à suivre pour définir vos indicateurs

Afin de définir vos indicateurs, nous vous recommandons de suivre un processus en plusieurs étapes détaillé ci-après. Ces étapes sont les suivantes :

  1. Établir une description claire de votre défi
  2. Définir les apports de votre défi
  3. Imaginer des hypothèses à partir des apports
  4. Décider ce que vous allez mesurer à partir de ces hypothèses
  5. Trouver comment mesurer vos indicateurs

Déterminez vos indicateurs à partir d'une description claire de votre défi

Des indicateurs pertinents doivent refléter si votre défi est une réussite. Il est nécessaire de commencer par bien définir l'objectif de votre défi.

Vous devez prendre en considération :

  • les besoins utilisateurs que vous cherchez à résoudre
  • les changements que votre défi est censé produire : réductions de la fraude ou de dépenses, impacts sur les métiers pour qui les outils sont produits, etc.

Essayez de décrire l'objectif de votre défi en une seule phrase.

GOV.UK Pay va permettre à l'administration de recevoir des paiements plus facilement et plus efficacement, permettant un gain de temps et d'efforts pour les différentes équipes.

Définir les apports de votre défi

Décrivez ce que votre défi va permettre de réaliser. Ces apports doivent contribuer au fait que votre défi remplit ses objectifs. Utilisez les besoins utilisateurs pour définir ces apports.

Exemple :

  • Besoin : en tant que citoyen à l'étranger, j'ai besoin d'argent pour financer des soins médicaux rapidement.
  • Apport de la solution : rendre plus facile et rapide l'accès à des soins médicaux à l'étranger en accélérant la procédure pour obtenir des financements.

Imaginer des hypothèses à partir des apports

Articuler comment ce que vous allez réaliser va permettre d'apporter quelque chose et pourquoi :

Faire / changer [quelque chose] ... va [bénéfice] ... parce que [hypothèse/logique/stratégie]

Essayez de dégager les apports principaux de votre défi. Ceci permettra de déduire des indicateurs pertinents.

Par exemple :

Si nous mettons à disposition un formulaire en ligne, ceci accélérera le processus de demande car les formulaires en ligne sont plus rapides que les formulaires papier.

Ces hypothèses permettront de prendre de meilleures décisions car il est possible de mesurer les effets d'un choix que vous avez fait.

Décider ce que vous allez mesurer à partir des hypothèses

Vos hypothèses devraient vous guider sur ce qu'il est possible et pertinent de mesurer. Au début de votre projet, il n'est pas nécessaire de savoir exactement comment vous allez mesurer vos indicateurs mais vous devez savoir ce que chaque indicateur signifie.

Par exemple :

Nous allons mesurer combien de temps prend un utilisateur pour effectuer sa démarche en utilisant notre formulaire en ligne.

Trouver comment mesurer ses indicateurs

Après avoir choisi ce que vous allez mesurer, il est nécessaire de savoir comment réellement mesurer vos indicateurs. Vous pouvez vous reposer sur :

  • des outils de mesure d'audience
  • des questionnaires de satisfaction
  • des performances de votre produit
  • des informations de support usager
  • des éléments financiers
  • des retours utilisateurs obtenus directement

Ne vous reposez pas que sur des outils numériques. Idéalement vous devez vous appuyer sur plusieurs sources, par exemple des bases de données, des entretiens utilisateurs et des éléments financiers.

Avoir plusieurs thématiques d'indicateurs

Nous vous recommandons d'avoir des indicateurs divers et variés, s'articulant autour de plusieurs thématiques.

  • La politique publique rattachée à votre défi : diminution de la fraude, économie réalisée, amélioration de la prise en charge
  • La performance de votre produit : taux de complétion, rapidité d'utilisation, satisfaction des usagers
  • La transformation numérique de votre administration : formations organisées, nombre d'agents utilisateurs de vos solutions
  • L'ouverture de votre défi : publication d'articles, de codes sources, de données, de modèles

Au début de votre défi, des indicateurs ont été définis dans le cadre du conventionnement PIA. Vous pouvez réutiliser ou vous inspirer de ces indicateurs.

Collecter des témoignages

Mesurer des indicateurs permet d'une certaine façon de mesurer l'impact de son travail. En complément, nous recommandons de lier ces indicateurs à des retours qualitatifs. Vous pouvez collecter des retours de vos utilisateurs à propos de votre défi, illustrant comment votre travail a changé leur façon de travailler, les missions qu'ils doivent remplir ou comment ils interagissent avec l'administration.

Exemple : défi PrédiSauvetage

Pour illustrer ces consignes, nous prenons comme exemple le défi EIG 2 PrédiSauvetage dont l'objectif était de sauver des vies en mer en prévenant les accidents maritimes.

Nous détaillons les objectifs et indicateurs associés mis en place. Il existe des indicateurs complémentaires, requis par le PIA et communs aux différents défis.

Objectifs Indicateurs
Accroître la connaissance de l’accidentologie en mer Nombre de détenteurs de données ayant rejoint l’observatoire de l’accidentologie de la plaisance à l’issue du programme
Croiser et valoriser des données d'acteurs multiples Nombre de données mises à disposition
Identifier les situations à risque en mer Nombre de réutilisation sur ces données au sein de l’observatoire
Nombre de situations à risque nouvelles détectées
Cibler les messages et médias en matière de prévention Nombre de campagnes de prévention
Indice de satisfaction utilisateurs
Nombre de sollicitations de la presse, de particuliers, de communes ou de ports demandant les infos produites par l’algorithme ou sollicitant l'observatoire

Sources et ressources