Vie, définition et documentation d’une métrique : savoir de quoi on parle et optimiser leur mise en œuvre
Dans nos articles précédents sur la définition du modèle métrologique, sur la modélisation de la performance et sur la construction de tableaux de bord, l’atome de base est la métrique.
Nous vous proposons, dans cet article, de faire un zoom sur cet atome et de vous donner les clés de sa maîtrise.
Aucun projet décisionnel, de business intelligence, de data science n’échappe à un travail de rétro-engineering d’une part des données et métriques mises en œuvre.
Soit cela n’a jamais été fait, soit cela n’a jamais été capitalisé, soit chacun à sa définition non partagée, soit cela a été confié à des personnes qui ont quitté l’entreprise (interne et externe).
A minima, tout nouveau projet a besoin de cette définition et donc de réaliser ce travail.
La suite de l’article propose quelques éléments clés extraits du procédé publié dans le cadre de l’open method Praxeme : https://www.praxeme.org/download/documenter-metrique/
Comment décrire une métrique : sa fiche d’identité
Trois volets sont à considérer
- Le volet conceptuel de la documentation d’une métrique, dans lequel on va trouver :
- La désignation et la définition de la métrique,
- L’origine (l’objet auquel elle se rapporte : un processus, une activité, un objet métier : client, produit, contrat…) et son positionnement (domaine d’application),
- La motivation de la métrique et les contraintes applicables : son rapport avec un élément d’intention (orientation stratégique, réglementation) et la sensibilité des données, leur confidentialité (que l’on peut retrouver dans une politique de la données),
- La composition de la métrique : en général la formule de calcul, les règles de gestion qui la définissent,
- L’unité et le domaine de valeur (dont les choix de seuillage et de discrétisation),
- Le partitionnement de la métrique : les dimensions sur lesquelles la métrique peut être projetée dont le temps, l’organisation, des nomenclatures métier,
- Et enfin les hypothèses de corrélation : les facteurs d’influence de la métrique.
2. Le Volet contextuel de la documentation d’une métrique, dans lequel on va trouver principalement comment on obtient la métrique et à quel coût : comment l’organisation s’y prend elle pour relever les mesures ? Quelle solution, plus au moins automatique, permet de recueillir et de conserver les mesures ? Peut-on obtenir facilement les variables statistiques associées à la métrique (minimum et maximum, moyenne et médiane, écart type, distribution…) ?
3. Le volet contractuel de la documentation d’une métrique (en général l’un des gros points faibles)
- Statut de la documentation, niveau de validité (jusqu’à l’idée de labélisation d’une métrique à l’échelle de l’entreprise),
- Son niveau d’utilisation au travers de tableaux de bord par exemple,
- Les retours qualités de son exploitation (fiabilité, précision, régularité…),
- Et qui en est responsable (sa gouvernance).
Comment procéder pour définir une métrique ?
Le guide ou procédé que nous avons produit, propose 7 étapes à réaliser séquentiellement et/ou en parallèle.
Etape 1 : Définir la métrique (formellement),
Etape 2 : Justifier la métrique (par rapport à des exigences, une intention stratégique),
Etape 3 : Relier la métrique avec d’autres métriques (par composition, par groupe, comme éclairage contextuel),
Etape 4 : Formuler les hypothèses de corrélation pour préparer l’interprétation des mesures : par exemple, une décision sur des moyens ou sur une transformation d’un côté, et son effet supposé sur la performance de l’autre,
Etape 5 : Détailler les caractéristiques de la métrique : indiquer l’unité de mesure, prescrire le domaine de valeur, partitionner la métrique sur des dimensions d’analyse, prescrire les variétés statistiques (valeurs extrêmes, règles de distribution), étudier la temporalité de la métrique (les échelles de temps que l’on peut appliquer),
Etape 6 : Préciser les modalités d’obtention : indiquer les sources des informations, décrire les actions à mener pour obtenir l’information, estimer le coût de la mesure, tirer les conséquences de la solution (limites d’une solution technique, d’un capteur dans la relève des mesures par exemple). Pour cette étape il est possible de s’appuyer sur la production formalisée d’un lineage (voir procédé correspondant),
Etape 7 : Administrer la métrique (traitement du volet contractuel décrit précédemment).
Jusqu’où aller dans la définition d’une métrique ?
Une métrique est neutre. La métrique existe indépendamment d’un objectif à atteindre. Lorsqu’un objectif est associé à une métrique elle devient un indicateur qui est la réponse à cet objectif, à une intention.
On ne décrit pas non plus les différentes façons de la représenter visuellement. Cet effort relève de la définition de rapports, de tableaux de bord qui suivant le contexte adopterons une forme visuelle de représentation différente pour une même métrique.
Pour conclure et aller plus loin : la bataille des chiffres commence par savoir de quoi on parle, même si documenter est parfois un travail fastidieux, il est indispensable. Le procédé documenter une métrique vous guidera dans cet effort.