La vitesse est-elle un indicateur utile ? Notre avis

Oui au sein de l’équipe, néfaste en dehors de celle-ci. La vélocité est un indicateur de prévision sur lequel l’équipe s’appuie pour orienter son travail ; dès lors qu’elle devient un objectif ou un critère de comparaison entre équipes, elle prend des proportions démesurées et perd tout son sens. DORA l’a délibérément exclue des indicateurs de livraison.

Presque tous les participants au débat s’accordent à dire que la « vitesse » ne devrait jamais quitter l’équipe, et pourtant, presque toutes les organisations la laissent partir malgré tout. C’est précisément cet écart qui est au cœur du débat. Cet indicateur est véritablement utile pour une fonction, mais s’avère systématiquement néfaste pour les autres ; le verdict doit donc être nuancé.

Les arguments en faveur de l’utilité de la vitesse

Au sein de l’équipe, la vélocité est un outil concret. Elle vous permet de faire des prévisions : divisez le périmètre restant par la moyenne récente de l’équipe et vous obtiendrez un nombre approximatif de sprints nécessaires à la livraison. Elle vous permet de définir un sprint réaliste : sélectionnez des stories jusqu’à ce que leur volume total représente environ 80 à 90 % de la moyenne récente, en laissant une marge pour les imprévus. Et elle signale les changements réels : une baisse de 30 % est un signal qui mérite une discussion, et non une accusation.

La motivation des dirigeants qui sous-tend l’utilisation de la vélocité comme indicateur est également légitime, et mérite d’être exposée de manière impartiale. Les dirigeants sont responsables de la livraison et souhaitent en avoir une bonne visibilité. « Si nous ne pouvons pas évaluer l’équipe d’une manière ou d’une autre, comment savoir si elle tient ses engagements ? » est une question raisonnable, et non pas une réplique digne d’un méchant. Le problème ne réside pas dans cette volonté. Il réside dans le fait que la vélocité n’est pas l’instrument approprié pour y parvenir.

Pourquoi la vitesse serait un piège

Orientez la vélocité vers l’extérieur et elle évolue de manière prévisible. Fixez-la comme objectif (« augmenter la vélocité de 20 % ce trimestre ») et l’équipe s’y conforme, en surévaluant le volume d’un même travail plutôt qu’en en accomplissant davantage. Transformez quelques « trois » en « cinq » et le chiffre grimpe sans augmentation réelle du rendement. C’est la loi de Goodhart qui s’applique sur un cycle de deux semaines, et ce n’est pas une hypothèse : même Mike Cohn, le principal défenseur des points d’histoire, admet que la moindre indication laissant entendre que les vitesses seront comparées entraîne une inflation progressive mais constante des points.

La comparaison entre équipes est encore pire, car elle semble rigoureuse alors qu’elle n’a aucun sens. Deux équipes évaluant le même backlog aboutissent à des chiffres différents, car elles se calibrent par rapport à des stories de référence différentes, ce qui est justement l’essence même de l’estimation relative. Le calcul d’une moyenne ou l’établissement d’un classement fausse l’étalonnage des deux équipes au profit d’un tableau de bord. Le signe révélateur qu’une organisation se trompe sur ce point est lorsqu’un cadre supérieur doit personnellement protéger ses équipes contre l’utilisation de la vélocité comme indicateur clé de performance (KPI), une solution qui ne fonctionne que tant que cette personne occupe ce poste.

Dans quels cas nous changerions d’avis

Nous n’aurions aucune réserve à l’égard d’une équipe qui utiliserait la vélocité uniquement à des fins de prévision et de planification, et qui ne la divulguerait jamais à l’extérieur. Utilisée de cette manière, elle ne constitue en aucun cas un piège. Il s’agit simplement de calculs que l’équipe effectue pour son propre compte.

Nous y renoncerions complètement dans deux cas. Premièrement, si le travail est suffisamment uniforme pour que le comptage des prévisions de stories ainsi que l’addition des points, alors la vélocité constitue une charge supplémentaire, et le débit est plus simple et plus difficile à manipuler. Deuxièmement, si l’organisation ne parvient pas à s’empêcher de se servir de ce chiffre comme d’une arme. Lorsque la spirale est culturellement ancrée et qu’aucun individu ne peut la freiner, la solution la plus honnête consiste à cesser de produire le chiffre qui fait l’objet d’abus et à opter pour des indicateurs de flux qui ne le sont pas.

L’aspect pratique

• La vélocité mesure le rythme, et non la productivité. Dites-le à voix haute dans la salle dès que quelqu’un l’interprète pour la première fois comme un indicateur de rendement.
• Ne comparez jamais les équipes, n’en faites jamais un objectif, ne le convertissez jamais en nombre d’heures prévues par développeur. Il s’agit dans chaque cas de la même erreur, sous une forme différente.
• Rendez compte des résultats, et non du nombre de points. Les quatre principes clés de DORA, la fréquence de déploiement, le délai de mise en œuvre des modifications, le taux d’échec des modifications et le délai de rétablissement : ces indicateurs permettent de mesurer la performance sans encourager les manœuvres abusives et, contrairement aux points, ils ont la même signification d’une équipe à l’autre. C’est là l’ensemble d’indicateurs que la direction souhaite réellement.
• Ne réévaluez pas le backlog lorsque l’équipe accélère le rythme. Les stories n’ont pas diminué en taille. C’est l’équipe qui est devenue plus rapide, et le chiffre de la vélocité augmentera de lui-même. Réévaluer le backlog pour maintenir la vélocité à un niveau constant revient à faire tourner le cliquet à l’envers, ce qui fausse les prévisions de la même manière.

La vélocité sert à guider l’équipe, et non à permettre aux responsables de l’utiliser comme critère d’évaluation. Si vous la gardez au sein de l’équipe, c’est l’un des indicateurs les plus utiles de la méthode agile. Si vous la divulguez à l’extérieur, elle devient l’exemple le plus flagrant de mode de défaillance du pouvoir qui soit.

Foire aux questions

La vitesse est-elle un indicateur de productivité ?

Non. La vélocité mesure le rythme, et non la productivité : elle indique le nombre de points d’histoire qu’une équipe donnée réalise par sprint, selon son propre calibrage. Elle ne permet pas de déterminer si le travail était utile, et n’a jamais été conçue à cette fin. C’est précisément pour cette raison que les recherches de DORA excluent délibérément la vélocité de ses indicateurs de livraison.

Pouvez-vous comparer la vitesse entre les équipes ?

Non. Deux équipes évaluant le même travail obtiennent des chiffres de vélocité différents car elles utilisent des « stories » de référence différentes, ce qui est justement l’intérêt de l’estimation relative. Les comparer revient à comparer deux thermomètres dont les points zéro ne coïncident pas. Mike Cohn, qui défend l’utilisation des points de story, reconnaît que la moindre suggestion de comparaison des vélocités entraîne systématiquement une inflation des points.

Que devrions-nous communiquer à la direction à la place de la vélocité ?

Rendez compte des résultats, et non du nombre de points. Les quatre indicateurs clés de DORA (fréquence de déploiement, délai de mise en œuvre des modifications, taux d’échec des modifications et délai de rétablissement du service) mesurent la performance de manière à ne pas inciter à la manipulation des chiffres et sont comparables d’une équipe à l’autre. La vélocité reste au sein de l’équipe en tant qu’élément de planification ; ce sont les quatre indicateurs clés que la direction doit réellement surveiller.

Lectures complémentaires

• La vélocité : à quoi sert-elle et comment la calculer : ses principes, et pourquoi elle perd tout son sens dès lors qu’elle devient une cible.
• Points d’histoire vs #NoEstimates : la bataille en amont : quelle est la valeur d’un chiffre avant qu’il ne devienne une prévision ?
• Points de scénario vs heures : pourquoi la conversion de l’un ou de l’autre en heures recrée le problème que la vélocité est censée résoudre.
• Qu’est-ce qu’un graphique « burndown » ? : suivi des points engagés au cours d’un sprint, une utilisation fidèle de ce chiffre.
• Le théâtre agile : le mode « panne d’électricité » : comment des indicateurs tels que la vélocité se transforment en instruments de contrôle.