Estimation d'une expérience d'apprentissage automatique

Le modèle, c’est la partie la plus facile. Ce sont les données qui demandent du travail.

Une expérience en apprentissage automatique (ML) est un travail de recherche associé à des aspects d’ingénierie. L’architecture du modèle est généralement choisie parmi des solutions prêtes à l’emploi, et l’entraînement suit un schéma bien établi. Le travail se situe en amont : obtenir des données d’entraînement propres, définir la métrique d’évaluation dont dépendra le succès ou l’échec de l’équipe, et mettre en place le pipeline permettant de faire passer le modèle du notebook à la production. Les 80 % premiers de l’expérience consistent en un travail sur les données ; les 20 % restants concernent le modèle.

Estimer le coût d’une expérience d’apprentissage automatique à l’aide d’un ensemble de caractéristiques revient à tomber dans le même piège que celui de l’estimation d’un pic de recherche : vous ne savez pas ce que vous allez découvrir. L’estimation doit correspondre au budget alloué à l’expérience, et non à une prévision du résultat. Si le résultat est « le modèle ne fonctionne pas », il s’agit tout de même d’une expérience réussie qui a consommé le budget ; l’équipe ne peut pas prétendre que ce résultat invalide les arguments avancés.

Ce qui se dit dans la salle

Ingénieur en apprentissage automatique : « L’entraînement dure une journée. Le modèle est standard. »

Chapeau : « D’où proviennent les données d’entraînement ? »

Données : « Nous devons d’abord annoter environ 5 000 exemples. »

PM : « Quel indicateur nous permet de déterminer que l’expérience a été un succès ? »

SRE : « Si cela fonctionne, quelles seraient les modalités de mise en service ? Quelle serait la latence d’inférence ? Quel serait le coût ? »

Questions qu’il convient de se poser avant de voter

• Les données d’entraînement sont-elles prêtes, ou le marquage fait-il partie du processus ?
• Quel est l’indicateur d’évaluation, et quelle est la référence à dépasser ?
• Une expérience portant uniquement sur le notebook, ou une approche de bout en bout incluant un chemin de service ?
• Quelle est la durée prévue, et quel est le résultat attendu à la fin de cette période ?
• Si le modèle fonctionne, quel est le processus de mise en production, et cela fait-il partie du périmètre du projet ?
• Coût de l’entraînement et de l’inférence : l’équipe dispose-t-elle du budget nécessaire ?

Si l’étiquetage et la mise à disposition des données sont tous deux concernés, il ne s’agit pas d’un seul et même projet : séparez le traitement des données, l’expérimentation et la mise en production, et adaptez la portée de chacun en fonction de sa nature réelle.

Établissez le budget de l’expérience, ne cherchez pas à prédire le résultat. Un modèle qui échoue reste un résultat pour lequel vous avez payé.

Tout comme pour l’estimation d’un pic d’activité de recherche ou d’un prototype, le résultat attendu est avant tout une connaissance. Consultez les autres exemples d’estimation détaillés, ou lancez une session gratuite de « planning poker » une fois que l’expérience aura livré ses résultats.