Estimation d'une expérience d'apprentissage automatique

Le modèle, c’est la partie la plus simple. Ce sont les données qui demandent du travail.

Une expérience en apprentissage automatique (ML) est une activité de recherche associée à des aspects techniques. L’architecture du modèle est généralement choisie parmi des solutions prêtes à l’emploi, et l’entraînement suit un schéma bien établi. Le travail se situe en amont : obtenir des données d’entraînement propres, définir la métrique d’évaluation dont dépendra le succès ou l’échec de l’équipe, et mettre en place le pipeline qui permettra de faire passer le modèle du notebook à la production. Les 80 % premiers de l’expérience consistent en un travail sur les données ; les 20 % restants concernent le modèle.

Estimer le coût d’une expérience d’apprentissage automatique à l’aide du jeu de caractéristiques revient à tomber dans le même piège que celui consistant à estimer le coût d’une piste de recherche : vous ne savez pas ce que vous allez découvrir. L’estimation doit correspondre au budget alloué à l’expérience, et non à une prévision du résultat. Si le résultat est « le modèle ne fonctionne pas », il s’agit tout de même d’une expérience réussie qui a consommé le budget ; l’équipe ne peut pas prétendre que ce résultat invalide les arguments avancés.

Ce qui se dit dans la salle

Ingénieur en apprentissage automatique : « L’entraînement dure une journée. Le modèle est standard. »

Chapeau : « D’où proviennent les données d’entraînement ? »

Données : « Nous devons d’abord étiqueter environ 5 000 exemples. »

PM : « Quel indicateur nous permet de savoir si l’expérience a été couronnée de succès ? »

SRE : « Si cela fonctionne, comment se présenterait la mise en production ? Quelle serait la latence d’inférence ? Quel en serait le coût ? »

Questions qu’il convient de se poser avant de voter

• Les données d’entraînement sont-elles prêtes, ou le processus d’étiquetage fait-il partie de cette démarche ?
• Quel est l’indicateur d’évaluation, et quelle est la référence à dépasser ?
• Une expérience portant uniquement sur le notebook, ou une approche de bout en bout incluant un chemin de service ?
• Quelle est la durée prévue, et quel est le résultat attendu à la fin de cette période ?
• Si le modèle fonctionne, quelle est la marche à suivre pour passer à la production, et cela fait-il partie du périmètre du projet ?
• Coût de l’entraînement et de l’inférence : l’équipe dispose-t-elle du budget nécessaire ?

Si l’étiquetage et le parcours de service sont tous deux en jeu, il ne s’agit pas d’une seule et même démarche : séparer le travail sur les données, l’expérimentation et la mise en production, et évaluer chacun d’entre eux en fonction de ce qu’il représente réellement.

Établissez le budget de l’expérience, ne cherchez pas à prédire le résultat. Un modèle qui échoue reste un résultat pour lequel vous avez payé.

Tout comme l’estimation d’un pic de recherche et l’estimation d’un prototype, le résultat attendu est avant tout une prise de connaissance. Consultez les autres exemples d’estimations concrètes, ou lancez une session gratuite de Planning Poker une fois que l’expérience a produit ses résultats.