Estimation d'une expérience d'apprentissage automatique

Le modèle, c’est la partie la plus simple. Ce sont les données qui demandent le plus de travail.

Une expérience en apprentissage automatique (ML) est un travail de recherche associé à des aspects d’ingénierie. L’architecture du modèle est généralement choisie parmi des solutions prêtes à l’emploi, et l’entraînement suit un schéma bien connu. Le travail se situe en amont : obtenir des données d’entraînement propres, définir la métrique d’évaluation qui déterminera le succès ou l’échec de l’équipe, et mettre en place le pipeline permettant de faire passer le modèle du notebook à la production. Les 80 % premiers de l’expérience sont consacrés au traitement des données ; les 20 % restants concernent le modèle.

Estimer le coût d’une expérience d’apprentissage automatique à l’aide d’un ensemble de caractéristiques revient à tomber dans le même piège que celui de l’estimation d’un pic de recherche : vous ne savez pas ce que vous allez découvrir. L’estimation doit correspondre à un budget alloué à l’expérience, et non à une prévision du résultat. Si le résultat est « le modèle ne fonctionne pas », il s’agit tout de même d’une expérience réussie qui a consommé le budget ; l’équipe ne peut pas prétendre que ce résultat invalide les arguments avancés.

Ce qui se dit dans la salle

Ingénieur en apprentissage automatique : « L’entraînement dure une journée. Le modèle est standard. »

Chapeau : « D’où proviennent les données d’entraînement ? »

Données : « Nous devons d’abord annoter environ 5 000 exemples. »

PM : « Quel indicateur nous permet de déterminer si l’expérience a été couronnée de succès ? »

SRE : « Si cela fonctionne, quelles seraient les modalités de mise en production ? Quelle serait la latence d’inférence ? Quel serait le coût ? »

Questions qu’il convient de se poser avant de voter

Les données d’entraînement sont-elles prêtes, ou le processus d’étiquetage fait-il partie de cette étape ?
Quel est l’indicateur d’évaluation, et quelle est la référence à dépasser ?
Une expérience portant uniquement sur le notebook, ou une approche de bout en bout incluant un chemin de mise en service ?
Quelle est la durée prévue, et quel est le résultat attendu à la fin de cette période ?
Si le modèle fonctionne, quelle est la marche à suivre pour passer à la production — et cela entre-t-il dans le cadre du projet ?
Coût de l’apprentissage et de l’inférence — l’équipe dispose-t-elle du budget nécessaire ?

Si l’étiquetage et le parcours de service sont tous deux en jeu, il ne s’agit pas d’une seule et même histoire — séparer le travail sur les données, l’expérimentation et la mise en production, et évaluer chacun d’entre eux en fonction de ce qu’il est réellement.

Établissez le budget de l’expérience, ne cherchez pas à prédire le résultat. Un modèle qui échoue reste un résultat pour lequel vous avez payé.

Tout comme l’estimation d’un pic de recherche et l’estimation d’un prototype, le résultat attendu est avant tout l’acquisition de connaissances. Consultez les autres exemples d’estimations concrets, ou lancez une session gratuite de Planning Poker une fois que l’expérience a produit ses résultats.