Stima dei costi di un esperimento di apprendimento automatico

Il modello è la parte più semplice. Il vero lavoro sta nei dati.

Un esperimento di ML è un’attività di ricerca che prevede una componente ingegneristica. L’architettura del modello è solitamente una scelta predefinita e l’addestramento segue uno schema ben noto. Il lavoro si svolge a monte: ottenere dati di addestramento puliti, definire la metrica di valutazione da cui dipenderà il successo o il fallimento del team, costruire la pipeline che porta il modello dal notebook alla produzione. Il primo 80% dell’esperimento riguarda il lavoro sui dati; l’ultimo 20% riguarda il modello.

Stimare un esperimento di ML utilizzando il set di caratteristiche comporta lo stesso rischio che si corre nel prevedere un picco di ricerca: non si sa cosa si troverà. La stima deve rappresentare un budget per l’esperimento, non una previsione del risultato. Se il risultato è «il modello non funziona», si tratta comunque di un esperimento riuscito che ha esaurito il budget; il team non può fingere che tale esito renda errate le conclusioni.

Ciò che viene detto nella stanza

Ingegnere ML: «L’addestramento dura un giorno. Il modello è standard.»

Introduzione: “Da dove provengono i dati di addestramento?”

Dati: “Dobbiamo innanzitutto etichettare circa 5.000 esempi.”

PM: «Quale parametro ci indica che l’esperimento ha avuto esito positivo?»

SRE: “Se funziona, quali sarebbero le modalità di distribuzione? Qual è la latenza di inferenza? E i costi?”

Domande da porsi prima di votare

• I dati di addestramento sono già pronti, oppure l’assegnazione delle etichette fa parte di questo processo?
• Qual è il parametro di valutazione e qual è il valore di riferimento da superare?
• Si tratta di un esperimento che coinvolge esclusivamente il notebook, oppure di un processo end-to-end che include anche il percorso di distribuzione?
• Qual è il periodo di tempo previsto e qual è il risultato atteso al termine di tale periodo?
• Se il modello funziona, qual è il percorso verso la produzione, e rientra nell’ambito del progetto?
• Costi di addestramento e inferenza: il team dispone del budget necessario?

Se sono in gioco sia l’etichettatura che un percorso di distribuzione, non si tratta di un unico progetto: suddivida il lavoro sui dati, la fase di sperimentazione e la messa in produzione, e valuti ciascuno di essi in base alla sua effettiva natura.

Stabilite il budget per l’esperimento, non cercate di prevedere il risultato. Un modello che fallisce è comunque un risultato per il quale si è pagato.

Proprio come nel caso della stima di un picco di ricerca e della stima di un prototipo, il risultato finale è innanzitutto la conoscenza. Si consultino gli altri esempi di stima già elaborati oppure si avvii una sessione gratuita di Planning Poker una volta che l’esperimento abbia prodotto i propri risultati.