Stima dei costi di un esperimento di apprendimento

Il modello è la parte più semplice. Il vero lavoro sta nei dati.

Un esperimento di ML è un’attività di ricerca che prevede una componente ingegneristica. L’architettura del modello è solitamente una scelta predefinita, mentre l’addestramento segue uno schema ben noto. Il lavoro si svolge a monte: ottenere dati di addestramento puliti, definire la metrica di valutazione da cui dipenderà il successo o il fallimento del team, costruire la pipeline che porta il modello dal notebook alla produzione. L’80% iniziale dell’esperimento è dedicato alla gestione dei dati; il restante 20% riguarda il modello.

Stimare un esperimento di ML utilizzando il set di caratteristiche comporta lo stesso rischio che si corre nel valutare un picco di ricerca: non si sa cosa si troverà. La stima deve rappresentare un budget per l’esperimento, non una previsione del risultato. Se il risultato è «il modello non funziona», si tratta comunque di un esperimento riuscito che ha esaurito il budget; il team non può fingere che tale esito renda errate le ipotesi di partenza.

Ciò che viene detto nella stanza

Ingegnere ML: «L’addestramento dura un giorno. Il modello è standard.»

Titolo: “Da dove provengono i dati di addestramento?”

Dati: “Dobbiamo prima etichettare circa 5.000 esempi.”

PM: «Quale parametro ci indica che l’esperimento ha avuto esito positivo?»

SRE: “Se funziona, come si presenta la distribuzione? Qual è la latenza di inferenza? E il costo?”

Domande che vale la pena porsi prima di votare

I dati di addestramento sono già pronti, oppure l’assegnazione delle etichette fa parte di questo processo?
Qual è il parametro di valutazione e qual è il valore di riferimento da superare?
Si tratta di un esperimento limitato al notebook o di un approccio end-to-end che include anche il percorso di distribuzione?
Qual è il periodo di tempo previsto e qual è il risultato atteso al termine di tale periodo?
Se il modello funziona, qual è il percorso verso la produzione — e rientra nell’ambito del progetto?
Costi di addestramento e inferenza: il team dispone del budget necessario?

Se sono coinvolti sia l’etichettatura che un percorso di distribuzione, non si tratta di un’unica storia: separare il lavoro sui dati, l’esperimento e la messa in produzione, e valutare ciascuno di essi in base a ciò che effettivamente è.

Stabilite il budget per l’esperimento, non cercate di prevedere il risultato. Un modello che fallisce è comunque un risultato per il quale si è pagato.

Come nel caso della stima di un picco di ricerca e della stima di un prototipo, il risultato finale è innanzitutto la conoscenza. Si consultino gli altri esempi di stime già elaborati, oppure si avvii una sessione gratuita di Planning Poker una volta che l’esperimento abbia prodotto i propri risultati.