Stima dei costi di un esperimento di apprendimento automatico

Il modello è la parte più semplice. Il vero lavoro sta nei dati.

Un esperimento di ML è un’attività di ricerca che integra aspetti ingegneristici. L’architettura del modello è solitamente una scelta predefinita, mentre l’addestramento segue uno schema ben noto. Il lavoro si svolge a monte: ottenere dati di addestramento puliti, definire la metrica di valutazione da cui dipenderà il successo o il fallimento del team, costruire la pipeline che porta il modello dal notebook alla produzione. L’80% iniziale dell’esperimento riguarda il trattamento dei dati; il restante 20% riguarda il modello.

Stimare un esperimento di apprendimento automatico utilizzando il set di caratteristiche comporta lo stesso rischio che si corre nel prevedere un picco di ricerca: non si sa cosa si troverà. La stima deve rappresentare un budget per l’esperimento, non una previsione del risultato. Se il risultato è «il modello non funziona», si tratta comunque di un esperimento riuscito che ha esaurito il budget; il team non può fingere che tale esito renda errate le ipotesi di partenza.

Ciò che viene detto nella sala

Ingegnere ML: «L’addestramento dura un giorno. Il modello è standard.»

Introduzione: “Da dove provengono i dati di addestramento?”

Dati: “Dobbiamo innanzitutto etichettare circa 5.000 esempi.”

PM: «Quale parametro ci indica che l’esperimento ha avuto esito positivo?»

SRE: “Se funziona, quali sarebbero le modalità di implementazione? Quale sarebbe la latenza di inferenza? E il costo?”

Domande da porsi prima di votare

• I dati di addestramento sono già pronti, oppure l’assegnazione delle etichette fa parte di questo processo?
• Qual è il parametro di valutazione e qual è il valore di riferimento da superare?
• Si tratta di un esperimento limitato al notebook o di un approccio end-to-end che include anche il percorso di distribuzione?
• Qual è il periodo di tempo previsto e qual è il risultato atteso al termine dello stesso?
• Se il modello funziona, qual è il percorso verso la produzione e rientra nell’ambito del progetto?
• Costi di addestramento e inferenza: il team dispone del budget necessario?

Se sono coinvolti sia l’etichettatura che un percorso di distribuzione, non si tratta di un unico progetto: split il lavoro sui dati, l’esperimento e la messa in produzione, e valutate ciascuno di essi in base a ciò che effettivamente rappresenta.

Stabilite il budget per l’esperimento, non cercate di prevedere il risultato. Un modello che fallisce è comunque un risultato per il quale si è pagato.

Come nel caso della stima di un picco di ricerca e della stima di un prototipo, il risultato finale è innanzitutto la conoscenza. Si consultino gli altri esempi di stime già elaborati, oppure si avvii una sessione gratuita di Planning Poker una volta che l’esperimento abbia prodotto i propri risultati.