Een ML-experiment inschatten
Hoe u een ML-experiment kunt inschatten: het is onderzoek in combinatie met techniek — het model is eenvoudig, het werk zit hem in de gegevens. Hoe u de omvang van een budget bepaalt, niet van een prognose.
Het model is het makkelijke deel. De gegevens vormen het echte werk.
Een ML-experiment is onderzoek waarbij ook technische aspecten een rol spelen. De modelarchitectuur is doorgaans een kant-en-klare keuze en het trainen verloopt volgens een bekend patroon. Het werk vindt plaats in de voorbereidende fase: het verzamelen van schone trainingsgegevens, het vaststellen van de evaluatiemaatstaf waaraan het team zich volledig zal houden, en het opzetten van de pijplijn die het model van het notebook naar de productieomgeving brengt. De eerste 80% van het experiment bestaat uit gegevensverwerking; de laatste 20% betreft het model.
Het inschatten van een ML-experiment aan de hand van de feature deck is dezelfde valkuil als het inschatten van een onderzoeksspike — u weet niet wat u zult aantreffen. De schatting moet een budget voor het experiment zijn, geen voorspelling van het resultaat. Als het resultaat luidt: „het model werkt niet“, dan is dat nog steeds een succesvol experiment waarbij het budget is opgebruikt; het team kan niet doen alsof die uitkomst betekent dat de uitgangspunten onjuist zijn.
Wat er in de kamer wordt gezegd
ML-ingenieur: „Het trainen duurt één dag. Het model is standaard.”
Inleiding: “Waar komen de trainingsgegevens vandaan?”
Gegevens: “We moeten eerst ongeveer 5.000 voorbeelden labelen.”
PM: „Aan de hand van welke maatstaf kunnen we vaststellen of het experiment geslaagd is?”
SRE: „Als het werkt, hoe ziet de implementatie er dan uit? Wat is de latentie bij het trekken van conclusies? En wat zijn de kosten?”
Vragen die u zich het beste kunt stellen voordat u gaat stemmen
- Zijn de trainingsgegevens al klaar, of hoort het labelen hier nog bij?
- Wat is de evaluatiemaatstaf en wat is de referentiewaarde die moet worden overtroffen?
- Een experiment dat uitsluitend op de notebook plaatsvindt, of een end-to-end-experiment inclusief een serving-pad?
- Wat is de tijdsperiode en wat is het eindresultaat daarvan?
- Als het model werkt, hoe verloopt dan het traject naar productie — en valt dat binnen de scope?
- Kosten van training en inferentie — beschikt het team over het benodigde budget?
Als zowel labeling als een serving-traject een rol spelen, vormen deze geen enkel verhaal — split de gegevensverwerking, het experiment en de productie-implementatie, en beoordeel elk onderdeel op basis van wat het daadwerkelijk is.
Stel een begroting op voor het experiment, maar maak geen voorspellingen over het resultaat. Een model dat mislukt, is nog steeds een resultaat waarvoor betaald is.
Net als bij het inschatten van een onderzoeksspits en het inschatten van een prototype staat kennis voorop als eindproduct. Bekijk de andere praktijkvoorbeelden van inschattingen, of start een gratis Planning Poker-sessie zodra het experiment zijn resultaat heeft opgeleverd.