Schätzung eines ML-Experiments

Das Modell ist der einfache Teil. Die Daten machen die Arbeit aus.

Ein ML-Experiment ist Forschung mit technischem Bezug. Die Modellarchitektur ist in der Regel eine Standardlösung, und das Training folgt einem bekannten Muster. Die Arbeit findet im Vorfeld statt: Es geht darum, saubere Trainingsdaten zu beschaffen, die Bewertungsmetrik festzulegen, von der der Erfolg des Teams abhängt, und die Pipeline aufzubauen, die das Modell vom Notebook in die Produktion überführt. Die ersten 80 % des Experiments entfallen auf die Datenarbeit; die letzten 20 % entfallen auf das Modell.

Die Einschätzung eines ML-Experiments anhand des Merkmalssatzes ist dieselbe Falle wie die Einschätzung eines Forschungsschubs: Man weiß nicht, was man finden wird. Die Schätzung muss ein Budget für das Experiment darstellen, nicht eine Prognose des Ergebnisses. Wenn das Ergebnis lautet: „Das Modell funktioniert nicht“, ist das dennoch ein erfolgreiches Experiment, bei dem das Budget aufgebraucht wurde; das Team kann nicht so tun, als würde dieses Ergebnis die Aussagen widerlegen.

Was in dem Raum gesagt wird

ML-Ingenieur: „Das Training dauert einen Tag. Das Modell ist ein Standardmodell.“

Leitfrage: „Woher stammen die Trainingsdaten?“

Daten: „Wir müssen zunächst etwa 5.000 Beispiele kennzeichnen.“

PM: „Anhand welcher Kennzahl lässt sich feststellen, dass das Experiment erfolgreich war?“

SRE: „Wenn es funktioniert, wie sieht dann die Bereitstellung aus? Wie hoch ist die Latenz bei der Inferenz? Wie hoch sind die Kosten?“

Fragen, die man sich vor der Stimmabgabe stellen sollte

• Sind die Trainingsdaten bereits bereit, oder gehört die Annotation noch dazu?
• Wie lautet die Bewertungskennzahl, und welche Basisleistung gilt es zu übertreffen?
• Ein reines Notebook-Experiment oder ein End-to-End-Ansatz einschließlich eines Auslieferungspfads?
• Wie lange dauert der Zeitrahmen, und welches Ergebnis soll am Ende davon vorliegen?
• Falls das Modell funktioniert, wie sieht der Weg zur Serienreife aus, und fällt dies in den Projektumfang?
• Kosten für Training und Inferenz: Verfügt das Team über das erforderliche Budget?

Wenn sowohl die Kennzeichnung als auch ein Auslieferungsweg eine Rolle spielen, handelt es sich nicht um ein und dasselbe Projekt: Teilen Sie die Datenverarbeitung, das Experiment und die Produktivsetzung auf und dimensionieren Sie jeden Teil entsprechend seinem tatsächlichen Umfang.

Planen Sie das Experiment ein, prognostizieren Sie nicht das Ergebnis. Ein Modell, das scheitert, ist dennoch ein Ergebnis, für das man bezahlt hat.

Genau wie bei der Schätzung eines Forschungsschubs und der Schätzung eines Prototyps steht auch hier das Wissen an erster Stelle. Sehen Sie sich die anderen ausgearbeiteten Schätzbeispiele an oder starten Sie eine kostenlose Planning-Poker-Sitzung, sobald das Experiment seine Ergebnisse geliefert hat.