Schätzung eines ML-Experiments

Wie man ein ML-Experiment einschätzt: Es handelt sich um Forschung mit technischem Bezug – das Modell ist einfach, die Arbeit liegt in den Daten. Wie man ein Budget festlegt, nicht eine Prognose.

Das Modell ist der einfache Teil. Die Daten machen die Arbeit aus.

Ein ML-Experiment ist Forschung mit technischem Bezug. Die Modellarchitektur ist in der Regel eine Standardlösung, und das Training folgt einem bekannten Muster. Die Arbeit findet im Vorfeld statt: Es geht darum, saubere Trainingsdaten zu beschaffen, die Bewertungsmetrik festzulegen, von der der Erfolg des Teams abhängt, und die Pipeline aufzubauen, die das Modell vom Notebook in die Produktion überführt. Die ersten 80 % des Experiments entfallen auf die Datenarbeit; die letzten 20 % entfallen auf das Modell.

Die Einschätzung eines ML-Experiments anhand des Merkmalssatzes ist dieselbe Falle wie die Einschätzung eines Forschungsschubs – man weiß nicht, was man finden wird. Die Schätzung muss ein Budget für das Experiment darstellen, nicht eine Prognose des Ergebnisses. Wenn das Ergebnis lautet: „Das Modell funktioniert nicht“, ist das dennoch ein erfolgreiches Experiment, bei dem das Budget aufgebraucht wurde; das Team kann nicht so tun, als würde dieses Ergebnis die Argumente widerlegen.

Was in dem Raum gesagt wird

ML-Ingenieur: „Das Training dauert einen Tag. Das Modell ist ein Standardmodell.“

Leitfrage: „Woher stammen die Trainingsdaten?“

Daten: „Wir müssen zunächst etwa 5.000 Beispiele kennzeichnen.“

PM: „Anhand welcher Kennzahl lässt sich feststellen, dass das Experiment erfolgreich war?“

SRE: „Wenn es funktioniert, wie sieht dann die Bereitstellung aus? Wie hoch ist die Inferenzlatenz? Wie hoch sind die Kosten?“

Fragen, die man sich vor der Stimmabgabe stellen sollte

  • Sind die Trainingsdaten bereits bereit, oder gehört die Annotation noch dazu?
  • Wie lautet die Bewertungskennzahl, und was ist der zu übertreffende Referenzwert?
  • Ein Experiment, das ausschließlich auf dem Notebook stattfindet, oder ein End-to-End-Experiment einschließlich eines Auslieferungspfads?
  • Wie lange dauert der Zeitrahmen, und was ist das Ergebnis am Ende dieses Zeitraums?
  • Falls das Modell funktioniert, wie sieht der Weg zur Serienreife aus – und fällt dies in den Projektumfang?
  • Kosten für Training und Inferenz – verfügt das Team über das entsprechende Budget?

Wenn sowohl die Kennzeichnung als auch ein Ausgabepfad eine Rolle spielen, handelt es sich nicht um eine einzige Geschichte – trennen Sie die Datenarbeit, das Experiment und die Produktionsumsetzung voneinander und dimensionieren Sie jeden Teil entsprechend dessen tatsächlichem Umfang.

Planen Sie das Experiment ein, prognostizieren Sie nicht das Ergebnis. Ein Modell, das scheitert, ist dennoch ein Ergebnis, für das man bezahlt hat.

Ähnlich wie bei der Schätzung eines Forschungsschubs und der Schätzung eines Prototyps steht auch hier das Wissen an erster Stelle. Sehen Sie sich die anderen Beispiele für durchgeführte Schätzungen an oder starten Sie eine kostenlose Planning-Poker-Sitzung, sobald das Experiment seine Ergebnisse geliefert hat.