Schätzung eines ML-Experiments

Wie man ein ML-Experiment einschätzt: Es handelt sich um Forschung, die mit technischer Umsetzung verbunden ist. Das Modell ist einfach, die Arbeit liegt in den Daten. Wie man ein Budget bemisst – keine Prognose.

Das Modell ist der einfache Teil. Die Daten machen die Arbeit aus.

Ein ML-Experiment ist Forschung mit technischem Bezug. Die Modellarchitektur wird in der Regel aus vorgefertigten Lösungen ausgewählt, und das Training folgt einem bekannten Muster. Die Arbeit findet im Vorfeld statt: Es geht darum, saubere Trainingsdaten zu beschaffen, die Bewertungskennzahl festzulegen, von der der Erfolg des Teams abhängt, und die Pipeline aufzubauen, die das Modell vom Notebook in die Produktion überführt. Die ersten 80 % des Experiments entfallen auf die Datenarbeit; die letzten 20 % entfallen auf das Modell.

Die Einschätzung eines ML-Experiments anhand des Merkmalssatzes ist dieselbe Falle wie die Einschätzung eines Forschungsschubs: Man weiß nicht, was man finden wird. Die Schätzung muss ein Budget für das Experiment darstellen, keine Prognose des Ergebnisses. Wenn das Ergebnis lautet: „Das Modell funktioniert nicht“, ist das dennoch ein erfolgreiches Experiment, das das Budget aufgebraucht hat; das Team kann nicht so tun, als ob dieses Ergebnis die Argumente widerlegen würde.

Was in dem Raum gesagt wird

ML-Ingenieur: „Das Training dauert einen Tag. Das Modell ist ein Standardmodell.“

Leitfrage: „Woher stammen die Trainingsdaten?“

Daten: „Wir müssen zunächst etwa 5.000 Beispiele kennzeichnen.“

PM: „Anhand welcher Kennzahl lässt sich feststellen, dass das Experiment erfolgreich war?“

SRE: „Wenn es funktioniert, wie sieht dann die Bereitstellung aus? Wie hoch ist die Latenz bei der Inferenz? Wie hoch sind die Kosten?“

Fragen, die man sich vor der Stimmabgabe stellen sollte

  • Sind die Trainingsdaten bereits bereit, oder gehört die Annotation noch dazu?
  • Wie lautet die Bewertungskennzahl, und welche Basisleistung gilt es zu übertreffen?
  • Ein reines Notebook-Experiment oder ein End-to-End-Ansatz einschließlich eines Serving-Pfads?
  • Wie lange dauert der Zeitrahmen, und welches Ergebnis soll am Ende vorliegen?
  • Falls das Modell funktioniert, wie sieht der Weg zur Serienfertigung aus, und fällt dies in den Projektumfang?
  • Kosten für Training und Inferenz: Verfügt das Team über das erforderliche Budget?

Wenn sowohl die Kennzeichnung als auch ein Ausgabepfad zum Einsatz kommen, handelt es sich nicht um ein und dasselbe Projekt: split die Datenverarbeitung, das Experiment und die Produktionsbereitstellung und ordnen Sie jede Komponente entsprechend ihrem tatsächlichen Umfang zu.

Planen Sie das Experiment ein, machen Sie keine Vorhersagen über das Ergebnis. Auch ein Modell, das scheitert, ist ein Ergebnis, für das man bezahlt hat.

Ähnlich wie bei der Schätzung eines Forschungsschubs und der Schätzung eines Prototyps steht auch hier das Wissen an erster Stelle. Sehen Sie sich die anderen Beispiele für durchgeführte Schätzungen an oder starten Sie eine kostenlose Planning-Poker-Sitzung, sobald das Experiment seine Ergebnisse vorgelegt hat.