Ocena eksperymentu z zakresu uczenia maszynowego

Model to łatwa część. Prawdziwa praca polega na danych.

Eksperyment z zakresu uczenia maszynowego to badania połączone z inżynierią. Architektura modelu jest zazwyczaj wyborem gotowym, a proces uczenia przebiega według znanego schematu. Praca skupia się na etapach poprzedzających: pozyskiwaniu czystych danych szkoleniowych, definiowaniu wskaźnika oceny, od którego zależy sukces lub porażka zespołu, oraz budowaniu potoku przetwarzania, który przenosi model z notatnika do środowiska produkcyjnego. Pierwsze 80% eksperymentu to praca z danymi; ostatnie 20% to sam model.

Szacowanie kosztów eksperymentu z učením maszynowym na podstawie zestawu cech stanowi tę samą pułapkę, co szacowanie kosztów projektu badawczego: nie wiadomo, jakie wyniki się uzyska. Szacunek ten musi stanowić budżet przeznaczony na eksperyment, a nie prognozę wyniku. Jeśli wynik brzmi: „model nie działa”, to i tak jest to udany eksperyment, który wykorzystał przydzielony budżet; zespół nie może udawać, że ten wynik oznacza, iż założenia były błędne.

O czym się mówi w tym pomieszczeniu

Inżynier ds. uczenia maszynowego: „Szkolenie trwa jeden dzień. Model jest standardowy.”

Wstęp: „Skąd pochodzą dane szkoleniowe?”

Dane: „Najpierw musimy oznaczyć około 5 000 przykładów”.

PM: „Na podstawie jakiego wskaźnika można stwierdzić, że eksperyment zakończył się sukcesem?”

SRE: „Jeśli to zadziała, jak będzie wyglądało wdrożenie? Jakie będą opóźnienia w przetwarzaniu wniosków? Jaki będzie koszt?”

Pytania, które warto zadać przed oddaniem głosu

• Czy dane szkoleniowe są już gotowe, czy też proces ich oznaczania stanowi część tego zadania?
• Jaki jest wskaźnik oceny i jaki jest poziom odniesienia, który należy przekroczyć?
• Eksperyment obejmujący wyłącznie notebook czy kompleksowy, uwzględniający również ścieżkę serwowania?
• Jaki jest czas trwania tego etapu i jaki jest oczekiwany wynik na jego zakończenie?
• Jeśli model się sprawdzi, jaka jest droga do wdrożenia do produkcji i czy mieści się to w zakresie projektu?
• Koszt szkolenia i wnioskowania: czy zespół dysponuje odpowiednim budżetem?

Jeśli w grę wchodzą zarówno etykietowanie, jak i ścieżka dostarczania, nie stanowią one jednej całości: należy rozdzielić prace związane z danymi, eksperymentem i wdrożeniem do produkcji oraz dostosować zakres każdego z tych elementów do jego rzeczywistego charakteru.

Proszę zaplanować budżet eksperymentu, a nie przewidywać jego wynik. Model, który zawodzi, to wciąż wynik, za który zapłacono.

Podobnie jak w przypadku szacowania nakładu pracy związanego z badaniami i szacowania prototypu, głównym rezultatem jest przede wszystkim wiedza. Proszę zapoznać się z innymi przykładami szacowania lub rozpocząć bezpłatną sesję „planning poker”, gdy eksperyment przyniesie już wyniki.