Oszacowanie eksperymentu z zakresu uczenia maszynowego
Jak oszacować eksperyment z zakresu uczenia maszynowego: to badania połączone z inżynierią — model jest prosty, a prawdziwą pracą jest praca z danymi. Jak określić wielkość budżetu, a nie prognozę.
Model to łatwa część. Prawdziwa praca polega na danych.
Eksperyment z zakresu uczenia maszynowego to badania połączone z inżynierią. Architektura modelu jest zazwyczaj wyborem gotowym, a proces uczenia przebiega według znanego schematu. Praca skupia się na etapach poprzedzających wdrożenie: pozyskiwaniu czystych danych szkoleniowych, definiowaniu wskaźnika oceny, od którego zależy sukces lub porażka zespołu, oraz budowaniu potoku przetwarzania, który przenosi model z notebooka do środowiska produkcyjnego. Pierwsze 80% eksperymentu to praca z danymi; ostatnie 20% to sam model.
Szacowanie kosztów eksperymentu z učením maszynowym na podstawie zestawu cech stanowi tę samą pułapkę, co szacowanie kosztów projektu badawczego — nie wiadomo, jakie wyniki się uzyska. Szacunek ten musi stanowić budżet przeznaczony na eksperyment, a nie prognozę wyniku. Jeśli wynikiem okaże się, że „model nie działa”, nadal jest to udany eksperyment, który wykorzystał przydzielony budżet; zespół nie może udawać, że taki wynik oznacza, iż założenia były błędne.
O czym się mówi w tym pomieszczeniu
Inżynier ds. uczenia maszynowego: „Szkolenie trwa jeden dzień. Model jest standardowy.”
Wstęp: „Skąd pochodzą dane szkoleniowe?”
Dane: „Najpierw musimy oznaczyć około 5 000 przykładów”.
PM: „Na podstawie jakiego wskaźnika można stwierdzić, że eksperyment zakończył się sukcesem?”
SRE: „Jeśli to zadziała, jak będzie wyglądało wdrożenie? Jakie będą opóźnienia wnioskowania? A jaki będzie koszt?”
Pytania, które warto zadać przed oddaniem głosu
- Czy dane szkoleniowe są już gotowe, czy też proces ich oznaczania stanowi część tego zadania?
- Jaki jest wskaźnik oceny i jaki jest poziom odniesienia, który należy przekroczyć?
- Eksperyment obejmujący wyłącznie notebook, czy też kompleksowy, uwzględniający ścieżkę serwowania?
- Jaki jest czas trwania tego etapu i jaki jest oczekiwany wynik na jego zakończenie?
- Jeśli model się sprawdzi, jaka jest droga do wdrożenia do produkcji — i czy mieści się to w zakresie projektu?
- Koszt szkolenia i wnioskowania — czy zespół dysponuje odpowiednim budżetem?
Jeśli w grę wchodzą zarówno etykietowanie, jak i ścieżka serwowania, nie stanowią one jednej całości — split należy rozdzielić prace związane z danymi, eksperyment oraz wdrożenie do produkcji, a następnie określić zakres każdego z tych elementów zgodnie z jego rzeczywistym charakterem.
Proszę zaplanować budżet na eksperyment, a nie przewidywać jego wynik. Nawet model, który zawodzi, jest wynikiem, za który zapłacono.
Podobnie jak w przypadku szacowania intensywności prac badawczych i szacowania prototypu, głównym rezultatem jest przede wszystkim wiedza. Proszę zapoznać się z innymi przykładami szacowania lub rozpocząć bezpłatną sesję planowania pokerowego, gdy eksperyment przyniesie już swoje wyniki.