Oszacowanie eksperymentu z zakresu uczenia maszynowego

Model to łatwa część. Prawdziwa praca polega na danych.

Eksperyment z zakresu uczenia maszynowego to badania połączone z inżynierią. Architektura modelu jest zazwyczaj wyborem gotowym, a proces uczenia przebiega według znanego schematu. Praca skupia się na etapach wstępnych: pozyskiwaniu czystych danych szkoleniowych, definiowaniu wskaźnika oceny, od którego zależy sukces lub porażka zespołu, oraz budowaniu potoku przetwarzania, który przenosi model z notebooka do środowiska produkcyjnego. Pierwsze 80% eksperymentu to praca z danymi; pozostałe 20% to model.

Szacowanie kosztów eksperymentu z učením maszynowym na podstawie zestawu cech stanowi tę samą pułapkę, co szacowanie kosztów projektu badawczego: nie wiadomo, jakie wyniki się uzyska. Szacunek ten musi stanowić budżet przeznaczony na eksperyment, a nie prognozę wyniku. Jeśli wynik brzmi: „model nie działa”, nadal jest to udany eksperyment, który wyczerpał budżet; zespół nie może udawać, że ten wynik oznacza, iż założenia były błędne.

O czym się mówi w tym pomieszczeniu

Inżynier ds. uczenia maszynowego: „Szkolenie trwa jeden dzień. Model jest standardowy.”

Wstęp: „Skąd pochodzą dane szkoleniowe?”

Dane: „Najpierw musimy opisać około 5 000 przykładów”.

PM: „Który wskaźnik pozwala stwierdzić, że eksperyment zakończył się sukcesem?”

SRE: „Jeśli to działa, jak wygląda wdrożenie? Jakie są opóźnienia w przetwarzaniu wniosków? Jaki jest koszt?”

Pytania, które warto zadać przed głosowaniem

• Czy dane szkoleniowe są już gotowe, czy też proces ich oznaczania stanowi część tego zadania?
• Jaki jest wskaźnik oceny i jaki jest poziom odniesienia, który należy przekroczyć?
• Eksperyment obejmujący wyłącznie notebook czy kompleksowy, uwzględniający również ścieżkę serwowania?
• Jaki jest czas trwania tego etapu i jaki jest oczekiwany wynik na jego zakończenie?
• Jeśli model się sprawdzi, jaka jest droga do wdrożenia do produkcji i czy mieści się to w zakresie projektu?
• Koszt szkolenia i wnioskowania: czy zespół dysponuje odpowiednim budżetem?

Jeśli w grę wchodzą zarówno etykietowanie, jak i ścieżka serwowania, nie stanowią one jednej historii: podzielić prace związane z danymi, eksperyment oraz wdrożenie do produkcji i dostosować rozmiar każdego z nich do tego, czym faktycznie jest.

Proszę zaplanować budżet eksperymentu, a nie przewidywać jego wynik. Model, który zawodzi, to wciąż wynik, za który zapłacono.

Podobnie jak w przypadku szacowania intensywności prac badawczych i szacowania prototypu, głównym rezultatem jest przede wszystkim wiedza. Proszę zapoznać się z innymi przykładami szacowania lub rozpocząć bezpłatną sesję planowania pokerowego, gdy eksperyment przyniesie już wyniki.