Estimativa de um experimento de aprendizado de máquina

O modelo é a parte fácil. Os dados é que dão trabalho.

Um experimento de ML é uma pesquisa que envolve engenharia. A arquitetura do modelo costuma ser uma opção pronta para uso, e o treinamento segue um padrão conhecido. O trabalho ocorre nas etapas iniciais: obter dados de treinamento limpos, definir a métrica de avaliação que determinará o sucesso ou o fracasso da equipe e construir o pipeline que leva o modelo do notebook à produção. Os primeiros 80% do experimento consistem no trabalho com dados; os últimos 20% são dedicados ao modelo.

Estimar um experimento de aprendizado de máquina com o conjunto de características é a mesma armadilha que estimar um pico de pesquisa — você não sabe o que vai encontrar. A estimativa deve ser um orçamento para o experimento, não uma previsão do resultado. Se o resultado for “o modelo não funciona”, ainda assim é um experimento bem-sucedido que consumiu o orçamento; a equipe não pode fingir que esse desfecho significa que as premissas estavam erradas.

O que se fala na sala

Engenheiro de ML: “O treinamento leva um dia. O modelo é padrão.”

Líder: “De onde vêm os dados de treinamento?”

Dados: “Precisamos rotular cerca de 5.000 exemplos primeiro.”

PM: “Qual indicador nos mostra que o experimento foi bem-sucedido?”

SRE: “Se funcionar, como seria a implementação? Qual seria a latência de inferência? E o custo?”

Perguntas que vale a pena fazer antes de votar

Os dados de treinamento já estão prontos, ou a rotulagem faz parte desse processo?
Qual é a métrica de avaliação e qual é a referência a ser superada?
Experimento apenas no notebook ou de ponta a ponta, incluindo um caminho de serviço?
Qual é o prazo e qual é o resultado esperado ao final desse prazo?
Se o modelo funcionar, qual é o caminho para a produção — e isso está dentro do escopo?
Custo do treinamento e da inferência — a equipe dispõe de orçamento para isso?

Se tanto a rotulagem quanto o caminho de distribuição estiverem em jogo, não se trata de uma única história — separar o trabalho com dados, o experimento e a implantação em produção, e dimensionar cada um de acordo com o que realmente é.

Faça o orçamento do experimento, não tente prever o resultado. Um modelo que falha ainda é um resultado pelo qual se pagou.

Assim como estimar um pico de pesquisa e estimar um protótipo, o principal resultado é o conhecimento. Confira os outros exemplos práticos de estimativa ou participe de uma sessão gratuita de Planning Poker quando o experimento tiver apresentado seus resultados.