Estimación de un experimento de aprendizaje automático

El modelo es lo más sencillo. Los datos son lo que da trabajo.

Un experimento de aprendizaje automático (ML) es una investigación que implica aspectos de ingeniería. La arquitectura del modelo suele ser una opción ya existente, y el entrenamiento sigue un patrón conocido. El trabajo se centra en las fases previas: obtener datos de entrenamiento limpios, definir la métrica de evaluación de la que dependerá el éxito o el fracaso del equipo, y crear el proceso que lleve el modelo desde el cuaderno de trabajo hasta la producción. El primer 80 % del experimento consiste en el trabajo con los datos; el último 20 % corresponde al modelo.

Hacer una estimación de un experimento de aprendizaje automático con el conjunto de características supone caer en la misma trampa que al estimar un pico de investigación: no se sabe qué se va a encontrar. La estimación debe ser un presupuesto para el experimento, no una previsión del resultado. Si el resultado es «el modelo no funciona», sigue siendo un experimento satisfactorio que ha agotado el presupuesto; el equipo no puede pretender que ese resultado invalide los argumentos.

Lo que se dice en la sala

Ingeniero de aprendizaje automático: «El entrenamiento dura un día. El modelo es estándar».

Titular: «¿De dónde proceden los datos de entrenamiento?»

Datos: «Primero tenemos que etiquetar unos 5 000 ejemplos».

PM: «¿Qué indicador nos permite saber que el experimento ha tenido éxito?»

SRE: «Si funciona, ¿cómo sería su implementación? ¿Cuál sería la latencia de inferencia? ¿Y el coste?»

Preguntas que conviene plantearse antes de votar

¿Están listos los datos de entrenamiento, o el etiquetado forma parte de este proceso?
¿Cuál es el indicador de evaluación y cuál es el valor de referencia que hay que superar?
¿Se trata de un experimento que se limita al portátil, o es un proceso de principio a fin que incluye una ruta de servicio?
¿Cuál es el plazo establecido y cuál es el resultado que se debe entregar al final del mismo?
Si el modelo funciona, ¿cuál es el proceso para llevarlo a la fase de producción? ¿Y entra eso dentro del alcance del proyecto?
Coste del entrenamiento y la inferencia: ¿dispone el equipo del presupuesto necesario?

Si se tienen en cuenta tanto el etiquetado como la ruta de servicio, no se trata de una sola historia: divida el trabajo con los datos, el experimento y la puesta en producción, y evalúe cada uno de ellos en función de lo que realmente es.

Elabore un presupuesto para el experimento, no intente predecir el resultado. Un modelo que falla sigue siendo un resultado por el que se ha pagado.

Al igual que la estimación de un pico de investigación y la estimación de un prototipo, el resultado principal es, ante todo, el conocimiento. Consulte los demás ejemplos prácticos de estimación, o inicie una sesión gratuita de Planning Poker cuando el experimento haya presentado sus resultados.