Problema real e contexto
Modelos eram publicados sem histórico robusto, dificultando comparação e rollback.
A equipe precisou formalizar critérios de promoção para ganho real de estabilidade.
Decisões técnicas
-
Tracking completo de parâmetros, métricas e artefatos.
-
Model registry com estágios claros de promoção.
-
Gate de deploy baseado em baseline e custo de inferência.
-
Plano de rollback para regressão de qualidade.
Tip: Sem baseline estável, a comparação entre experimentos perde valor operacional.
Checklist final
-
Versionar dataset de treino e validação.
-
Definir métrica primária e métrica de guardrail.
-
Automatizar registro e promoção no pipeline.
-
Testar rollback com tráfego real controlado.
Erros comuns
-
Promover modelo sem validação comparativa.
-
Ignorar custo de inferência no critério de aprovação.
-
Não manter histórico de decisões de deploy.