O que é a Avaliação de maturidade DevOps?
A Avaliação de maturidade DevOps cobre o caminho do commit até a produção em cinco grupos: Pipeline de CI/CD, Release e implantação, Confiabilidade e operações, Automação de segurança e compliance, e Plataforma e infraestrutura. Seu time avalia 15 capacidades, como frequência de integração, redução de risco na implantação, sustentabilidade do plantão e compliance como código, em uma escala de cinco níveis, de Ad hoc a Otimizado. Times que entregam pouco costumam reconhecer os sintomas: etapas manuais em cada release e uma escala de plantão que esgota as pessoas. As avaliações mostram qual capacidade é o verdadeiro gargalo. Como cada nível tem uma descrição por escrito, desenvolvedores, SREs e o pessoal de produto avaliam a mesma capacidade com a mesma referência, e as diferenças entre as visões mostram por onde começar.
Dimensões
Pipeline de CI/CD
Com que eficácia o time faz build, integra e recebe feedback por meio de pipelines automatizados.
Automação de build
Com que confiabilidade e automação os builds de software são gerados e validados.
- Ad hocOs builds são manuais, lentos e propensos a erros.
- EmergenteExiste automação básica, mas frágil ou incompleta.
- DefinidoOs builds rodam de forma confiável, com automação moderada.
- GerenciadoBuilds altamente automatizados, com feedback rápido e confiável.
- OtimizadoA automação de build é fluida, estável e otimizada continuamente, com falhas quase nulas.
Frequência de integração
Com que frequência os desenvolvedores integram mudanças à base de código compartilhada.
- Ad hocA integração é pouco frequente, gerando merges grandes e arriscados.
- EmergenteO time tenta integrar com mais frequência, mas ainda há inconsistências.
- DefinidoA integração diária é comum e reduz conflitos de merge.
- GerenciadoA integração é contínua e estável em todo o time.
- OtimizadoIntegração quase em tempo real, com conjuntos de mudanças pequenos e seguros que permitem um fluxo rápido.
Feedback do pipeline
Velocidade e clareza das informações que o pipeline devolve aos desenvolvedores.
- Ad hocO feedback é lento, confuso ou pouco confiável.
- EmergenteHá feedback, mas muitas vezes atrasado ou com muito ruído.
- DefinidoO feedback do pipeline é razoavelmente rápido e acionável.
- GerenciadoO feedback é rápido, claro e permite que os desenvolvedores iterem com agilidade.
- OtimizadoO feedback é instantâneo, preciso e viabiliza uma velocidade de engenharia de elite.
Release e implantação
Com que segurança, previsibilidade e frequência o time entrega mudanças aos usuários.
Automação de implantação
Nível de automação e repetibilidade das implantações.
- Ad hocAs implantações são manuais, arriscadas e sujeitas a erros.
- EmergenteAlguma automação foi introduzida, mas é aplicada de forma inconsistente.
- DefinidoAs implantações são em grande parte automatizadas e previsíveis.
- GerenciadoImplantações totalmente automatizadas, com baixas taxas de falha.
- OtimizadoImplantação contínua, com releases seguros, rápidos e reversíveis.
Redução de risco na implantação
Com que eficácia o time minimiza riscos durante o release.
- Ad hocOs releases são eventos big-bang de alto risco.
- EmergenteExiste alguma mitigação de risco, mas limitada.
- DefinidoFeature flags e rollouts graduais são usados regularmente.
- GerenciadoOs releases são de baixo risco, com salvaguardas e monitoramento sólidos.
- OtimizadoEstratégias avançadas de release evitam indisponibilidades e permitem rollback instantâneo.
Frequência de entrega
Com que frequência o valor chega aos usuários.
- Ad hocOs releases são raros, imprevisíveis e muito variáveis.
- EmergenteA cadência de releases melhora, mas continua inconsistente.
- DefinidoO time faz releases em um cronograma previsível.
- GerenciadoCiclos de release frequentes e confiáveis.
- OtimizadoA entrega contínua garante um fluxo de valor rápido e seguro.
Confiabilidade e operações
Quão bem o time observa, responde e mantém a saúde dos sistemas em execução.
Monitoramento e observabilidade
Quão bem o time entende a saúde e o comportamento do sistema.
- Ad hocMonitoramento limitado ou reativo; os problemas são detectados tarde demais.
- EmergenteExistem dashboards básicos, mas a visibilidade tem grandes lacunas.
- DefinidoO monitoramento oferece visibilidade adequada da maioria dos componentes.
- GerenciadoObservabilidade sólida, com logs, métricas e traces que permitem diagnóstico rápido.
- OtimizadoObservabilidade completa, com insights preditivos e detecção automatizada.
Resposta a incidentes
Com que eficiência o time responde a incidentes e os resolve.
- Ad hocOs incidentes são caóticos e sem responsáveis claros.
- EmergenteA estrutura está crescendo, mas a resolução continua inconsistente.
- DefinidoIncidentes tratados de forma metódica, com eficiência moderada.
- GerenciadoResposta rápida e coordenada, com MTTR baixo.
- OtimizadoGestão de incidentes muito madura, com postmortems focados em aprendizado.
Sustentabilidade do plantão
Justiça e eficácia dos processos de plantão.
- Ad hocO plantão é pesado, imprevisível ou injusto.
- EmergenteA carga fica mais administrável, mas os problemas continuam.
- DefinidoA escala é justa, com volume razoável de alertas.
- GerenciadoBoas práticas de plantão, com alertas bem ajustados e boas ferramentas.
- OtimizadoPouquíssimos alertas fora do horário; a automação resolve a maioria dos problemas.
Automação de segurança e compliance
Com que profundidade segurança e compliance são automatizados e incorporados ao pipeline de entrega.
Integração de segurança
Com que eficácia as práticas de segurança estão incorporadas aos fluxos de desenvolvimento.
- Ad hocAs verificações de segurança são manuais ou acontecem tarde no processo.
- EmergenteExistem varreduras automatizadas básicas, mas com pouca abrangência.
- DefinidoSegurança integrada ao CI/CD, com varreduras consistentes.
- GerenciadoVerificações de segurança automatizadas e abrangentes em todo o pipeline.
- OtimizadoSegurança contínua e inteligente, que evita vulnerabilidades desde cedo.
Gestão de vulnerabilidades
Com que rapidez e eficácia as vulnerabilidades são descobertas e tratadas.
- Ad hocVulnerabilidades encontradas tarde, com correção lenta.
- EmergenteOs processos estão melhorando, mas continuam inconsistentes.
- DefinidoA resposta a vulnerabilidades é previsível e ponderada.
- GerenciadoCorreção rápida e eficiente, com prevenção proativa.
- OtimizadoIdentificação, priorização e correção automatizadas em escala.
Compliance como código
Uso de automação para aplicar requisitos regulatórios, de segurança e de políticas.
- Ad hocAs tarefas de compliance são manuais e reativas.
- EmergenteAlgumas verificações automatizadas foram introduzidas.
- DefinidoPolíticas críticas integradas aos fluxos de automação.
- GerenciadoO compliance é verificado rotineiramente por meio de verificações automatizadas.
- OtimizadoCompliance contínuo, com aplicação em tempo real.
Plataforma e infraestrutura
Quão automatizadas, consistentes e resilientes são a plataforma e a infraestrutura subjacentes.
Automação de infraestrutura
Como a infraestrutura é provisionada, gerenciada e escalada.
- Ad hocInfraestrutura provisionada manualmente, com alto risco de drift.
- EmergenteAutomação parcial com scripts ou ferramentas.
- DefinidoInfraestrutura como código implementada nas áreas principais.
- GerenciadoInfraestrutura totalmente automatizada, com ambientes consistentes e reproduzíveis.
- OtimizadoInfraestrutura autorrecuperável e totalmente orquestrada, com escalonamento inteligente.
Consistência de ambientes
Quão consistentes são os ambientes de desenvolvimento, homologação e produção.
- Ad hocOs ambientes diferem bastante; os problemas costumam ser específicos de cada ambiente.
- EmergenteHá alguma padronização, mas ainda existem inconsistências.
- DefinidoAmbientes em grande parte alinhados, com comportamento previsível.
- GerenciadoAmbientes altamente consistentes, gerenciados por automação.
- OtimizadoAmbientes totalmente reproduzíveis, conteinerizados e estáveis em toda parte.
Confiabilidade da plataforma
Disponibilidade, resiliência e tolerância a falhas do sistema.
- Ad hocIndisponibilidades frequentes e poucas práticas de confiabilidade.
- EmergenteA confiabilidade melhora um pouco, mas os problemas persistem.
- DefinidoConfiabilidade aceitável, com melhorias em andamento.
- GerenciadoAlta confiabilidade, com medidas preventivas sólidas.
- OtimizadoResiliência excepcional, com recuperação automatizada e arquiteturas tolerantes a falhas.
Quando usar este health check
- Para definir uma linha de base das capacidades de DevOps e entrega contínua do seu time.
- No planejamento de engenharia, para decidir se o próximo foco será automação, confiabilidade ou segurança.
- Para acompanhar a evolução da maturidade DevOps entre squads ou em toda a organização.
- Ao criar ou expandir práticas de engenharia de plataforma e SRE.
- Durante uma transformação DevOps, para dar aos times um roteiro de melhoria em comum.
Dicas e truques
- Peça que engenheiros, SREs e stakeholders de produto avaliem individualmente, para que surjam visões diferentes sobre a maturidade.
- Comece pelas dimensões com maior dispersão de notas. Elas costumam apontar gargalos que ninguém identificou ainda.
- Para cada dimensão com nota baixa, combinem um passo rumo ao próximo nível. Não tentem chegar a Otimizado em tudo de uma vez.
- Repita a avaliação a cada trimestre para que pequenos avanços fiquem visíveis.
- Leiam juntos as descrições dos níveis antes de discutir as notas, para que todos concordem sobre o que é um bom resultado.