O que é a Avaliação de maturidade DevOps?

A Avaliação de maturidade DevOps cobre o caminho do commit até a produção em cinco grupos: Pipeline de CI/CD, Release e implantação, Confiabilidade e operações, Automação de segurança e compliance, e Plataforma e infraestrutura. Seu time avalia 15 capacidades, como frequência de integração, redução de risco na implantação, sustentabilidade do plantão e compliance como código, em uma escala de cinco níveis, de Ad hoc a Otimizado. Times que entregam pouco costumam reconhecer os sintomas: etapas manuais em cada release e uma escala de plantão que esgota as pessoas. As avaliações mostram qual capacidade é o verdadeiro gargalo. Como cada nível tem uma descrição por escrito, desenvolvedores, SREs e o pessoal de produto avaliam a mesma capacidade com a mesma referência, e as diferenças entre as visões mostram por onde começar.

Dimensões

Pipeline de CI/CD

Com que eficácia o time faz build, integra e recebe feedback por meio de pipelines automatizados.

  • Automação de build

    Com que confiabilidade e automação os builds de software são gerados e validados.

    1. Ad hocOs builds são manuais, lentos e propensos a erros.
    2. EmergenteExiste automação básica, mas frágil ou incompleta.
    3. DefinidoOs builds rodam de forma confiável, com automação moderada.
    4. GerenciadoBuilds altamente automatizados, com feedback rápido e confiável.
    5. OtimizadoA automação de build é fluida, estável e otimizada continuamente, com falhas quase nulas.
  • Frequência de integração

    Com que frequência os desenvolvedores integram mudanças à base de código compartilhada.

    1. Ad hocA integração é pouco frequente, gerando merges grandes e arriscados.
    2. EmergenteO time tenta integrar com mais frequência, mas ainda há inconsistências.
    3. DefinidoA integração diária é comum e reduz conflitos de merge.
    4. GerenciadoA integração é contínua e estável em todo o time.
    5. OtimizadoIntegração quase em tempo real, com conjuntos de mudanças pequenos e seguros que permitem um fluxo rápido.
  • Feedback do pipeline

    Velocidade e clareza das informações que o pipeline devolve aos desenvolvedores.

    1. Ad hocO feedback é lento, confuso ou pouco confiável.
    2. EmergenteHá feedback, mas muitas vezes atrasado ou com muito ruído.
    3. DefinidoO feedback do pipeline é razoavelmente rápido e acionável.
    4. GerenciadoO feedback é rápido, claro e permite que os desenvolvedores iterem com agilidade.
    5. OtimizadoO feedback é instantâneo, preciso e viabiliza uma velocidade de engenharia de elite.

Release e implantação

Com que segurança, previsibilidade e frequência o time entrega mudanças aos usuários.

  • Automação de implantação

    Nível de automação e repetibilidade das implantações.

    1. Ad hocAs implantações são manuais, arriscadas e sujeitas a erros.
    2. EmergenteAlguma automação foi introduzida, mas é aplicada de forma inconsistente.
    3. DefinidoAs implantações são em grande parte automatizadas e previsíveis.
    4. GerenciadoImplantações totalmente automatizadas, com baixas taxas de falha.
    5. OtimizadoImplantação contínua, com releases seguros, rápidos e reversíveis.
  • Redução de risco na implantação

    Com que eficácia o time minimiza riscos durante o release.

    1. Ad hocOs releases são eventos big-bang de alto risco.
    2. EmergenteExiste alguma mitigação de risco, mas limitada.
    3. DefinidoFeature flags e rollouts graduais são usados regularmente.
    4. GerenciadoOs releases são de baixo risco, com salvaguardas e monitoramento sólidos.
    5. OtimizadoEstratégias avançadas de release evitam indisponibilidades e permitem rollback instantâneo.
  • Frequência de entrega

    Com que frequência o valor chega aos usuários.

    1. Ad hocOs releases são raros, imprevisíveis e muito variáveis.
    2. EmergenteA cadência de releases melhora, mas continua inconsistente.
    3. DefinidoO time faz releases em um cronograma previsível.
    4. GerenciadoCiclos de release frequentes e confiáveis.
    5. OtimizadoA entrega contínua garante um fluxo de valor rápido e seguro.

Confiabilidade e operações

Quão bem o time observa, responde e mantém a saúde dos sistemas em execução.

  • Monitoramento e observabilidade

    Quão bem o time entende a saúde e o comportamento do sistema.

    1. Ad hocMonitoramento limitado ou reativo; os problemas são detectados tarde demais.
    2. EmergenteExistem dashboards básicos, mas a visibilidade tem grandes lacunas.
    3. DefinidoO monitoramento oferece visibilidade adequada da maioria dos componentes.
    4. GerenciadoObservabilidade sólida, com logs, métricas e traces que permitem diagnóstico rápido.
    5. OtimizadoObservabilidade completa, com insights preditivos e detecção automatizada.
  • Resposta a incidentes

    Com que eficiência o time responde a incidentes e os resolve.

    1. Ad hocOs incidentes são caóticos e sem responsáveis claros.
    2. EmergenteA estrutura está crescendo, mas a resolução continua inconsistente.
    3. DefinidoIncidentes tratados de forma metódica, com eficiência moderada.
    4. GerenciadoResposta rápida e coordenada, com MTTR baixo.
    5. OtimizadoGestão de incidentes muito madura, com postmortems focados em aprendizado.
  • Sustentabilidade do plantão

    Justiça e eficácia dos processos de plantão.

    1. Ad hocO plantão é pesado, imprevisível ou injusto.
    2. EmergenteA carga fica mais administrável, mas os problemas continuam.
    3. DefinidoA escala é justa, com volume razoável de alertas.
    4. GerenciadoBoas práticas de plantão, com alertas bem ajustados e boas ferramentas.
    5. OtimizadoPouquíssimos alertas fora do horário; a automação resolve a maioria dos problemas.

Automação de segurança e compliance

Com que profundidade segurança e compliance são automatizados e incorporados ao pipeline de entrega.

  • Integração de segurança

    Com que eficácia as práticas de segurança estão incorporadas aos fluxos de desenvolvimento.

    1. Ad hocAs verificações de segurança são manuais ou acontecem tarde no processo.
    2. EmergenteExistem varreduras automatizadas básicas, mas com pouca abrangência.
    3. DefinidoSegurança integrada ao CI/CD, com varreduras consistentes.
    4. GerenciadoVerificações de segurança automatizadas e abrangentes em todo o pipeline.
    5. OtimizadoSegurança contínua e inteligente, que evita vulnerabilidades desde cedo.
  • Gestão de vulnerabilidades

    Com que rapidez e eficácia as vulnerabilidades são descobertas e tratadas.

    1. Ad hocVulnerabilidades encontradas tarde, com correção lenta.
    2. EmergenteOs processos estão melhorando, mas continuam inconsistentes.
    3. DefinidoA resposta a vulnerabilidades é previsível e ponderada.
    4. GerenciadoCorreção rápida e eficiente, com prevenção proativa.
    5. OtimizadoIdentificação, priorização e correção automatizadas em escala.
  • Compliance como código

    Uso de automação para aplicar requisitos regulatórios, de segurança e de políticas.

    1. Ad hocAs tarefas de compliance são manuais e reativas.
    2. EmergenteAlgumas verificações automatizadas foram introduzidas.
    3. DefinidoPolíticas críticas integradas aos fluxos de automação.
    4. GerenciadoO compliance é verificado rotineiramente por meio de verificações automatizadas.
    5. OtimizadoCompliance contínuo, com aplicação em tempo real.

Plataforma e infraestrutura

Quão automatizadas, consistentes e resilientes são a plataforma e a infraestrutura subjacentes.

  • Automação de infraestrutura

    Como a infraestrutura é provisionada, gerenciada e escalada.

    1. Ad hocInfraestrutura provisionada manualmente, com alto risco de drift.
    2. EmergenteAutomação parcial com scripts ou ferramentas.
    3. DefinidoInfraestrutura como código implementada nas áreas principais.
    4. GerenciadoInfraestrutura totalmente automatizada, com ambientes consistentes e reproduzíveis.
    5. OtimizadoInfraestrutura autorrecuperável e totalmente orquestrada, com escalonamento inteligente.
  • Consistência de ambientes

    Quão consistentes são os ambientes de desenvolvimento, homologação e produção.

    1. Ad hocOs ambientes diferem bastante; os problemas costumam ser específicos de cada ambiente.
    2. EmergenteHá alguma padronização, mas ainda existem inconsistências.
    3. DefinidoAmbientes em grande parte alinhados, com comportamento previsível.
    4. GerenciadoAmbientes altamente consistentes, gerenciados por automação.
    5. OtimizadoAmbientes totalmente reproduzíveis, conteinerizados e estáveis em toda parte.
  • Confiabilidade da plataforma

    Disponibilidade, resiliência e tolerância a falhas do sistema.

    1. Ad hocIndisponibilidades frequentes e poucas práticas de confiabilidade.
    2. EmergenteA confiabilidade melhora um pouco, mas os problemas persistem.
    3. DefinidoConfiabilidade aceitável, com melhorias em andamento.
    4. GerenciadoAlta confiabilidade, com medidas preventivas sólidas.
    5. OtimizadoResiliência excepcional, com recuperação automatizada e arquiteturas tolerantes a falhas.

Quando usar este health check

  • Para definir uma linha de base das capacidades de DevOps e entrega contínua do seu time.
  • No planejamento de engenharia, para decidir se o próximo foco será automação, confiabilidade ou segurança.
  • Para acompanhar a evolução da maturidade DevOps entre squads ou em toda a organização.
  • Ao criar ou expandir práticas de engenharia de plataforma e SRE.
  • Durante uma transformação DevOps, para dar aos times um roteiro de melhoria em comum.

Dicas e truques

  • Peça que engenheiros, SREs e stakeholders de produto avaliem individualmente, para que surjam visões diferentes sobre a maturidade.
  • Comece pelas dimensões com maior dispersão de notas. Elas costumam apontar gargalos que ninguém identificou ainda.
  • Para cada dimensão com nota baixa, combinem um passo rumo ao próximo nível. Não tentem chegar a Otimizado em tudo de uma vez.
  • Repita a avaliação a cada trimestre para que pequenos avanços fiquem visíveis.
  • Leiam juntos as descrições dos níveis antes de discutir as notas, para que todos concordem sobre o que é um bom resultado.

Perguntas frequentes

O que é um modelo de maturidade DevOps?
É uma forma estruturada de avaliar o quanto as práticas de DevOps e entrega contínua do seu time estão avançadas. As capacidades são avaliadas em níveis progressivos, de Ad hoc a Otimizado, para que você veja as lacunas e planeje o que melhorar.
Quem deve participar desta avaliação?
Qualquer pessoa que desenvolve, entrega ou opera software: desenvolvedores, SREs, engenheiros de plataforma, especialistas em segurança e lideranças de engenharia. Cada um enxerga uma parte diferente do caminho de entrega.
Como as dimensões são avaliadas?
Cada dimensão recebe uma nota em uma escala de cinco níveis, de Ad hoc a Otimizado, com uma descrição para cada nível. Isso mantém as avaliações consistentes e dá ao time algo concreto para discutir.
Com que frequência devemos aplicá-la?
Trimestralmente funciona para a maioria dos times. Isso dá tempo para as melhorias se consolidarem e mostra o progresso de uma rodada para a outra.
Podemos personalizar as dimensões?
Sim. Administradores de conta e de equipe podem criar modelos de saúde personalizados no TeamRetro, permitindo adicionar, remover ou reescrever dimensões de acordo com suas ferramentas e prioridades.