Czym są metryki DORA?

DORA (DevOps Research and Assessment), program badawczy, który jest obecnie częścią Google Cloud, wyodrębnił niewielki zestaw metryk dostarczania oprogramowania. Na ich podstawie można przewidzieć, jak dobrze radzą sobie zespoły. Trzy z nich mierzą przepustowość: jak często wdrażacie, ile czasu potrzebuje zmiana, żeby trafić na produkcję, i jak szybko przywracacie działanie po nieudanym wdrożeniu. Dwie mierzą niestabilność: jak często wdrożenia kończą się niepowodzeniem i jaką część wdrożeń stanowią nieplanowane poprawki. Większość zespołów nie ma tych liczb na dashboardzie. Ta samoocena to zespołowa wersja jednoosobowego Quick Check od DORA: każdy wybiera przedział, który odpowiada jego doświadczeniom z ostatnich trzech miesięcy. Przedziały odpowiedzi opracował TeamRetro i nie są to oficjalne benchmarki DORA. Jeśli poszczególne osoby wybierają różne przedziały, właśnie od tej rozbieżności warto zacząć rozmowę. Najsłabszą metrykę weźcie na retrospektywę i uzgodnijcie jedną zmianę, która ją poprawi.

Wymiary

Przepustowość

Jak szybko i jak często zmiany trafiają na produkcję.

  • Częstotliwość wdrożeń

    Jak często nasz zespół wdraża zmiany na produkcję?

    1. Rzadziej niż raz na pół roku
    2. Od raz na miesiąc do raz na pół roku
    3. Od raz na tydzień do raz na miesiąc
    4. Od raz dziennie do raz na tydzień
    5. Na żądanie (kilka razy dziennie)
  • Czas realizacji zmiany

    Ile czasu potrzebuje zatwierdzona (scommitowana) zmiana, żeby trafić na produkcję?

    1. Ponad sześć miesięcy
    2. Od jednego do sześciu miesięcy
    3. Od tygodnia do miesiąca
    4. Od jednego dnia do tygodnia
    5. Mniej niż jeden dzień
  • Czas przywrócenia po nieudanym wdrożeniu

    Gdy wdrożenie się nie powiedzie i wymaga natychmiastowej reakcji, ile czasu zajmuje nam przywrócenie działania?

    1. Ponad miesiąc
    2. Od tygodnia do miesiąca
    3. Od jednego dnia do tygodnia
    4. Mniej niż jeden dzień
    5. Mniej niż godzina

Niestabilność

Jak często wdrożenia się nie udają i wymagają poprawek.

  • Odsetek nieudanych zmian

    Jaka część naszych wdrożeń wymaga natychmiastowej interwencji, np. wycofania (rollbacku) lub hotfixa?

    1. Ponad 45%
    2. Od 30% do 45%
    3. Od 15% do 30%
    4. Od 5% do 15%
    5. Mniej niż 5%
  • Odsetek wdrożeń naprawczych

    Jaka część naszych wdrożeń jest nieplanowana i służy naprawie problemu na produkcji?

    1. Ponad 45%
    2. Od 30% do 45%
    3. Od 15% do 30%
    4. Od 5% do 15%
    5. Mniej niż 5%

Kiedy należy skorzystać z tej kontroli stanu zdrowia

  • Gdy chcecie poznać wartości metryk DORA, ale nie macie jeszcze narzędzi do ich pomiaru.
  • Co kwartał, żeby śledzić dostarczanie równolegle z Health Checkiem SPACE Framework.
  • Przed inwestycją w narzędzia do dostarczania, żeby uzgodnić, która metryka jest prawdziwym wąskim gardłem.

Porady i wskazówki

  • Zanim zaczniecie oceniać, ustalcie okres odniesienia. Dla większości zespołów sprawdzają się ostatnie trzy miesiące.
  • Jeśli oceny rozkładają się na kilka przedziałów, ludzie różnie postrzegają dostarczanie. Porozmawiajcie o tym, zanim zajmiecie się średnią.
  • Opcji N/A używajcie, gdy odpowiedź brzmi „nie wiem”. Dużo odpowiedzi N/A zwykle oznacza, że tę metrykę warto zacząć porządnie mierzyć.
  • Metryki DORA opisują system dostarczania zespołu, a nie wyniki poszczególnych osób. Ostrożnie porównujcie zespoły między sobą.
  • Wybierzcie najsłabszą metrykę, uzgodnijcie jedną zmianę na retrospektywie i powtórzcie ocenę w kolejnym kwartale.
  • Aby przyjrzeć się praktykom stojącym za liczbami, przeprowadźcie następnie DevOps Maturity Assessment.

Najczęściej zadawane pytania

Czym są metryki DORA?
To pięć metryk dostarczania oprogramowania opracowanych w ramach programu badawczego DORA. Częstotliwość wdrożeń, czas realizacji zmiany i czas przywrócenia po nieudanym wdrożeniu mierzą przepustowość. Odsetek nieudanych zmian i odsetek wdrożeń naprawczych mierzą niestabilność. Pierwotne „cztery kluczowe metryki” nie obejmowały odsetka wdrożeń naprawczych, który DORA dodała później.
Co oznacza skrót DORA?
DevOps Research and Assessment. To program badawczy, który stoi za raportami State of DevOps i od 2018 roku jest częścią Google Cloud.
Jak mierzyć metryki DORA bez narzędzi?
Zapytajcie osoby, które wykonują pracę. W tej ocenie każdy wybiera przedział, który najlepiej opisuje ostatnie trzy miesiące. To mniej precyzyjne niż pobieranie danych z pipeline'u, ale szybkie, pokazuje, w czym ludzie się nie zgadzają, i podpowiada, którą metrykę warto najpierw zacząć mierzyć dokładnie.
Jaki wynik DORA jest dobry?
Nie ma progu zaliczenia. Badania DORA pokazują, że najlepsze zespoły wdrażają często, szybko dostarczają zmiany na produkcję i szybko przywracają działanie, a przy tym utrzymują niski odsetek niepowodzeń i poprawek. Szybkość i stabilność zwykle idą w parze, a nie wykluczają się nawzajem. Zacznijcie od porównania zespołu z jego własnym poprzednim wynikiem.
Czym różnią się DORA i SPACE?
DORA mierzy dostarczanie oprogramowania za pomocą niewielkiego zestawu metryk. SPACE ma szerszy zakres: obejmuje samopoczucie developerów, ich współpracę i przepływ pracy, a także efekty pracy. Wiele zespołów korzysta z DORA do oceny dostarczania, a z SPACE do szerszego obrazu. TeamRetro oferuje również Health Check SPACE Framework.
Czym jest czas realizacji zmiany?
To czas od zatwierdzenia zmiany w systemie kontroli wersji do momentu, w którym ta zmiana działa na produkcji.

Based on DORA's software delivery performance metrics (dora.dev). TeamRetro isn't affiliated with DORA or Google.