Einschätzung eines Leistungsrückgangs

Wie lässt sich ein Leistungsrückgang einschätzen: Der Großteil der Arbeit besteht in der Diagnose, nicht in der Behebung. Wie lässt sich das Ausmaß einschätzen, wenn die Ursache unbekannt ist und ein SLO auf dem Spiel steht?

p95 hat sich letzte Woche verdoppelt, und das Plenum stimmt über die falsche Sache ab.

Leistungsrückgänge sind in den meisten Fällen aufwendig in der Diagnose, aber leicht zu beheben. Das Team, das die N+1-Abfrage bereits entdeckt hat, weiß, dass die Behebung nur wenig Aufwand erfordert. Das Team, dem dies noch nicht gelungen ist, stimmt über eine Story ab, deren tatsächlicher Inhalt lautet: „Drei Tage damit verbringen, Flame-Graphs zu lesen.“ Das sind zwei unterschiedliche Stories.

Zwei Fragen sind für die Schätzung entscheidend. Erstens: Ist die Ursache bekannt? Falls ja, ermitteln Sie den Aufwand für die Behebung. Falls nein, ermitteln Sie den Aufwand für die Untersuchung. Zweitens: Welches SLO wurde durch die Regression verletzt, und bis wann muss es wiederhergestellt sein? Eine Regression, die ein kundenrelevantes SLO verletzt, hat ein anderes Dringlichkeitsprofil als eine 10-prozentige Verlangsamung, die niemand bemerkt hat.

Was in dem Raum gesagt wird

SRE: „Der p95-Wert ist am vergangenen Mittwoch von 200 ms auf 450 ms gestiegen.“

Backend: „Gab es an diesem Tag irgendetwas Auffälliges bei den Deploys?“

Einleitung: „Drei Bereitstellungen. Keine davon betraf den langsamen Endpunkt.“

Backend: „Oder es sah zumindest nicht so aus, als hätten sie den langsamen Endpunkt angesprochen.“

SRE: „Liegen wir noch im Rahmen der SLO? Haben wir Zeit, dies gründlich zu untersuchen?“

Fragen, die man sich vor der Stimmabgabe stellen sollte

  • Ist die Ursache bekannt, oder planen wir gerade eine Untersuchung?
  • Was ist das SLO, und wird es derzeit nicht eingehalten?
  • Was hat sich zwischen dem letzten günstigen Zeitfenster und dem ersten ungünstigen Zeitfenster geändert?
  • Verfügen wir über Flammendiagramme, Ablaufverfolgungen oder lediglich Dashboards?
  • Ist ein Rollback eine sinnvolle Abhilfemaßnahme, während wir den Sachverhalt untersuchen?

Wenn die Ursache noch im Unklaren ist, handelt es sich um einen zeitlich begrenzten Spike, nicht um eine Fehlerbehebung – und falls ein SLO überschritten wird, verschafft ein Rollback die nötige Zeit, um den Spike ohne Zeitdruck durchzuführen.

Geben Sie die Größe dessen an, was Sie tatsächlich haben, und nicht die, die Sie sich wünschen. Eine unbekannte Ursache bedeutet, dass Sie den Suchumfang festlegen.

Ähnlich wie bei der Einschätzung eines Fehlers, der sich nicht reproduzieren lässt liegt der Aufwand in der Diagnose. Sehen Sie sich die anderen Beispiele für durcharbeitete Einschätzungen an oder starten Sie eine kostenlose Planning-Poker-Sitzung, sobald die Ursache benannt ist.