Erfolgsmessung in der Informationssicherheit: : KPIs aussagekräftig gestalten

Von Anna Riske, Wolfsburg

Die Entwicklung eines aussagekräftigen Kennzahlensystems zur regelmäßigen Überprüfung der Wirksamkeit ist ein wesentlicher Bestandteil eines Information-Security-Management-Systems (ISMS). Zunächst gilt es daher, sich der Ziele bewusst zu sein, die eine geeignete Überwachung der Wirksamkeit und Performance erreicht.

Ein Kennzahlensystem trägt wesentlich dazu bei, Systeme und Prozesse steuern zu können. Im Kontext von ISMS geht es aber auch darum, Ergebnisse und Erfolge in Richtung Management nachweisbar und adressierbar zu machen. Damit erreicht der Chief Information-Security-Officer (CISO) nicht nur eine höhere Sichtbarkeit seiner Themen, sondern steigert im besten Fall auch den Mehrwert, den ein gut aufgestelltes ISMS erreicht. Kennzahlen bilden zudem in vielen Fällen die Grundlage für einen Business-Case. Mit diesem Werkzeug machen CISOs notwendige Investitionen aus Managementsicht transparent und bilden den Wertschöpfungsbeitrag von Informationssicherheitsmaßnahmen ab.

Darüber hinaus gilt es, innerhalb der Fachabteilung sowie der Gesamtorganisation Anreize zu schaffen, sich kontinuierlich zu verbessern – Kennzahlen werden so zum Motivationsanreiz. In der Informationssicherheit hängt zudem einiges davon ab, Zusammenhänge zu erkennen, zu verstehen und komplexe Sachverhalte wie mögliche Angriffsszenarien zu analysieren. Auch in diesem Bereich hilft es der Sache sehr, reproduzierbare, wiederkehrende Ereignisse und Ergebnisse zu messen und in Kennzahlen auszudrücken. Darüber hinaus helfen sie, Verbesserungspotenzial zu identifizieren und Argumente für geplante Investitionen zu stärken.

Nun ist aber nicht jede Art von Messwert gleich eine Kennzahl oder sogar ein Key-Performance-Indicator (KPI). Entsprechend der im ISMS verankerten Ziele unterscheiden sich verschiedene Arten von Metriken deutlich – alle haben ihren spezifischen Zweck. In der Praxis werden die einzelnen Begrifflichkeiten jedoch oft gleichbedeutend oder gar falsch verwendet. Nicht selten ist das, was als „KPI“ bezeichnet wird (z. B. die Anzahl gefundener Viren pro Monat), bei genauerer Betrachtung nichts weiter als eine reine Metrik ohne wesentliche Aussagekraft bezüglich der Performance eines Prozesses.

Nicht jede Metrik ist ein KPI

Genau die Verknüpfung mit dem Prozess ist das Entscheidende – nicht die technische Machbarkeit einer Messgröße. Ein Security-Informations- und -Event-Management-(SIEM)-System bietet beispielsweise unendlich viele Möglichkeiten, Messwerte und Kennzahlen aus IT-und Sicherheits-Tools zu erheben und zu kombinieren. Ohne eine Prozessbetrachtung werden diese Metriken aber nie relevante Aussagen über die Qualität und Wirksamkeit eines IS-Prozesses treffen.

Bei der Definition von KPIs hilft beispielsweise die ISO/IEC 27004 – „Information technology – Security techniques – Information security-management – Monitoring, measurement, analysis and evaluation“. Diese internationale Norm unterscheidet grundlegend, ob es sich bei einer Kennzahl um Performance-Indikatoren oder Metriken zum Bestimmen der Wirksamkeit handelt. Hierbei messen Kennzahlen zur Performance den Fortschritt geplanter Aktivitäten – das kann zum Beispiel der Grad der Implementierung von Maßnahmen sein. Kennzahlen zur Effektivität drücken hingegen die Auswirkungen und den Effekt dieser Maßnahmen auf die Sicherheitsziele aus.

Deutlich lässt sich dieser Unterschied am Beispiel eines Awareness-Trainings zeigen: Beschließt man etwa, im Zuge einer Sensibilisierungsmaßnahme zur Informationssicherheit alle Mitarbeiter entsprechend zu schulen, dann ist die Anzahl der geschulten Mitarbeiter im Verhältnis zur Gesamtzahl der Mitarbeiter ein reiner Ausdruck des Fortschritts der Maßnahme beziehungsweise des Schulungsprojekts. Damit lassen sich aber noch keine Rückschlüsse auf die Effektivität der Maßnahme ableiten.

Dies wird eher möglich, wenn die Metrik den Kenntnisstand über Schulungsinhalte in einer Art Wissenstest vor und nach dem Training abfragt. Als ersten Anhaltspunkt lässt sich alternativ auch eine Auswahl systematisch erhobener, allgemeiner Fragen zur Awareness in internen Audits einstreuen und als Referenz heranziehen. Eine echte Kennzahl zur Effektivität erlangt man jedoch erst, wenn sich nachweisen lässt, dass das Training eine Auswirkung auf das Verhalten der Nutzer hat. Ein möglicher Ansatzpunkt wäre zum Beispiel die Korrelation von tatsächlichen Security-Incidents zu den Themengebieten der Schulung.

Arten von Kennzahlen

Wirkliche KPIs beziehen sich auf den Fortschritt hin zu einem definierten Ziel, das im Sinne eines ISMS durch das Management festgelegt wurde. Es muss sich zudem um eine Kennzahl mit wesentlicher Aussagekraft zu diesem Ziel handeln, denn KPIs setzen die Business-Perspektive in den Kontext zur Informationssicherheit. Sie geben dem Management wichtigen Aufschluss zur Frage: „Warum sollten wir uns diesem Thema verstärkt widmen?“

Kennzahlen zur Effektivität stehen immer im direkten Zusammenhang zu den Zielen und Aktivitäten des ISMS. Daher lassen sie sich oft nur durch die Kombination mehrerer Datenquellen wie Prozessaktivitäten plus Daten zu technischen Maßnahmen bilden. Eine dieser Datenquellen muss sich immer auf einen Management-Prozess des ISMS beziehen.

Einen weiteren Aspekt bildet die Interpretation der Indikatoren: Hier ist vor allem zwischen Key-Risk-Indicators (KRIs) und Key-Control-Indicators (KCIs) zu unterscheiden. KRIs treffen eine Aussage über das Risikoniveau, dem die Organisation ausgesetzt ist, und stehen somit in direktem Zusammenhang zu wichtigen Geschäftsprozessen und den damit verbundenen Assets: Sie geben Auskunft über Schwachstellen und einwirkende Bedrohungen, die dieses Risikoniveau verursachen. Das kann beispielsweise der Anteil kritischer Systeme in der IT-Landschaft eines Unternehmens sein, welche die in der betreffenden Sicherheits-Policy definierten Sicherheitsanforderungen nicht erfüllen.

KCIs spiegeln hingegen den Abdeckungsgrad einer Maßnahme wider: Sie verdeutlichen, wieviel Einfluss auf ein Themengebiet und die dort entstehenden Risiken genommen werden kann. Ein KCI ist beispielsweise der Anteil kritischer Systeme innerhalb eines Unternehmens, die auf die Erfüllung von Sicherheitsanforderungen hin untersucht wurden. Beiden gemein ist, dass sowohl KCIs als auch KRIs gute Aussagen über die Effektivität eines Prozesses beziehungsweise einer Maßnahme treffen können (z. B. den Prozess zur Systemfreigabe und -überprüfung).

Gute Metrik, schlechte Metrik

Damit die Ziele einer geeigneten Überwachung auch erreichbar sind, leiten sich daraus Anforderungen an jede einzelne Kennzahl ab. Auch hier bieten Standards eine gute Orientierungshilfe zu den Kriterien, die auch die Datenquellen erfüllen müssen. Der US-amerikanische Standard NIST SP 800-55 (https://doi.org/10.6028/NIST.SP.800-55r1) fordert dazu, dass Kennzahlen quantifizierbar sind, etwa durch Prozentangaben, Zahlen oder Durchschnittswerte. Es nützt also nichts, Metriken zu definieren, wenn dazu auf Datenquellen zugegriffen werden müsste, die keine gut quantifizierbaren Informationen liefern.

Eine weitere Forderung betrifft die Beschaffung der Daten: Diese sollen leicht zu erheben sein. Hier lohnt sich in der Tat häufig ein Blick darauf, wie sich Erhebung und auch Reporting weiter automatisieren lassen – sonst bleibt es häufig bei einer einmaligen Messung oder Aktivität, was dann selbstverständlich niemals die Aussagekraft eines KPIs erreichen kann. Diese Anforderung steht daher in direktem Zusammenhang mit der Forderung, nur wiederholbare Prozesse für Messungen zu betrachten. Prozesse, die diese Anforderung nicht erfüllen, würden zwangsläufig nur einzelne Messungen erzeugen, da deren Werte mehr oder weniger zufällig entstanden sind.

Beispiele für schlecht gewählte Metriken sind etwa die Anzahl nicht-erfolgreicher Logins an einem System pro Monat, die Zahl der gefundenen Viren oder die Anzahl aufgetretener Incidents, da sie keine echte Aussagekraft besitzen. Die Anzahl der „failed logins“ sagt beispielsweise im Endeffekt nichts darüber aus, ob die gewählte Authentifizierungsmethode einen guten Schutz bietet oder erfolgreich Angriffe abwehrt. Dazu ist zum Beispiel die Dunkelziffer der Eingabefehler durch den End-User viel zu hoch. Und wie viele Angriffe von extern auf eine Firewall treffen, sagt nichts über die Qualität eines Informationssicherheitsprozesses aus und ist darüber hinaus nicht vonseiten der Organisation zu beeinflussen. Dementsprechend ist daraus auch nichts für deren Prozess ableitbar oder gar steuerbar. Die Zahl der gefundenen Viren wiederum gibt keinen Aufschluss darüber, wie viele – weitaus gefährlichere, weil nicht erkannte – Viren die Systeme gerade nicht gefunden haben. Genauso verhält es sich mit Incidents.

Die bereits erwähnte ISO/IEC 27004 beschäftigt sich eingehend mit KPIs zur Informationssicherheit. Die Norm definiert sogar per Steckbrief die Parameter, die eine aussagekräftige Kennzahl definieren, damit sie als KPI verwendbar ist. Zu diesen Parametern gehören beispielsweise Zweck, Datenquelle, Schwellwerte, Review-Zyklus, verantwortliche Personen und so weiter.

Eine sinnvolle Metrik mit Potenzial zum KPI ist etwa die Anzahl der Tage, die eine Organisation benötigt, um kritische Systeme mit kritischen Patches zu bespielen. Oder das durchschnittliche Alter des eigenen Regelwerks: Für die Information-Security-Governance ist es höchst sinnvoll, einen der Kernprozesse mit einem KPI zu belegen. Je höher das Durchschnittsalter der Regeln in einer Gesellschaft, desto wahrscheinlicher ist es, dass der innerhalb der ISO 27001 geforderte kontinuierliche Verbesserungsprozess (KVP) hier nicht funktioniert. Die Regelungen wären in diesem Fall wahrscheinlich einmal erstellt und nicht wieder konsolidiert worden.

Fazit

In der Praxis der Informationssicherheit sind wirklich aussagekräftige KPIs gar nicht so leicht zu finden. Das liegt auch daran, dass jedes Unternehmen selbst bestimmen muss, welche KPIs sinnvoll und aussagekräftig sind, denn die ISMS-Ziele können sich abhängig von der Organisation stark unterscheiden – das Gleiche gilt für die zur Verfügung stehenden Informationen und Datenquellen. Daher müssen CISOs den Fokus ihrer Aufmerksamkeit abhängig von den Zielen und Strategien ihres Unternehmens individuell setzen. Hier gibt es keine allgemeingültige Musterlösung.

Letztlich muss jedes Unternehmen seinen eigenen Weg suchen. Im Mittelpunkt steht dabei, Metriken zu finden und zu promoten, die eine höhere Aussagekraft besitzen. Wie gesagt, geht es letztlich um Prozesse und nicht technische Details: Das bedeutet auch, dass sich KPIs in den seltensten Fällen aus den Statistiken von Cyber-Security-Systemen eines Unternehmens allein speisen lassen – ohne die Verknüpfung mit dem zugehörigen Prozess sind es nur einfache Zahlen. Das untermauert den Umstand, dass es nicht allein um den technischen Erfüllungs- oder Reifegrad geht, sondern um wesentlich mehr: nämlich eine ganzheitliche Eingliederung der Informationssicherheit in die Geschäftsprozesse.

Für einen hohen Reifegrad sind beim Erreichen von Schwellwerten einer Kennzahl idealerweise gleich Maßnahmen definiert. Erst das ermöglicht mithilfe eines guten Kennzahlensystems einen sich selbst regelnden Prozess. Es liegt in der Verantwortung der CISOs, gemeinsam mit Systembetreibern und Process-Ownern den Bezug zu diesen Prozessen herzustellen. Die Einführung von KPIs im ISMS sollte allen Beteiligten neue Impulse geben, den Blick über den eigenen Horizont hinaus auf eine ganzheitliche Sichtweise zu erweitern.

Anna Riske ist Information-Security-Manager in der Group IT der Volkswagen AG.