Kickstart für KPIs : Erfolgversprechende Schritte zum Aufbau eines angepassten Kennzahlensystems zur Messung der Informationssicherheit

Von Reiner Kraft und Mechthild Stöwer, Sankt Augustin

Während betriebswirtschaftliche Kennzahlen seit Langem etabliert sind, befindet sich die Anwendung von Kennzahlen zur Informationssicherheit noch in einer initialen Phase – und das, obwohl es etwa mit NIST SP 800-55 [1] und der vor zwei Jahren aktualisierten Norm ISO/IEC 27004 [2] sogar eigene Standards gibt, in denen Qualitätsmerkmale und Vorgehensweisen für die Entwicklung zweckmäßiger Kennzahlen – oder neudeutsch Key-Performance-Indicators (KPIs) – definiert sind.

Dabei sollte der Nutzen offenkundig sein: Kennzahlen helfen Unternehmen und anderen Institutionen dabei, den Grad der Zielerreichung und die dabei erreichte Effizienz zu bewerten. Sie liefern Hinweise für die Steuerung von Investitionen und tragen dazu bei, Fehlentwicklungen in den Abläufen und Strukturen frühzeitig erkennen und korrigieren zu können.

Doch in der Security sieht die Realität meist anders aus: Selbst wenn in einer Organisation bestimmte Aspekte der IT-Nutzung gezählt werden, etwa Zugriffszahlen, Ausfallhäufigkeiten oder die Anzahl von Malware-Vorfällen, geschieht dies meist vereinzelt, unsystematisch und ohne Anbindung an die Informationssicherheitsstrategie der Institution. Ein wichtiges Instrument zur Steuerung der Informationssicherheit sind diese Zahlen in den wenigsten Fällen.

Zweckmäßige Kennzahlensysteme

Eine Erklärung für die zurückhaltende Nutzung von Kennzahlen im Bereich der Informationssicherheit ist ohne Zweifel, dass sich Sicherheit nicht so einfach messen lässt wie Arbeitsproduktivität oder betrieblicher Erfolg. Gleichwohl lassen sich durchaus auch Indikatoren finden, anhand derer man Effektivität und Effizienz von Maßnahmen und die Güte von Prozessen bewerten kann. So ist die Häufigkeit von Malware-Infektionen ohne Zweifel ein Beleg für die Stärke des Schutzes gegen Schadsoftware (s.a. [5]) – wie auch die Anzahl nicht-gepatchter IT-Systeme ein Maß für die Verwundbarkeit eines Netzes ist. Ziel eines Kennzahlensystems ist es, solche Indikatoren derart zu systematisieren, dass die folgenden Anforderungen erfüllt sind:

• Die Kennzahlen sind an den wesentlichen Zielen einer Institution ausgerichtet und decken alle Bereiche ab, die für die Erlangung dieser Ziele wesentlich sind, besonders auch die hierfür kritischen Prozesse und Ressourcen.
• Sie umfassen alle Aspekte der Informationssicherheit, also Systeme und Anwendungen ebenso wie deren organisatorische und infrastrukturelle Rahmenbedingungen.
• Sie müssen aussagekräftig für den jeweiligen Sachverhalt sein und zu reproduzierbaren Ergebnissen führen.
• Sie müssen sinnvolle Vergleiche ermöglichen – sei es zwischen Unternehmensbereichen, im Zeitablauf oder mit anderen Institutionen.
• Die ermittelten Werte besitzen Handlungsrelevanz: Unterschreitungen von festgelegten Sollwerten wie auch positive Entwicklungen müssen zu – möglichst vorab festgelegten – Konsequenzen führen.
• Die Rohdaten für die Berechnung der Kennzahlen können mit vertretbarem Aufwand und möglichst automatisiert erhoben und weiterverarbeitet werden.

In der Praxis zeigt sich, dass es gar nicht so einfach ist, diesen Anforderungen in ihrer Gesamtheit zu genügen. Beispielsweise legen die ersten beiden Punkte ein Top-down-Vorgehen nahe, also die Ableitung geeigneter Kennzahlen aus den Zielen der Institutionen und anerkannten Standards für Informationssicherheit etwa der Normenfamilie ISO 2700x oder dem Anforderungsspektrum des BSI IT-Grundschutzes. Die Grenzen eines reinen Top-down-Ansatzes machen sich jedoch in der Praxis spätestens dann bemerkbar, wenn es darum geht, für ausgewählte Fragestellungen geeignete Kennzahlen und Messdaten zu finden.

Aber auch ein reines Bottom-up-Vorgehen, also die Definition von Kennzahlen aus leicht zu ermittelnden Rohdaten (beispielsweise automatisiert generierten Systemprotokollen), führt nur selten zu befriedigenden Ergebnissen. Während sich technische Sachverhalte noch vergleichsweise leicht in Zahlenwerten ausdrücken lassen, fällt dies für die „weichen“ Faktoren zur Informationssicherheit wesentlich schwerer – etwa bei Awareness oder Know-how der Benutzer.

In der Praxis sind daher pragmatische Lösungen nötig, um das, was gemessen werden soll, mit dem, was gemessen werden kann, in Einklang zu bringen.

Schrittweises Vorgehen

Bei der Entwicklung und Einführung eines Kennzahlensystems sind nicht zuletzt die spezifischen Gegebenheiten einer Institution zu berücksichtigen: Welche Aspekte der Informationssicherheit sind von besonderem Interesse? Gibt es Abteilungen oder Standorte, auf die der Fokus zu richten ist? Welche Kennzahlen können bei geringem Aufwand mit den notwendigen Daten befüllt werden? Wie aufwendig sind ansonsten die Verfahren zur Datenerhebung? Auf welche definierten Melde- und Berichtswege kann man bei der Kommunikation der Ergebnisse aufsetzen? Welche Kennzahlen scheinen besonders erfolgversprechend? Dies ist nur eine Auswahl der Fragen, die in diesem Zusammenhang zu beantworten sind.

Besonders dann, wenn eine Institution noch keine oder nur geringe und unsystematische Erfahrungen mit Kennzahlen hat, bietet es sich an, für das Thema ein Pilotprojekt aufzusetzen. In der zugehörigen Arbeitsgruppe sollten strategisch und operativ für die Informationssicherheit Verantwortliche aus wesentlichen Bereichen einer Institution mitwirken. Man sollte darauf achten, dass dieser Kreis nicht zu groß wird – zwischen fünf und zehn Mitwirkende sind ideal. Falls in Einzelfragen spezielles Wissen gefragt ist, können passende Know-how-Träger ad hoc hinzugezogen werden.

Es ist dabei wichtiger, Erfahrungen in der Tiefe zu gewinnen als in der Breite! Das Pilotprojekt sollte daher von vorneherein nur einen begrenzten Umfang an zu definierenden Kennzahlen zum Ziel haben: In verschiedenen Projekten, an denen die Autoren beteiligt waren, hat sich ein Umfang zwischen zehn und maximal zwanzig Kennzahlen als sinnvolle Größe erwiesen, wobei in der Regel die ursprünglich anvisierte Anzahl eher nach unten als nach oben korrigiert wurde.

Es bietet sich an, für das Pilotprojekt eine Reihe von Workshops mit folgenden Arbeitspaketen (AP) durchzuführen:

• I Initialisierung: Einführung in die Thematik, Abstimmung von Projektzielen und Arbeitsweisen
• II Definition eines ersten Sets an Kennzahlen
• III Priorisierung der Kennzahlen mit dem Ziel, Kandidaten für eine Erprobung zu extrahieren
• IV Erprobungsphase
• V Evaluation und Konzeption einer möglichen Erweiterung

Bei der Initialisierung (AP I) geht es zunächst einmal darum, ein gemeinsames Verständnis für die Ziele und die Vorgehensweise des Vorhabens zu entwickeln. Vor allem ist frühzeitig festzulegen, welche Informationen im primären Fokus der Institution und des geplanten Kennzahlensystems stehen. In diesem Zusammenhang ist zu klären, auf welche Ausschnitte (Standorte, Abteilungen oder Prozesse) der Einrichtung sich das Vorhaben konzentrieren soll und welche sachlichen Fragestellungen im Vordergrund stehen.

Eng verknüpft ist damit die Frage nach den Zielgruppen der Kennzahlen: Beispielsweise ist die Leitungsebene bevorzugt an übergreifenden strategischen Kennzahlen interessiert (siehe etwa [6]), während im Fokus der IT-Administration eher operationale Kennzahlen stehen, also solche zur Qualität der Umsetzung konkreter technischer und organisatorischer Sicherheitsmaßnahmen. Als hilfreich für das weitere Vorgehen im Projekt hat sich ferner erwiesen, bereits frühzeitig in einem „Kennzahlensteckbrief“ festzulegen, mit welchen Attributen eine Kennzahl beschrieben wird (siehe Kasten).

Attribute einer Kennzahl

Ein Kennzahlensteckbrief kann beispielsweise die folgenden Attribute enthalten:

• Name: eindeutige Bezeichnung
• Beschreibung: kurze Erläuterung des Ziels der Kennzahl und des mit ihr erfassten Sachverhalts
• Bezüge: beispielsweise zu Anforderungen aus ISO 27001/02 oder Vorgaben des Sicherheitskonzepts, auf die sich die Kennzahl bezieht
• Zielgruppe/Adressat: An wen richtet sich die Kennzahl? Wer muss die verknüpften Maßnahmen initiieren und kontrollieren?
• Formel: Berechnungsvorschrift
• Datenquelle: Herkunft der Rohdaten, zum Beispiel Systemprotokolle, zu befragende Personen, zu anderen Zwecken zusammengestellte Auswertungen
• Frequenz: Zeitintervalle oder -punkte der Berechnung
• Voraussetzungen: Bedingungen, die für die Berechnung der Kennzahl erfüllt sein müssen
• Auswertungsschema: Abbildung der Kennzahlenwerte auf ein normalisiertes Bewertungsschema, zum Beispiel ein Ampelsystem oder eine mehrstufige Skala
• Zielwerte: zu definierten Zeitpunkten angestrebte Werte
• Schwellenwerte: Grenzwerte, deren Unter- oder Überschreitung handlungsrelevant ist
• Verknüpfte Maßnahmen: Was ist zu tun, wenn Schwellenwerte unter- oder überschritten werden?
• Verantwortliche: Wer ist für die Erhebung und Berechnung zuständig?

Ableitung geeigneter Kennzahlen

In Arbeitspaket II wird ein – unter Umständen noch sehr umfangreiches – Set möglicher Kennzahlen entwickelt. Hilfsmittel hierfür können interne Regelwerke, aber auch die Anforderungen in relevanten Standards wie ISO/IEC 27001/27002 sein. Für jede betrachtete Anforderung sind Indikatoren zu finden, die Aufschluss über die einzelnen Aspekte ihrer Umsetzung liefern. Mithilfe von Fragen können dann potenzielle Kennzahlen abgeleitet werden. Drei Beispiele sollen nachfolgend diesen Top-down-Ansatz verdeutlichen.

Beispiel 1: Wenn eine Institution wissen möchte, wie gut die Richtlinien zur Klassifizierung von Informationen eingehalten werden, stellen sich unter anderem die folgenden Fragen:

• Werden diese Richtlinien durchgängig angewendet?
• Werden sie korrekt angewendet?
• Werden Dokumente entsprechend ihrer Klassifizierung behandelt?

Diese Fragen könnten mit folgenden Kennzahlen beantwortet werden:

• Anzahl klassifizierter Dokumente / Anzahl geprüfter Dokumente
• Anzahl korrekt klassifizierter Dokumente / Anzahl klassifizierter Dokumente
• Anzahl bekanntgewordener Fälle, bei denen Richtlinien missachtet wurden

Beispiel 2: Die Awareness der Benutzer gehört zu den schwierig zu messenden Aspekten der Informationssicherheit. Die folgenden Fragestellungen verweisen auf mögliche Indikatoren:

• Werden die Benutzer ausreichend zur Informationssicherheit informiert?
• Wie gut ist das Verständnis für Informationssicherheit?
• Wie wirksam sind durchgeführte Schulungen?

Exemplarische Kennzahlen zu diesen Fragen sind:

• Anzahl Teilnehmer an Schulungen / Anzahl der Beschäftigten
• Erfolgsquote in abschließenden Tests
• festgestellte Verhaltensänderungen bezüglich Schulungsinhalten

Beispiel 3: Dem Thema „Zugriffsrechte und Zugriffsschutz“ können unter anderem die folgenden Fragestellungen zugeordnet werden:

• Werden Zugriffsrechte den Richtlinien gemäß restriktiv vergeben?
• Werden Zugriffsberechtigungen korrekt dokumentiert?
• Werden Passwortrichtlinien eingehalten?

Mögliche Kennzahlen zu diesen Fragen sind (siehe auch [10]):

• Anzahl Benutzer mit Administratorrechten / Anzahl aller Benutzer
• Anzahl korrekt dokumentierter Berechtigungen / Anzahl dokumentierter Berechtigungen
• Anzahl geknackter Passwörter / Anzahl geprüfter Passwörter

Alle Beispielkennzahlen sind dabei für festzulegende Zeitintervalle zu erheben.

Kennzahlen erproben

In Arbeitspaket III sind die vorläufig zusammengestellten Kennzahlen zu priorisieren, um Kandidaten für eine prototypische Umsetzung zu finden. In diesen Prozess können verschiedene Kriterien einfließen, beispielsweise die Relevanz einer Kennzahl für die Informationssicherheitsziele, der geschätzte Umsetzungsaufwand, der Beitrag zu einer möglichst breiten Abdeckung der verschiedenen Aspekte der Informationssicherheit, aber auch auf den ersten Blick eher sekundäre Ziele wie das Potenzial einer Kennzahl für die Sicherheitssensibilisierung. Ein besonderes Gewicht können „Quick Wins“ bekommen, also Kennzahlen mit besonderer Aussagekraft, die aber nur einen geringen Erhebungsaufwand erfordern.

Die Erprobung der ausgewählten Kennzahlen (AP IV) zielt darauf ab, die Angemessenheit der Kennzahlenspezifikation zu prüfen: Sind die angedachten Messverfahren tatsächlich anwendbar? Wurde der damit verbundene Aufwand realistisch kalkuliert? Sind die festgelegten Bewertungsskalen und Zielvorgaben richtig gewählt? Werden die Kennzahlen angemessen kommuniziert und präsentiert? Greifen die festgelegten korrektiven Maßnahmen?

Für den Test ist ein ausreichend langer Zeitraum zu wählen, damit die Evaluation der Kennzahlen auf einer validen Datenbasis beruhen kann – in der Regel sind mindestens drei Monate vorzusehen. Im abschließenden Arbeitspaket (AP V) sind die erprobten Kennzahlen bei Bedarf anzupassen und mögliche Erweiterungen des Kennzahlensystems zu konzipieren.

Fazit

Geeignete Kennzahlen zur Effektivität und Effizienz der organisatorischen und technischen Sicherheitsmaßnahmen können einen wichtigen Beitrag zur Weiterentwicklung des Informationssicherheitsmanagements leisten. Die Einführung eines für eine Institution passgenauen Kennzahlensystems wird durch ein schrittweises Vorgehen erleichtert. Ein solcher Ansatz bietet darüber hinaus aufgrund der intensiven Beschäftigung mit den Abläufen in einer Institution auch weitere Vorteile: Beispielsweise werden unter Umständen Schwachstellen in den organisatorischen Abläufen sichtbar und können korrigiert werden. Darüber hinaus kann ein entsprechendes Pilotprojekt auch dazu beitragen, die Sensibilität für Sicherheitsfragen zu erhöhen.

Mechthild Stöwer leitet die Abteilung Security-Management des Fraunhofer-Instituts für Sichere Informationstechnologie (SIT). Reiner Kraft ist wissenschaftlicher Mitarbeiter in dieser Abteilung.

Literatur

[1] Elizabeth Chew, Marianne Swanson, Kevin Stine, Nadya Bartol, Anthony Brown, Will Robinson, Performance Measurement Guide for Information Security, NIST Special Publication (SP) 800-55 Revision 1, https://csrc.nist.gov/publications/detail/sp/800-55/rev-1/final
[2] International Organization for Standardization (ISO), International Electrotechnical Commission (IEC), Information technology – Security techniques – Information security management – Monitoring, measurement, analysis and evaluation, ISO/IEC 27004:2016, www.iso.org/standard/64120.html
[3] Dr. Aleksandra Sowa, Metriken – der Schlüssel zum erfolgreichen Security und Compliance Monitoring, Vieweg und Teubner, 2011, ISBN 978-3-8348-1480-7
[4] Anna Riske, Erfolgsmessung in der Informationssicherheit: KPIs aussagekräftig gestalten, <kes> 2018#3, S. 16
[5] Ralph Dombach, Die glorreichen Sieben, Sieben Malware-KPIs mit Optimierungspotenzial, <kes> 2016#2, S. 14
[6] Holger Himmel, Aleksandra Sowa, Ein Tacho für die IT-Sicherheit, Index der Gefährdungslage, <kes> 2015#4, S. 14
[7] Andreas Rauer, Fun Facts oder Heiliger Gral?, C4P: Methodik zur Erstellung von Sicherheitsmetriken im Kontext von ISO/IEC 27001:2005, <kes> 2013#4, S. 33
[8] Aleksandra Sowa, Sicherheitsrichtlinie: hilfreich oder hinderlich?, Metriken zur unmittelbaren Bewertung und Beurteilung der Effektivität von Security-Policies, <kes> 2012#3, S. 18
[9] Aleksandra Sowa, Kontrollen und Metriken für CloudComputing, <kes> 2011#5, S. 57
[10] Aleksandra Sowa, Access Control Controls, Metrik für den IT-Security-Compliance-Report am Beispiel von Zugriffsberechtigungen, <kes> 2010#1, S. 12
[11] Lampros Tsinas und Björn Trösken, Sebastian Sowa, KPI-Framework für Informationssicherheit, <kes> 2009#4, S. 6