Die Definition eines internen Audits ist in ihrer Erklärung aber auch in der Umsetzung immer wieder eine Herausforderung. So ziemlich jedes Wort der Definition eines Audits kann auf die berühmte Goldwaage gelegt werden. So soll es ein systematischer, unabhängiger und dokumentierter Prozess sein. Und dieser soll dazu führen, für die Erlangung von objektiven Nachweisen förderlich zu sein. Diese werden benötigt, um objektiv auszuwerten, inwieweit Auditkriterien erfüllt werden.
Das alles rund um die Definition eines Audits, Fundstelle ISO 9000:2015 unter 3.13.1, wurde uns Auditoren schon oft mit auf den Weg gegeben. Und schließlich ist ein Audit selbst auch eine stichprobenartige Überprüfung und keine 100% Kontrolle. Was heißt das jetzt konkret für uns? Wollen wir das Thema der Stichprobenahme hier einmal etwas genauer betrachten.
Objektive Nachweise erlangen, um Auditfeststellungen zu treffen
Klären wir zunächst den Begriff „Objektiver Nachweis“. Dieser ist unter ISO 9000:2015 Punkt 3.8.3, wie folgt definiert ist: „Daten, welche die Existenz oder Wahrheit von etwas bestätigen“. Der Nachweis, hier: „Auditnachweis“ ist noch separat unter ISO 9000, Punkt 3.13.8 spezifiziert als „Aufzeichnungen, Tatsachenfeststellungen oder andere Informationen, die für die Auditkriterien zutreffen und verifizierbar sind“. Wir sind also auf der Suche nach IST-Zuständen (objektive Nachweise), um diese mit SOLL-Zuständen (Auditkriterien) abzugleichen. So können wir Auditfeststellungen treffen. Passen Soll-Zustand und Ist-Zustand zusammen können wir Übereinstimmung bestätigen, ist dem nicht so handelt es sich um eine Nicht-Übereinstimmung und die mündet dann ggf. in einer Nichtkonformität oder Abweichung (da mag es mehrere Begriffe geben). Die Definition der „Auditfeststellung“ in der ISO 9000, Punkt 3.19.9 lautet: „Ergebnisse der Beurteilung der zusammengestellten Auditnachweise gegen Auditkriterien.
Die Stichprobenahme im Rahmen eines Audits
Wie der Name sagt, bezieht sich eine Stichprobenahme auf eine Teilmenge der zugrunde liegenden Daten aus einem Prozess. Diese kann man ja auch theoretisch und praktisch nicht als Grundgesamtheit betrachten. Wir erheben immer eine Stichrobe, dass ist also der Normalfall. (Es sollte nur allen klar sein. Aus diesem Grunde wird es in einer Eröffnungsbesprechung extra mitgeteilt.) Die ISO 19011:2018 geht im Kapitel A.6 „Stichprobenahme“ auf dieses Thema ausführlich ein. In A.6.1 „Allgemeines“ wird ausgeführt: „Das Risiko, das mit der Stichprobe verbunden ist, besteht darin, dass die Proben (also betrachtete Beispiele) nicht repräsentativ für die Grundgesamtheit, aus der sie gewählt wurden, sein können. Und somit kann die Schlussfolgerung des Auditors verfälscht sein und sich von der unterscheiden, die gezogen würde, wenn die gesamte Grundgesamtheit geprüft würde.“
Das ist so, in der Statistik auch bekannt, und sieht den wunderbaren Namen der „Irrtumswahrscheinlichkeit“ dafür vor. Es ist aber auch so, dass eine Übereinstimmung oder eine Nicht-Übereinstimmung auch eine Tatsache ist, die von Relevanz für unser Urteil ist. Also halten wir einmal fest, dass ein Ereignis (n=1) auch schon eine Bedeutung hat.
Alle unsere YouTube Videos finden Sie hier auf dem YouTube Kanal der VOREST AG!
Die entscheidungsbasierte Stichprobenahme im Rahmen eines Audits
Ist die Stichprobe größer zu wählen, gibt uns die ISO 19011 grundsätzlich zwei Verfahren an die Hand. Die entscheidungsbasierte Stichprobenahme (Kapitel A.6.2) und die statistische Stichprobenahme (Kapitel A.6.3). Die entscheidungsbasierte Stichprobenahme stützen sich auf die Kompetenz der Auditoren. Hierzu zählen folgende Merkmale:
- Frühere Auditerfahrung im Rahmen des Auditumfangs
- Komplexität der Anforderungen, um die Auditziele zu erreichen
- Komplexität und Wechselwirkungen der Prozesse der Organisation sowie der Elemente des Managementsystems
- Grad der Veränderung in Bezug auf die Technik, den menschlichen Faktor oder das Managementsystem
- zuvor identifizierte Risiken und Verbesserungsmöglichkeiten
- Ergebnisse aus der Überwachung von Managementsystemen
„Ein Nachteil – so wird im Kapitel A.6.2 der Norm ISO 19011 ausgeführt – der entscheidungsbasierten Stichprobenahme ist, dass es keine statistische Schätzung über die Wirkung der Unsicherheit in Bezug auf die Auditfeststellungen und auf die erreichten Schlussfolgerungen geben kann.“ Ein Nachteil, mit dem wir ISO 9001 Auditoren in den meisten Fällen gut leben können. Mit dem Wissen um die Ausführungen 1) – 6), dabei manche mehr andere weniger ausgeprägt, sind wir kompetent den Sachverhalt beurteilen zu können. Da reicht ggf. n=1 als eine qualifizierte Stichprobe mit den oben ausgeführten Argumenten aus. Oder wir erweitern die Stichproben oder haben sowieso vor, uns mehrere Beispiele anzuschauen. Dazu ist eine entsprechende Auditvorbereitung hilfreich.
Stichprobenahme - Beispiele
Nachfolgend erläutern wir Ihnen einige Beispiele zur Stichprobenahme im Kontext unterschiedlicher Rahmenbedingungen.
Beispiel mit wenigen Ereignissen
Drei Entwicklungsprojekte im Jahr wären mit n=1 angemessen betrachtet. Tritt eine Unsicherheit / Nicht-Übereinstimmung in dem Entwicklungsprojekt auf, könnte man diesem Sachverhalt in einen zweiten Entwicklungsprojekt (n=2) betrachten. Haben wir dann zwei Nicht-Übereinstimmungen, ist der Sachverhalt klar (war er aber wahrscheinlich schon vorher). Steht es bei n=2 dann 1:1 haben wir trotzdem eine Nicht-Übereinstimmung. Bei einem zweistufigen System mit Haupt- und Nebenabweichungen wären wir dann bei einer Nebenabweichung; im Falle n=2 mit zweimal Nicht-Übereinstimmung bei einer Hauptabweichung. Also hier ist auch die Frage relevant, ob es einer zweiten Stichprobe bedarf, denn eine Abweichung ist es ja auf jeden Fall.
Interessante Produkte für Sie
Kursformen
Zertifikat
Informationen
Beispiel mit vielen Ereignissen
150 Prüfmittel sind im Einsatz. Hier wäre von Bedeutung, ob es unterschiedliche Gattungen von Prüfmitteln gibt, um eine qualifizierte Stichprobe ziehen zu können (z.B. je Gattung 1 oder 2 Stichproben). Eine Risikoeinschätzung für das Prüfmerkmal ist auch hilfreich. Hier gilt es auch eine Stichprobenobergrenze in Betracht zu ziehen; weniger ist mehr, bzw. kein weiterer Erkenntnisgewinn mehr möglich. Da sollten max. sieben Stichproben ausreichen. Hätten wir jetzt eine Nicht-Übereinstimmung und betrachten weitere 10 Prüfmittel, dann ist kein großer Erkenntnisgewinn mehr damit verbunden. Wir Auditoren suchen Übereinstimmung, die Abweichungen fallen uns ja typischerweise in den Schoß und eine so große Stichprobenanzahl lässt den Auditierten vermuten, dass hier eine Abweichung gesucht wird. Das wäre auch für die Auditatmosphäre nachteilig.
Beispiel mit höherem Risiko für die Organisation
Das gilt nicht nur zusätzlich für das vorhin erwähnte Entwicklungsprojekt, sondern auch für den Entwicklungsprozess selbst. Hier würde ich mit n=1 (weil nur ein Prozess aus den von ihrer Organisation bestimmten Prozessen für das QMS betrachtet wird) beginnen, aber anhand von einigen Prozesskriterien zur Beurteilung eines wirksam umgesetzten Entwicklungsprozesses (siehe ISO 9001 Kap. 4.4.1). Im internen Audit haben wir typischerweise nur einen Prozess in einem Audit; im externen Audit schaue ich im Laufe eines Audits auf mehrere Prozesse, also eher zwei bis drei Mal, aber schon bei einer Nicht-Übereinstimmung wäre dann eine Nichtkonformität festzuhalten. Manchmal meint es der Auditierte gut und hat z.B. ein etwas komplexeres Entwicklungsprojekt (oder ähnliches) extra zusammengestellt.
Der Komplexität geschuldet lassen Sie es sich im Rahmen des Audits vorstellen. Erklären Sie dann (bedient Punkt A.6.2.b der ISO 19011– siehe weiter oben im Text), dass Sie den Ablauf verstanden haben und ein weiteres Projekt im Sinne einer unabhängigen Stichprobe betrachten möchten. Wir sind ja nicht in Maggi‘s Kochstudio, nach dem Motto: „Wir haben da schon mal etwas für Sie vorbereitet.“
Beispiel mit geringerem Risiko für die Organisation
Sehen wir vor unserem geistigen Auge beispielsweise etwas aus der Welt der gelenkten Dokumente. Anhand einer abgelaufenen oder nicht autorisierten Arbeitsanweisung kann man (je nach Risiko) sicherlich nicht den gesamten Prozess zur Lenkung von Dokumenten in Frage stellen, bzw. an dessen Wirksamkeit Zweifel äußern (in Form einer Abweichung). Hier gilt es sicherlich abzuschätzen und evtl. zu sagen 1 x ist keinmal, aber drei Ecken sind ein Tor, wie es im Fußball so schön heißt. Bei dann drei fehlerhaften Dokumenten wäre schon der Lenkungsprozess als unwirksam mit einer Abweichung zu kommentieren. Generell ist aber zu berücksichtigen, wenn eine unkritische Situation nicht übereinstimmend ist, wie hoch ist das Risiko, dass eben auch eine kritische Situation nicht übereinstimmend sein könnte – dann schreiben Sie lieber eine Abweichung.
Statistische Stichprobenahme
Statistische Verfahren zur Stichprobenahme stellen eine erhöhte Komplexität und ein ggf. präziseres Ergebnis in einer Überprüfung, also hier in einem Audit, dar. Ich denke, es steht in der ISO 19011 mit recht drin, es gibt auch andere Managementsysteme, die hier abgedeckt werden müssen. Jedoch ist es eher weniger für unsere Betrachtungen im Rahmen einer ISO 9001 Auditierung geeignet.
Abschließende Gedanken zur Stichprobenahme
Jede Stichprobe ist durch zwei Merkmale gekennzeichnet: ihre Größe (Stichprobenumfang, -größe) und das verwendete Auswahlverfahren (Stichprobenart, -plan). In zahlreichen Kulturen gilt die Zahl „7“ als Symbol für Vollkommenheit und Erleuchtung und sollte auch unser Engagement nach oben (Anzahl betrachteter Ereignisse)
begrenzen. Man bedenke, wenn die theoretische Sättigung erreicht ist, werden Daten und Ereignissammlungen und Auswertungen, keine neuen Erkenntnisse mehr erzielen – Auditdauer ist stets knapp bemessen. Also wäre das eine gute Haltung für unsere Vorgehensweise im Audit. Aber in jeden Fall gilt es ihre Wahrnehmung ernst zu nehmen. Wenn Ihr Gefühl sagt, eine weitere Stichprobe wäre ihnen wichtig, dann machen sie das. Als Faustformel zur Stichprobenahme: Machen Sie es gut, aber nicht zu oft!
Ich helfe Ihnen gerne weiter!
Kati Schäfer
Produktmanagement Training & PRO SYS
Tel.: 07231 92 23 91 - 0
E-Mail: kschaefer@vorest-ag.de