Zum Inhalt

Modul: Dokumentation der Datenanalyse#

Inhalt

Die Dokumentation der Datenanalyse kann zur Struktur und Transparenz des gesamten Prozesses beitragen. Sie reicht von der Beschreibung der zu gewinnenden Informationen bis zum gewinnbringenden Einsatz der Analyseergebnisse. Zunächst wird motiviert, warum dieser Prozesse dokumentiert werden sollte. Daraufhin werden einige Arten der Dokumentation beschrieben, die genutzt werden könnten, und beschrieben, warum sich welche im Kontext der Analyse von projektbasierten Lehrveranstaltungen eignen. In der Form eines strukturierten Schemas wird auf die Inhalte eingegangen, die eine solche Dokumentation abdecken sollte und erläutert, wie sich die Dokumentation nutzen lässt. Am Ende wird ein konkretes Schema bereitgestellt, das verwendet werden kann.

Rolle

AnalytikerIn (und alle ihre Sub-Rollen)

Genauso, wie es sich lohnt, die Entwicklung von Software zu dokumentieren, so lohnt es sich auch, den Datenanalyseprozess zu dokumentieren. Die Vorteile sind ähnlich, denn auch während der Datenanalyse werden etliche Entscheidungen getroffen und Ergebnisse erzeugt, die dokumentiert werden sollten, damit z. B. die Transparenz des Prozesses für alle Beteiligten erhöht werden kann. So lassen sich z. B. Analyseergebnisse, Interpretationen und abgeleitete Anpassungsvorschläge -- aber auch handwerkliche Fehler oder Fehlschlüsse -- zu einem späteren Zeitpunkt nachvollziehen. Dies kann unter den analysierten Personen zu einer größeren Akzeptanz der Ergebnisse führen.

Außerdem dient die Dokumentation des Vorgehens dazu, eine einheitliche Prozessstruktur zu etablieren und in einer folgenden Iteration, in der z. B. die Ergebnisse verbessert oder genauer untersucht werden sollen, die Unterschiede hervorzuheben.

Darüber hinaus kann die Dokumentation dazu eingesetzt werden, die (Teil-)Ergebnisse der einzelnen Tätigkeiten zu sammeln und zu verteilen. Sie dient somit als Informationsschnittstelle zwischen den Tätigkeitsbereichen bzw. Rollen (mehr dazu unten).

Einzelpersonen

Die Dokumentation ist nicht weniger sinnvoll, wenn die gesamte Datenanalyse von nur einer Person durchgeführt wird. Es wird dazu geraten, die Dokumentation immer ausführlich genug zu pflegen -- unabhängig davon, wie viele Personen beteiligt sind.

Arten der Dokumentation#

Die Dokumentation kann auf viele unterschiedliche Arten erfolgen. Es wird vorgeschlagen, sich an den folgenden Prinzipien zu orientieren:

  • Eine zentrale Sammlung der Dokumentationsteile ist einer verteilten, nicht zusammengeführten Dokumentation vorzuziehen.
  • Die Dokumentation sollte (größtenteils) in schriftlicher, grafischer und tabellarischer und nicht in sprachlicher Form (z. B. Voice-Recordings) erfolgen.
  • Ein einheitliches Schema für die Dokumentation des gesamten Datenanalyseprozesses ist einer freien Dokumentation vorzuziehen.

Eine zentrale Sammlung der Dokumentation führt dazu, dass alle Beteiligten die Entscheidungen der anderen überblicken und nachvollziehen können. Außerdem können so die Ergebnisse der einzelnen Tätigkeitsbereiche übersichtlich ausgetauscht und aufgefunden werden. So muss die DatenvisualisiererIn z. B. nicht die DatenintegratorIn nach dem entwickelten Datenbankschema fragen, sondern weiß, wo sie dieses findet und wie sie es zu verstehen hat. Zusätzlich kann sie auf die Ergebnisse der DatenversteherIn zugreifen und sich erschließen, welche Daten verarbeitet wurden.

Die Dokumentation in schriftlicher Form hat die Vorteile, dass sie textuell durchsuchbar ist, einzelne Teile einfach angepasst/korrigiert und Ergebnisse zur Weiterverarbeitung kopiert werden können. Wann immer möglich sollten die Texte durch Grafiken und Tabellen ergänzt werden, um die Inhalte aufzubereiten. Auch wenn es in sprachlicher Form (möglicherweise sogar unterstützt durch ein Video) oft einfacher ist, bestimmte Sachverhalte zu erklären, so ist (in den meisten technischen Umgebungen) das Auffinden und Korrigieren von Inhalten schwieriger.

Die Einigung auf ein einheitliches Schema für die Dokumentation hilft dabei, die einzelnen Datenanalysevorgänge überschaubar, nachvollziehbar und vergleichbar zu gestalten. Außerdem wissen alle Beteiligten, wo sie welche Informationen zu suchen haben.

Struktur und Nutzung der Dokumentation#

Die Struktur der Dokumentation sollte sich an dem gewählten Vorgehensmodell für die Datenanalyse orientieren und die einzelnen Tätigkeitsfelder abdecken. Zu Beginn sollte der Kontext des Analyseauftrags beschrieben werden. Dieser Auftrag wird anschließend (wie in Analysefragen formulieren vorgeschlagen) durch die Verfeinerung/Erweiterung von Analysefragen in jeder Iteration bearbeitet.

In der Dokumentation sollten nicht nur Entscheidungen festgehalten, sondern auch die Ergebnisse der einzelnen Tätigkeitsfelder referenziert/eingefügt und beschrieben werden. Sie dient somit auch als Schnittstelle zur Übergabe von Informationen zwischen den einzelnen Tätigkeitsfeldern bzw. Rollen.

Der Umfang an Datenanalysen, den eine Sammlung/ein Dokument enthält, muss individuell festgelegt werden. Dennoch wird das folgende Vorgehen vorgeschlagen:

  • Eine Sammlung (nach einem einheitlichen Schema) für jede Iteration der Datenanalyse (siehe Vorgehensmodell) anlegen. Dabei ggf. gleichbleibende Passagen aus vorherigen Iterationen referenzieren.
  • Die Sammlungen dem übergeordneten Auftrag zuordnen.

Die Dokumentation sollte mindestens den Personen zugänglich gemacht werden, die an der Datenanalyse beteiligt sind. Darüber hinaus kann es sinnvoll sein, auch den analysierten Personen Zugang zu der Dokumentation zu geben, um z. B. die Nachvollziehbarkeit und Glaubwürdigkeit der Interpretationen und abgeleiteten Anpassungsvorschläge zu stärken.

Integration der Dokumentation#

Das Dokumentieren sollte in alle Tätigkeitsfelder (des Vorgehensmodells) integriert werden und die beteiligten Personen sollten kollaborativ an der Dokumentation arbeiten können.

Um ein einheitliches Schema zu etablieren, bietet es sich an, eine Vorlage (Template) bereitzustellen. Das Template sollte nicht nur eine grobe Struktur, sondern auch konkrete Fragen/Platzhalter beinhalten, die von den Personen beantwortet/ausgefüllt werden sollen. Auf diese Weise wird die Integration der Dokumentationstätigkeit in die Tätigkeitsfelder unterstützt, da die Personen sich mit Hilfe des Templates orientieren können. Das Template bietet den Personen also eine Hilfestellung und fasst einige der Tätigkeiten zusammen, die getan werden müssen. Das Ziel ist es, dadurch dafür zu sorgen, dass die Dokumentation nicht als eine zusätzliche, störende Aufgabe wahrgenommen wird.

Das Template kann z. B. in der gewählten Lösung für die zentrale Informationssammlung (Wiki) zur Verfügung gestellt werden. In der exemplarischen LLUA kann dies z. B. als (Sammlung von) Confluence Template(s) angelegt werden (als Sammlung, wenn die einzelnen Tätigkeitsfelder z. B. über mehrere Unterseiten verteilt und nicht auf einer Seite zusammengefasst werden sollen). Das Template kann entweder für einen Space oder global konfiguriert werden. Bei der Generierung neuer Seiten, kann das Template dann genutzt werden. (Doku - Confluence: Create a Template)

Schema und Template für die Dokumentation#

Entweder kann für jeden der Abschnitte unter "Iteration n" ein eigenes Template oder für alle diese Abschnitte ein zusammengefasstes Template erstellt werden. Je nachdem, ob Sie alle Informationen auf einer Seite sammeln wollen oder eine stärker hierarchische Sammlung anstreben.

Confluence Template

Leider ist es zum Zeitpunkt der Erstellung dieses Handbuchs nicht möglich, ein Confluence Template zu exportieren. Sie müssten sich die unten aufgeführten Templates also nachbauen. (Doku - Confluence: Create a Template) Sollten Sie in Ihrer LLUA kein Confluence nutzen, so gilt das unten aufgeführte Schema natürlich trotzdem.

Kontext#

Lehrveranstaltung(en)#

  • Name und Art der Lehrveranstaltung(en)

AuftraggeberIn#

  • Name
  • Rolle der AuftraggeberIn in der Lehrveranstaltung

Iteration n#

Zu gewinnende Informationen beschreiben#

Modul: Analysen auswählen

  • Welche Informationen sollen gewonnen werden?
  • Wie sollen diese Informationen genutzt werden?
  • Was erhoffen Sie sich von der Analyse und der Nutzung der Informationen?

Ziele verstehen und Analysefragen formulieren#

Modul: Analysen auswählen

  • Was sind die großen Ziele dieses Datenanalyseauftrags?
  • Welches Sub-Ziele soll in dieser Iteration verfolgt werden?
  • Welche (kleinen) Analysefrage(n) lässt/lassen sich zu diesem Sub-Zielen formulieren?

Vollständigkeit, Risiken und Qualität der Datenbasis untersuchen#

Modul: Daten verstehen und untersuchen

Benötigte Daten#
  • Was für Daten werden prinzipiell für die Beantwortung der Analysefrage(n) benötigt?
Abgezieltes Datenschema#
  • Wie sollen die benötigten Daten in Beziehung gesetzt werden?
    • z. B. für ein Datenbank-Sternschema
      • Welcher Fakt soll untersucht werden und um welche Dimensionen soll dieser Fakt ergänzt werden?
      • Wie soll das zugehörige Data Warehouse Schema gestaltet werden?
Datenquellen#
  • Aus welchen Quellen lassen sich die Daten für das Datenschema gewinnen?
  • Sind die Daten schon vorhanden oder müssen entsprechende Daten in Zukunft aufgezeichnet werden?
Datenbeschreibung#
  • In welcher Form liegen die Daten vor (Dateien, Tabellen, Datenbanken, ...)?
  • Welche Art von Daten sind das (Benutzerdaten, technische Daten, Geodaten, Events, ...)?
Datenuntersuchung#
  • Sind die Daten vollständig oder fehlen z. B. Daten von Personen oder ganzen Zeiträumen?
  • Welche Risiken birgt die Analyse der Daten für z. B. Gruppen oder einzelne Personen?
    • DB-Tabelle:Spalte, Risikoeinschätzung, Daten unbedingt benötigt?
  • Weisen die Daten Fehler auf? Müssen sie z. B. aufwendig bereinigt werden (Ausreißer etc.), bevor sie verwendet werden können?
Datenbewertung#
  • Können die Daten (voraussichtlich) zur Beantwortung der Fragestellung genutzt werden?
  • Ergeben sich Einschränkungen aus der Nutzung der vorliegenden Daten?

Aufzuzeichnende Daten spezifizieren / Risiken minimieren / Qualität verbessern#

Modul: Daten aufzeichnen

Fehlende Daten aufzeichnen#
  • Welche Daten fehlen, um die Fragestellung genauer untersuchen zu können?
  • Lassen sich die Daten mit der aktuellen technischen Umgebung aufzeichnen? Muss etwas an der technischen Umgebung verändert/ergänzt werden?
  • Welche (neuen) Verhaltenskonventionen müssen die BenutzerInnen umsetzen, damit die Daten aufgezeichnet werden? Welche (alten) Verhaltenskonventionen müssen verändert werden?
Fehlerhafte Daten korrigieren#
  • Wie könnten die fehlerhaften Daten korrigiert werden, ohne dass die Daten verfälscht werden?
Risiken in Daten minimieren#
  • Ist es möglich die identifizierten Risiken zu minimieren, ohne dass der Nutzen der Daten verloren geht?
  • Wenn ja, wie ist das möglich?
    • mögliches Vorgehen, gewähltes Vorgehen, Begründung

Technische und menschliche Umgebung anpassen#

Modul: Daten aufzeichnen

Anpassung der technischen Umgebung#
  • Welche Funktionalitäten muss die technische Umgebung bereitstellen, damit die fehlenden Daten aufgezeichnet werden können?
Kommunikation der Verhaltenskonventionen#

  • Übermittlung

    • Verhaltenskonvention
      • Wann, Wer, Wem, Wie

  • Rückmeldung

    • Verhaltenskonvention
      • Wann, Was, Wer, Wem, Wie

Daten extrahieren, ggf. transformieren und sammeln#

Modul: Daten vorverarbeiten und sammeln

Datenextraktion#
  • Welche Datenquellen werden verwendet?
  • Wie werden die Daten extrahiert und welche Werkzeuge werden dafür benutzt?
  • ggf. technische Artefakte bereitstellen
Datenbereinigung#
  • Welche Daten werden bereinigt und wie wird das gemacht?
  • Welche Daten werden korrigiert und wie wird das gemacht; welche Werkzeuge werden dafür benutzt?
  • ggf. technische Artefakte bereitstellen
Risiken minimieren (Psuedo und Ano)#
  • Welche Verfahren werden eingesetzt?
  • Welche Werkzeuge werden dafür benutzt?
  • Inwiefern werden die zuvor identifizierten Risiken durch diese Verfahren minimiert?
  • ggf. technische Artefakte bereitstellen
Datentransformation#
  • Mit welchen Schritten werden die Daten transformiert, um anschließend in das abgezielte (Data Warehouse) Datenschema geladen zu werden?
  • Welche Werkzeuge werden dafür benutzt?
  • ggf. technische Artefakte bereitstellen

Analysen durchführen#

Modul: Analysieren von Fakten, Strukturen und Verhalten

Eingesetzte Analysetechniken#
  • Welche Analysetechniken werden für die Modellierung der Daten genutzt? (z. B. Process Mining oder Business Intelligence)
  • Warum werden diese Analysetechniken genutzt?
Visualisierung der Daten#
  • Die erstellten Modelle zeigen und beschreiben
    • Abbildung (Grafik, Tabelle) des Modells
    • Beschreibung des Modells
    • Verwendetes Programm (inkl. Versionsnummer)
    • Dateien für das Modell (zum Öffnen/Bearbeiten in dem verwendeten Programm)
    • Modellierungstechniken
      • Welche Modellierungstechniken werden zur Visualisierung der Daten genutzt?
      • Warum werden diese Modellierungstechniken genutzt?
    • Datenbelegung
      • Wie wurden die Daten auf die Attribute/Achsen in dem verwendeten Programm abgebildet?
      • Warum wurde diese Datenbelegung so gewählt?
    • Filter
      • Welche Filter wurden wie verwendet?
      • Warum wurden diese Filter so verwendet?

Analysen bewerten und interpretieren#

Modul: Analysen bewerten und interpretieren

Qualität und positiven Nutzen sicherstellen#
  • Sind die richtigen und alle Daten berücksichtigt/importiert worden?
  • Sind die richtigen Zeiträume gewählt worden?
  • Stehen die Analysen im Einklang mit der Realität oder sind Widersprüche zu bekannten Strukturen/Fakten/Prozessen zu erkennen?
    • Entspricht z. B. die Anzahl der agierenden Personen denen, die an der Lehrveranstaltung beteiligt sind?
  • Decken sich die Zahlen oder stehen diese im Widerspruch zueinander?
    • Entspricht z. B. die Summe aufgeteilter Werte (auf Personen, Wochentage etc.) dem Gesamtwert?
  • Sind die Daten in den Darstellungen richtig/sinnvoll zueinander in Beziehung gesetzt worden?
    • Sind z. B. die Skalen bei vergleichenden Darstellungen einheitlich gewählt worden?
Interpretation#
  • Bekannte Fakten festhalten (betrachteter Zeitraum, aktive Teilnehmende, vorherige Analysen etc.)
  • Erwartungen formulieren
  • Darstellungen beschreiben und Fakten extrahieren
  • Übereinstimmungen, Abweichungen und sonstige Auffälligkeiten festhalten
  • Hypothesen für die Übereinstimmungen und Abweichungen formulieren (und ggf. überprüfen)
  • Einschränkungen der Interpretationsfähigkeit benennen
  • Anpassungsvorschläge ableiten und festhalten
    • Wie ist es jetzt?
    • Wie soll es werden?
    • Was soll das bewirken?

Analysen gewinnbringend einsetzen#

Modul: Kommunikation und Reflexion

Kommunikation#

Übermittlung der Analyseergebnisse und Anpassungsvorschläge:

  • Anpassungsvorschlag, Wann, Wer, Wem, Wie

Rückmeldungen:

  • Anpassungsvorschlag, Wann, Was, Wer, Wem, Wie

Haben die Rückmeldungen Auswirkungen auf die Anpassungsvorschläge? Wenn ja, welche sind das?

Selbstreflexion#

Info

Die Antworten auf die vorgeschlagenen Fragen zur Unterstützung der Selbstreflexion sind nicht Teil der zentralen Doku, sollten aber von den einzelnen Personen festgehalten werden.