Zum Inhalt

Modul: Analysen auswählen#

Vorgehensmodell für die Datenanalyse: Hervorgehoben sind die Abschnitte, die von diesem Modul abgedeckt werden.

Inhalt

Die Formulierung der Ziele, dessen erreichen durch Datenanalysen unterstützt werden soll, bildet die Grundlage für die auszuwählenden und zu untersuchenden Analysefragen. Es wird beschrieben, wie dieser Prozess iterativ gestaltet werden kann und inwiefern die Analysefragen die Datenanalysen bestimmen. Außerdem werden beispielhafte Ziele und zugehörige Analysefragen besprochen sowie ein Katalog an Analysefragen bereitgestellt.

Rollen

Lehre und Lernen: LehrerIn, LernerIn, ProjektmanagerIn, VeranstaltungsentwicklerIn und PrüferIn

Datenanalyse: AnwendungsfallversteherIn

Gewinnbringende Analysen#

Welche Analysen einen nützlichen Informationsgewinn erbringen, lässt sich nicht allgemeingültig beantworten. Dafür können projektbasierte Lehrveranstaltungen zu individuelle Ausprägungen annehmen.

Allgemein lässt sich jedoch festhalten, dass die ersten Analysen auf die Ziele der Lehrveranstaltung, der Veranstaltenden und ggf. der Teilnehmenden ausgerichtet sein sollten.

Prinzipiell sollten die ersten Analysen mindestens eine der folgenden Eigenschaften aufweisen:

  • es werden bestimmte Instruktionen untersucht, die die Veranstaltenden den Teilnehmenden gegeben haben
  • es wird die Ursache für einen bestimmten Sachverhalt untersucht
  • aus der Analyse lassen sich konkrete Anpassungsvorschläge oder Hinweise ableiten

Analysefragen als Leitbild der Datenanalysen#

Für fokussierte Datenanalysen können Ziele oder Hypothesen formuliert werden, die anschließend iterativ durch konkrete Analysefragen verfeinert werden. Ein Ziel beschreibt dabei grob den beabsichtigten Informationsgewinn. Eine Hypothese beschreibt einen angenommenen Sachverhalt, der bestätigt oder widerlegt werden soll. Hypothesen sind insbesondere bei der Interpretation einer Datenanalyse zur Untersuchung von vermuteten Ursachen einzusetzen.

Zwei Ziele könnten z. B. die folgenden sein:

  • Es soll herausgefunden werden, ob und inwiefern alle Teilnehmenden die Projektmanagementwerkzeuge (PM-Werkzeuge) nutzen und
  • ob und auf welche Weise die Teilnehmenden miteinander interagieren.

Dazu passende erste Analysefragen wären:

  • "Sind von allen Teilnehmenden Aktivitäten in dem PM-Werkzeug XYZ aufzufinden?" bzw.
  • "Sind Aktivitäten zwischen den Teilnehmenden in dem PM-Werkzeug XYZ aufzufinden?"

Diese Analysefragen dienen als Leitbild für die Datenanalyse, da sie sowohl Anforderungen an die technische Umgebung beinhalten (von den PM-Werkzeugen müssen verwertbare Aktivitätsdaten aufgezeichnet werden), als auch Verhaltenskonventionen vorgeben (die PM-Werkzeuge sollen von den Teilnehmenden benutzt werden). Des weiteren ergibt sich daraus, welche Daten untersucht werden sollen (die Daten der PM-Werkzeuge, die durch die Benutzung von Personen erzeugt werden), mit welchen Disziplinen die Daten untersucht werden können und was eine Analyse darstellen muss.

Die zwei beispielhaften Analysefragen können nach ersten Analysen iterativ verfeinert werden. Für die erste:

  • "Wie verteilen sich die Aktivitäten über die einzelnen PM-Werkzeuge?"
  • "Wie verteilen sich die Aktivitäten über die einzelnen Wochentage?"
  • "Wie unterscheidet sich der Grad der Nutzung unter den Teilnehmende?"

Dadurch werden die gewonnen Informationen zwar konkreter, die Anforderungen an die technische Umgebung, die Personen und den Analyseprozess jedoch auch komplexer. Aus diesem Grund sollte für jede Analysefrage der Gewinn und Nutzen durch den erwarteten Informationszuwachs abgeschätzt werden.

Abgezielte Informationen der Datenanalyse: Entscheidungshilfen#

Zu Anfang kann es schwierig sein zu entscheiden, welche Informationen durch die Analyse einer projektbasierten Lehrveranstaltungen gewonnen werden sollen. Es fehlen die Erfahrungswerte, mit welchen Informationen die individuelle Lehrveranstaltung bereichert werden kann. Aus diesem Grund sollte sich an dem bereits oben angedeuteten Ansatz orientiert werden: erst ganz grobe, einfache Analysefragen untersuchen und dann iterativ weitere Details herausarbeiten.

Um die Wahl des Startpunktes einzugrenzen, können z. B. die folgenden Fragen gestellt werden:

  • Was sind die Ziele der Lehrveranstaltung?
    • Wie kann durch Analysen herausgefunden werden, ob/inwiefern sich diesen Zielen angenähert wird?
    • Wie kann durch Analysen herausgefunden werden, ob diese Ziele erreicht werden?
  • Was sollen die Teilnehmenden in der Lehrveranstaltung lernen?
    • Wie kann durch Analysen herausgefunden werden, ob die Teilnehmenden etwas lernen?
    • Wie kann durch Analysen herausgefunden werden, was die Teilnehmenden bereits gelernt haben und was noch fehlt?
  • Welche Aktivitäten/Verhaltensweisen sind hilfreich zum Erlernen?
    • Wie kann durch Analysen herausgefunden werden, ob die Teilnehmenden diese Verhaltensweisen aufweisen?

Bezüglich der beiden oben gestellten ersten Analysefragen könnten z. B. die Benutzung der PM-Werkzeuge und die Etablierung einer interaktiven Gruppenarbeit (Teil-)Ziele der Lehrveranstaltung sein. Zudem könnte ein hoher Grad an Nutzung der PM-Werkzeuge als eine hilfreiche Verhaltensweise beim Erlernen der Inhalte angesehen werden.

Ziele und Nutzen verstehen#

Besonders wenn die Personen, die die Informationen gewinnen wollen, nicht die gleichen Personen sind, die auch die Analysen durchführen, ist es wichtig, dass deren Ziele und deren abgezielter Nutzen von allen Parteien verstanden werden. Zu diesem Zweck sollten Ziele und Nutzen schriftlich formuliert werden. Anhand fiktiver Daten sollten die Ziele und der Nutzen beispielhaft mit eigenen Worten beschrieben werden.

Diese Vorgehensweise bietet sich auch an, wenn die Personen die gleichen sind. So ist sichergestellt, dass Absichten festgehalten werden und diese z. B. im Lauf der Zeit nicht verschwimmen.

Analysefragen formulieren#

Bei der Formulierung von Analysefragen sollte darauf geachtet werden, dass diese auf das Ziel ausgerichtet und realistisch sind. Es bietet sich an, zunächst wenig detaillierte Analysefragen zu formulieren und erst in folgenden Iterationen konkreter zu werden, wenn z. B. mehr Verständnis über die Daten erlangt wurde, die von der technischen Umgebung aufgezeichnet werden. Es ist einfacher, eine grobe Analysefrage zu untersuchen und sich auf der Grundlage weiter vorzuarbeiten, als direkt mit einer spezialisierten Frage zu beginnen. Auch lassen sich so Hypothesen formulieren, aus welchen Gründen eine Analysefrage ein bestimmtes Ergebnis geliefert hat. Diese können dann durch die Formulierung und Untersuchung detaillierterer Analysefragen bestätigt oder widerlegt werden.

Zur Verfolgung des Ziels "Herauszufinden, inwiefern das Ticketsystem von den Teilnehmenden genutzt wird", sind hier beispielhaft ein guter und ein schlechter Einstieg aufgeführt:

Guter Einstieg:

  • Wie viele Tätigkeiten (Tickets) werden in dieser Lehrveranstaltung bisher insgesamt berücksichtigt?
    • Zu untersuchen: Die Summe aller Tickets, die einem Projekt dieser Lehrveranstaltung zugeordnet sind.

Schlechter Einstieg:

  • Wie viele Tickets werden durchschnittlich an Samstagen von mehr als einer Person dieser Lehrveranstaltung editiert?

Zur Veranschaulichung der Verfeinerung der Analysefragen wird hier der gute Einstieg an einem beispielhaften Szenario fortgeführt.

Beispielhafte Verfeinerung einer Analysefrage

Die Lehrveranstaltung findet jede Woche ein Mal statt und hat 26 Teilnehmende, die in 5 Teams zu je 5 bzw. 6 Personen eingeteilt sind. Analog existieren 5 Projekte -- eines für jedes Team. Die Verhaltenskonventionen geben vor, dass alle Teilnehmenden Tickets für ihre Tätigkeiten erstellen sollen, um ihre Arbeit in den Teams zu organisieren. Dazu zählt die Erstellung von Tickets, die Zuweisung eines Verantwortlichen sowie die Überführung des Tickets in die Status "In Progress" und "Done".

Nach der zweiten Woche wird die Frage untersucht "Wie viele Tätigkeiten (Tickets) werden in dieser Lehrveranstaltung bisher insgesamt verfolgt?". Die Veranstaltenden erwarten mindestens 50 Tickets (ein Ticket pro Woche pro TeilnehmerIn). Das Ergebnis ist 21, also deutlich weniger.

Daraus ergibt sich der Anpassungsvorschlag, dass die Teilnehmenden bitte mehr bzw. überhaupt Tickets erstellen sollen. Damit geben sich die Veranstaltenden jedoch noch nicht zufrieden, sondern wollen die Situation genauer untersuchen. Also formulieren und untersuchen sie folgende detailliertere Analysefragen:

  • Wie viele Tickets wurden pro Projekt bisher erstellt?
  • Wie viele Personen haben bisher Tickets erstellt?

Die Untersuchung ergibt, dass nur in 3 von 5 Projekten Tickets erstellt wurden. Auf eines der Projekte entfallen 13 Tickets, während sich die restlichen 8 gleichmäßig auf die anderen beiden Projekte verteilen. Außerdem wurden alle 21 Tickets lediglich von 5 verschiedenen Personen erstellt. Eine dieser Personen hat alle 13 Tickets des einen Projekts erstellt, die anderen Teammitglieder somit kein einziges.

Die Veranstaltenden wissen jetzt, welche Teams sie besonders darauf hinweisen müssen, das Ticket-System zu nutzen bzw. welche Teams weitere Hilfestellungen im Umgang mit dem Ticket-System benötigen. Weiter wollen die Veranstaltenden das eine Team untersuchen, das mit den 13 Tickets und nur einer erstellenden Personen besonders hervorsticht. Sie stellen die Hypothese auf, dass die Tickets im Voraus (z. B. bei der Planung der nächsten Woche) zwar nur von einer Person erstellt jedoch anschließend auf die anderen Teammitglieder aufgeteilt wurden. Zur Untersuchung formulieren sie die weiteren Analysefragen:

  • Wann wurden die Tickets erstellt?
  • Wer ist für diese Tickets als VerantwortlicheR zugewiesen?

Das Ergebnis zeigt, dass die Tickets größtenteils an den Tagen der Lehrveranstaltung zeitlich nah beieinander erstellt und tatsächlich auf alle Teammitglieder aufgeteilt wurden. Dies entspricht einem erlaubten Verhalten und kann somit positiv hervorgehoben werden. Die anderen Teams können sich von diesem Team Tipps geben lassen, wie sie ihr Vorgehen anpassen könnten.

Beispielhafte Ziele und Fragenkatalog#

Explorative Datenanalysen#

Um herauszufinden, was die vorliegenden Daten für Informationen beinhalten könnten, lassen sich explorative Datenanalysen einsetzen. Diese können dabei helfen, zu bestimmen, ob die vorliegenden Daten dazu dienen, bestimmte Sachverhalte zu untersuchen oder Zusammenhänge zwischen Variablen zu erkennen sind, also z. B. ob diesbezügliche Daten vorhanden sind.

Hier einige konkrete Beispiele:

  • Lassen sich typische Abfolgen/Prozesse von Aktivitäten identifizieren?
  • Lassen sich typische Hand-over oder Working-Together Beziehungen identifizieren?
  • Lassen sich Teams auf Grundlage der Daten identifizieren?
  • Lassen sich aus den Arbeitszeitbuchungen Nachbuchungen erkennen?
  • Lässt sich der Scrum Prozess aus den Daten minen?

Gerichtete Datenanalysen#

Um konkrete Ziele zu erreichen, lassen sich gerichtete Datenanalysen einsetzen.

Im Folgenden werden einige konkrete Beispiele in der Form von Ziel, abgeleitete Analysefrage und Sub-Analysefragen gegeben. Diese sollen als Anregung dienen und decken bei weitem nicht die möglichen Analysen ab, die in der exemplarischen LLUA durchgeführt werden können.

  • Ziel: Herausfinden, ob die Studierenden die Projektmanagement (PM)-Werkzeuge nutzen --> "Sind von allen Teilnehmenden Aktivitäten in den PM-Werkzeugen aufzufinden?"

    • Wie stark nutzen die Studierenden die einzelnen PM-Werkzeuge?
    • Nutzen alle Studierenden die einzelnen PM-Werkzeuge?
    • Nutzen die Studierenden die einzelnen PM-Werkzeuge auch außerhalb der Präsenzzeit?

  • Ziel: Herausfinden, ob die Studierenden auch außerhalb der Präsenzzeit arbeiten und wenn ja, an welchen Tagen tendenziell weniger oder mehr gearbeitet wird --> "In welchem Maße sind an den einzelnen Wochentagen Aktivitäten der Studierenden zu verzeichnen?"

    • Wie verteilten sich die Ticketerstellungen über die Woche hinweg?
    • Wie verteilten sich die Statusänderungen der Tickets auf die einzelnen Wochentage?
    • Wie verteilen sich die Aktivitäten in Confluence über die Woche hinweg?
    • Wie verteilen sich die Aktivitäten in Mattermost über die Woche hinweg?

  • Ziel: Herausfinden, ob die Studierenden den Issue-Tracker (insbesondere die Status) richtig nutzen. -> "In welchem Maße befolgen die Teilnehmenden die festgelegten Konventionen bei der Benutzung des Issue-Trackers?"

    • [Dieses Ziel wird in den folgenden Modulen anschaulich als einfache beispielhafte Untersuchung genutzt. Einige dieser Unterfragen benötigen keine elaborierte Datenanalyseumgebung, sondern können teilweise auch mit den Fähigkeiten eines Issue-Trackers selbst beantwortet werden. Dennoch wird in den folgenden Modulen eine solche Umgebung eingesetzt, um beispielhaft zu zeigen, wie die Datenanalyse prinzipiell und konkret funktionieren kann.]
    • [Die folgenden Fragen beziehen sich alle, wenn nicht anders gestellt, auf die zu analysierende Lehrveranstaltung.]
    • Wie viele Tickets wurden bereits erstellt?
    • Wie viele Tickets wurden in einem bestimmten Zeitraum erstellt?
    • Wie viele Studierende haben in einem bestimmten Zeitraum Tickets erstellt?
    • Wie verteilen sich die Ticketerstellungen über die Studierenden?
    • Wie verteilen sich die Tickets auf die Studierenden (Creator/Reporter und Assignee)?
    • Wie verhält sich der Anteil von zugewiesenen Tickets zu nicht zugewiesenen Tickets?
    • Wie viele Vorkommnisse der einzelnen Ticketstatus existieren in einem bestimmten Zeitraum?
    • Vollziehen alle Studierenden in einem bestimmten Zeitraum Statusänderungen an Tickets?
    • Wer hat wie viele Tickets bearbeitet?
    • Folgen die Status in der richtigen Reihenfolge aufeinander?
    • Werden die Status richtig gepflegt (sind die Zeiten zwischen den Status realistisch)? (besonders interessant ist hier zunächst "In Progress" --> "Done")

  • Ziel: Herausfinden, ob die Studierenden das Arbeitszeitbuchungssystem richtig nutzen. -> "In welchem Maße befolgen die Teilnehmenden die festgelegten Konventionen bei der Benutzung des Arbeitszeitbuchungssystems?"

    • Wie viele Zeitbuchungen wurden bereits erstellt?
    • Wie viele Zeitbuchungen wurden in einem bestimmten Zeitraum erstellt?
    • Wie viel Zeit wurde in einem bestimmten Zeitraum gebucht?
    • Wie viele Teilnehmende haben in einem bestimmten Zeitraum Zeitbuchungen erstellt?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) über die Teilnehmenden?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) über die Projekte?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) über die Wochentage?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) über die Wochen?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) über die einzelnen Issues?
    • Wie viele Zeitbuchungen wurden auf Issues vorgenommen, bevor diese begonnen ("In Progress") wurden?
    • Wie viele Zeitbuchungen wurden auf Issues vorgenommen, die bereits abgeschlossen ("Done", "Aborted", ...) waren?
    • Wie viele Zeitbuchungen wurden auf Issues vorgenommen, während diese nicht bearbeitet ("In Progress") wurden?
    • Wie ist das Verhältnis zwischen gebuchten Stunden, Anzahl der Buchungen und bebuchten Tickets für die einzelnen Teilnehmenden?
    • Überlappen sich Zeitbuchungen der einzelnen Teilnehmenden, sind einige also nicht richtig datiert worden?
    • In welcher Reihenfolge buchen die Teilnehmenden auf unterschiedliche Issues? Wird erst ein Issue bebucht, bevor ein weiteres bebucht wird, oder wechseln sich die Buchungen auf unterschiedliche Issues ab?

  • Ziel: Herausfinden, ob die Studierenden erwartungsgemäß viele Stunden mit den Aktivitätstypen verbringen. -> "Stimmen die Arbeitsstunden, die auf die einzelnen Aktivitätstypen gebucht wurden, mit den Erwartungen/Zielen überein?"

    • Geben die Teilnehmenden beim Buchen von Arbeitszeiten Aktivitätstypen an?
    • Wie viele Stunden haben die Teilnehmenden insgesamt pro Aktivitätstyp gebucht?
    • Wie verhalten sich die Stunden pro Aktivitätstyp über die Veranstaltung/die Phasen/bestimmte Zeiträume hinweg?
    • Wie verhalten sich die Stunden pro Aktivitätstyp über die Gruppen hinweg?
    • Wie verhalten sich die Stunden pro Aktivitätstyp über die einzelnen Teilnehmenden hinweg?

  • Ziel: Herausfinden, ob die Teilnehmenden kontinuierlich ihre Arbeit wie gefordert dokumentieren. -> "Lassen sich erwartungsgemäß viele Dokumentationstätigkeiten erkennen?"

    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) mit dem Aktivitätstyp "Documentation" auf die einzelnen Teilnehmenden?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) mit dem Aktivitätstyp "Documentation" über die Zeit?
    • Wie verteilen sich die CREATE und UPDATE Aktivitäten in Confluence auf die einzelnen Teilnehmenden?
    • Wie verteilen sich die CREATE und UPDATE Aktivitäten in Confluence über die Zeit?
    • Wie verhält sich die Anzahl von bearbeiteten Tickets in Jira zu den Dokumentationstätigkeiten?

  • Ziel: Herausfinden, wie sich die Arbeitsweisen der Gruppen unterscheiden. -> "In welchem Maße und in welcher Reihenfolge nutzen die Teilnehmenden der einzelnen Gruppen die Werkzeuge?"

    • Wie viele Aktivitäten verzeichnen die Teilnehmenden der einzelnen Gruppen in den Werkzeugen?
    • Welches Werkzeug wird von den Teilnehmenden welcher Gruppe herausragend viel/wenig benutzt?
    • Wie verteilen sich die Aktivitäten der Teilnehmenden der Gruppen über die Woche hinweg?
    • Wie verteilt sich die Anzahl der Tickets über die Teilnehmenden der einzelnen Gruppen hinweg?
    • Zu welchen Zeitpunkten/In welchen Zeiträumen erstellen die Teilnehmenden der einzelnen Gruppen wie viele Tickets?
    • Wie verteilen sich die Zeitbuchungen (Anzahl und Stunden) über die Teilnehmenden der einzelnen Gruppen (in einer Gruppe und zwischen den Gruppen)?
    • Ähnelt sich das Verhalten der Teilnehmenden einer Gruppe jeweils mit den anderen Teilnehmenden ihrer Gruppe? Wenn nein, worin unterscheidet es sich?
    • Ähnelt sich das Verhalten der einzelnen Gruppen? Wenn nein, worin unterscheidet es sich?