Modul: Kommunikation und Reflexion

Vorgehensmodell für die Datenanalyse: Hervorgehoben sind die Abschnitte, die von diesem Modul abgedeckt werden.

Inhalt

Die Kommunikation und (Selbst-)Reflexion der Interpretationsergebnisse kann auf unterschiedliche Arten erfolgen. Für die Kommunikation werden Formen der Veröffentlichung und Hinweise zum gemeinsamen Besprechen präsentiert. In diesem Zuge wird auf Gefahren hingewiesen, durch die in diesem Schritt pseudonymisierte Daten aufgeschlüsselt werden könnten. Zusätzlich wird eine Sammlung an Fragen vorgeschlagen, die zur Unterstützung des Selbstreflexionsprozesses genutzt werden kann.

Agenten/Rollen

Lehre und Lernen: Veranstaltende und Teilnehmende

Datenanalyse: AnalyseanwenderIn

Kommunikation

Das Ziel der Kommunikation der Analyseergebnisse und Anpassungsvorschläge ist es, diese gewinnbringend einzusetzen -- also einen positiven Einfluss auf die Teilnehmenden und Veranstaltenden bzw. auf die Lehrveranstaltung (LV) selbst zu generieren.

Dem Bereich Kommunikation werden hier die folgenden groben Tätigkeiten zugeordnet:

• Veröffentlichen von Analyseergebnissen und Anpassungsvorschlägen [Hinweis: Mit veröffentlichen ist hier immer eine interne Veröffentlichung gemeint, zu der lediglich die Beteiligten einer LV bzw. involvierte Dritte Zugang haben.]
• Offene Besprechung der Analyseergebnisse und Anpassungsvorschläge
• ggf. aufgestellte Hypothesen durch Erfragen untersuchen

Außerdem ist darauf hinzuweisen, dass die Kommunikation (insb. die Besprechung und die Untersuchung von Hypothesen durch Befragung) eine Gefahr für die Geheimhaltung der Pseudonyme beinhaltet (s. u.).

Der Kommunikationsprozess muss mit den Veranstaltenden und Teilnehmenden gemeinsam vorbereitet werden. Diese dürfen z. B. nicht davon überrascht werden, dass die Ergebnisse veröffentlicht werden. Siehe auch Absichten erläutern.

Für die Kommunikation der Analyseergebnisse und Anpassungsvorschläge gibt es unterschiedliche Methoden. Die hier im Folgenden aufgeführten erschöpfen diese nicht, sondern dienen lediglich als Orientierung und dazu, gewonnene Erfahrungen an Beispielen zu erläutern.

Außerdem kann die Kommunikationsform davon abhängen, ob nur pseudonymisierte Daten untersucht wurden und somit einzelnen Personen kein direktes Feedback gegeben werden kann oder, ob nicht-pseudonymisierte Daten untersucht wurden. Letzteres erfordert einen diskreten Umgang in der Kommunikation und es wird dazu geraten, Analyseergebnissen und Anpassungsvorschlägen, die aus solcher Analyse entstammen, lediglich der betroffenen Person zur Verfügung zu stellen und mit dieser vertraulich zu besprechen.

Im Folgenden wird davon ausgegangen, dass nur pseudonymisierte Daten untersucht werden und einzelne Individuen in den Analyseergebnissen nicht (einfach) identifiziert werden können. Außerdem werden diese lediglich autorisierten Personen zur Verfügung gestellt.

Veröffentlichen

keine Einbahnstraße

Die Veröffentlichung von Analyseergebnissen sollte nicht als Einbahnstraße behandelt, sondern mit der Möglichkeit einer Besprechung einhergehen.

Unabhängig davon, in welcher Form die Veröffentlichung stattfindet, sollte der Zeitpunkt so gewählt sein, dass Personen Zeit haben und ansprechbar sind, die die Analyseergebnisse und abgeleiteten Anpassungsvorschläge erläutern können. Außerdem sollten die Anpassungsvorschläge präzise formuliert und immer in schriftlicher Form (zum Nachlesen) zur Verfügung gestellt werden.

Zur Veröffentlichung bieten sich z. B. die folgenden Medien an:

• Blog
• Wiki
• Präsentation
• (Rund-)Mail
• (Gruppen-)Chat

Eine Umfrage in einer unserer Lehrveranstaltungen hat ergeben, dass die Teilnehmenden eine Präsentation bevorzugen. An zweiter Stelle liegt eine Kombination aus Präsentation und Blog-Post. Alternativ dazu wurden ein alleiniger visueller und textueller Beitrag (in der Form eines Blog-Posts) als weniger hilfreich empfunden. Bereits die aktive mündliche Präsentation, z. B. des Blog-Posts, ist hilfreich, auch wenn keine zusätzlichen Präsentationsfolien benutzt/zur Verfügung gestellt werden.

So können Visualisierungen, Schrift und Sprache eingesetzt werden. Der schriftliche Teil erläutert die Analyseergebnisse (Visualisierungen) und die Anpassungsvorschläge. Dauerhaft zur Verfügung gestellt, dient dieser Blog-Post außerdem dazu, dass die Personen später einzelne Teile genauer betrachten, nachlesen oder selbst nachvollziehen können. Der sprachliche Teil dient dazu, den Personen die vorliegenden Ergebnisse näher zu bringen und ihnen schwierige Sachverhalte zu erläutern.

Ohne eine Präsentation haben die Teilnehmenden sich weniger mit den Analyseergebnissen auseinandergesetzt. Ob die Anpassungsvorschläge ohne eine Präsentation dazu auch vermindert umgesetzt werden, wurde bisher nicht untersucht. Es ist jedoch zu vermuten, dass eine mündliche Ansprache stärker zur Umsetzung motiviert als eine schriftliche.

Wie detailliert die schriftlichen und sprachlichen Teile die Analyseergebnisse erläutern, sollte von den Zielen der LV bzw. den Absichten der Veranstaltenden abhängig gemacht werden. Soll z. B. das Bewusstsein für Daten und welche Informationen durch Analysen gewonnen werden können geschärft werden, so kann eine detaillierte Erläuterung sinnvoll sein. Auch kann diese dazu dienen, das Vertrauen in die Anpassungsvorschläge zu stärken, da die Herleitung dieser nachvollziehbar gestaltet ist.

Detailgrad

Je stärker die Analyse von Daten im Fokus der Lehrveranstaltung steht, desto detaillierter können die Erläuterungen sein.

Soll lediglich, das Verhalten der Veranstaltenden und der Teilnehmenden bzw. die Struktur und Inhalte der Lehrveranstaltung angepasst werden, so kann es ausreichen, alleinig die Anpassungsvorschläge zu veröffentlichen.

Besprechen

Es ist wichtig, die Besprechung der Analyseergebnisse und abgeleiteten Anpassungsvorschläge zu ermöglichen. Wie bereits oben erwähnt, sollte der Zeitpunkt der Veröffentlichung so gewählt sein, dass Personen Zeit haben und ansprechbar sind, die die Analyseergebnisse und Anpassungsvorschläge erläutern können.

Die Besprechung kann z. B. während oder im Anschluss an die Präsentation erfolgen oder auf Rückfrage einzelner VeranstalterInnen oder TeilnehmerInnen initiiert werden.

Bei der Besprechung sollten die Bedürfnisse der analysierten Personen im Mittelpunkt stehen. Sie sollten sich frei äußern dürfen. So können z. B. Personen zu Wort kommen, die sich von den Analyseergebnissen ungerecht behandelt fühlen oder diese anzweifeln. Ein solches Feedback sollte wahrgenommen und darauf feinfühlig eingegangen werden (möglicherweise in einem vertraulichen Gespräch). Auch kann ein solches Feedback dazu führen, dass bestimmte Analysen in Zukunft unterlassen werden sollten. Aus diesem Grund sollte das Feedback schriftlich (und ggf. anonymisiert) festgehalten werden.

Die Besprechung dient also nicht nur dazu, dass die analysierten Personen Fragen stellen können, um Unklarheiten zu beseitigen. Sie dient auch dazu, dass sie Feedback äußern können. Um dieses sollten die AnalyseanwenderInnen außerdem explizit bitten. Dazu könnten die folgenden und ähnliche Fragen gestellt werden:

• Wenn auch die Analyseergebnisse veröffentlicht werden (s. o.):
  • Sind die Analyseergebnisse verständlich dargestellt und aufbereitet?
  • Sind die Anpassungsvorschläge, ausgehend von den Analyseergebnissen, nachvollziehbar hergeleitet?
• Verstehen Sie die Anpassungsvorschläge?
• Wissen Sie prinzipiell, was Sie tun müssen, um die Anpassungsvorschläge umzusetzen?
• Fehlt Ihnen etwas, um die Anpassungsvorschläge umzusetzen?
• Erkennen Sie den Sinn in dem Verhalten, das vorgeschlagen wird? Widerstrebt Ihnen vorgeschlagenes Verhalten?
• Fühlen Sie sich von den Analyseergebnissen und Anpassungsvorschlägen ungerecht behandelt?
• Hat jemand von Ihnen Bedarf an einem persönlichen Gespräch? (Kann auch als Angebot formuliert werden, sich nach der Lehrveranstaltung zu melden.)

Gefahr der Aufschlüsselung von Pseudonymen

Bei der Befragung muss vorsichtig vorgegangen werden, denn die Wortmeldungen einzelner Personen könnten ihr Pseudonym offenbaren oder stark eingrenzen.

Wenn z. B. zu dem Anpassungsvorschlag Alle Teilnehmenden sollten Tickets erstellen. die Frage Wissen Sie prinzipiell, was Sie tun müssen, um die Anpassungsvorschläge umzusetzen? gestellt wird, so birgt diese eine Gefahr.

Wir erinnern uns, dass es in einer vorangegangenen Analyse nur zwei Personen gab, die bisher kein Ticket erstellt haben. Ihre hypothetische Wortmeldung "Ich weiß nicht, wie man ein Ticket erstellt." wäre gefährlich. Selbst wenn in den veröffentlichten Analyseergebnissen keine Pseudonyme eingeblendet sind, wäre es mindestens für die DatenvisualisiererIn leicht, die Verbindung zwischen Realnamen und Pseudonym (aus Versehen) herzustellen. Da die Rollen AnalyseanwenderIn und DatenvisualisiererIn von ein und derselben Person eingenommen werden können, muss in solchen Fällen genau geprüft werden, wem welche Möglichkeiten zur Verfügung stehen. Wird der DatenvisualisiererIn nicht mitgeteilt, wer sich zu Wort gemeldet hat, ließe sich das Risiko einer Identifikation verringern.

Hypothesen untersuchen

Für eine erste Untersuchung von Hypothesen (die z. B. während der Interpretation aufgestellt wurden), kann es hilfreich sein, mit den analysierten Personen zu sprechen, anstatt sofort weitere Datenanalysen zu initiieren. In einigen Fällen lassen sich Hypothesen nicht durch Datenanalysen belegen/widerlegen (s. u.), in anderen Fällen können die Aussagen im Nachhinein mit Datenanalysen untersucht werden.

Dafür bietet sich die oben genannte Besprechung an. Hier können die AnalyseanwenderInnen die aufgestellten Hypothesen vortragen und die analysierten Personen darum bitten, ihr Verhalten zu schildern. Gemeinsam können so zeitnah Lösungen gefunden und Missverständnisse beseitigt werden.

Oben wurde z. B. die folgende Hypothese bereits als zu untersuchen gekennzeichnet. Da diese u. a. danach fragt, ob die Teilnehmenden etwas verstanden haben, ist sie nicht nur mit einer Datenanalyse zu untersuchen.

• Der Status Waiting wird nur wenig benutzt und dazu in einigen Fällen anscheinend fehlerhaft. Entweder ist den Teilnehmenden die Verwendung dieses Status nicht klar oder sie haben keine Verwendung für ihn, weil sie z. B. nur wenige Abhängigkeiten untereinander haben, durch die sie aufeinander warten müssen.

Eine solche Hypothese durch Befragung zu untersuchen ist meistens auch in einem pseudonymisierten Kontext möglich. Dies gilt jedoch nicht für alle Hypothesen.

Gefahr der Aufschlüsselung von Pseudonymen

Bei der Befragung muss vorsichtig vorgegangen werden, denn die Wortmeldungen einzelner Personen könnten ihr Pseudonym offenbaren oder stark eingrenzen. Dies ist z. B. bei der folgenden Hypothese der Fall (s. o.):

• In einigen Fällen scheinen die Status Waiting und Aborted nur versehentlich gesetzt worden zu sein. Dies ist aus der kurzen Verweildauer zu schließen.

Wir erinnern uns, dass es in einer vorangegangenen Analyse nur wenige Fälle gab, die ein Versehen vermuten ließen (nur in wenigen Fällen betrug die Verweildauer im Status Waiting oder Aborted wenige Sekunden). Würde diese Hypothese durch eine direkte Befragung untersucht werden, so würden sich wahrscheinlich die Personen zu Wort melden, denen das Versehen unterlaufen ist. Selbst wenn in den veröffentlichten Analyseergebnissen keine Pseudonyme eingeblendet sind, wäre es mindestens für die DatenvisualisiererInnen leicht, die Verbindung zwischen Realnamen und Pseudonym (aus Versehen) herzustellen. Da die Rollen AnalyseanwenderIn und DatenvisualisiererIn von ein und der selben Person eingenommen werden können, muss in solchen Fällen genau geprüft werden, wem welche Möglichkeiten zur Verfügung stehen. Wird der DatenvisualisiererIn nicht mitgeteilt, wer sich zu Wort gemeldet hat, ließe sich das Risiko einer Identifikation verringern.

Selbstreflexion

Die aktive und bewusste Selbstreflexion soll dazu beitragen, dass die analysierten Personen sich mit den Analyseergebnissen und den Anpassungsvorschlägen auseinandersetzen, um ihr eigenes Verhalten zu hinterfragen, bestätigt zu sehen oder anzupassen. Hier wird ebenfalls von einer pseudonymisierten Analyse ausgegangen.

Auch wenn viele Personen sich möglicherweise bereits beim Betrachten der Analyseergebnisse selbst in diese einordnen und ihre Schlüsse ziehen, sollten die analysierten Personen aktiv dazu aufgefordert werden, eine solche Selbstreflexion durchzuführen. Hilfreich können dabei Fragen sein (wie sie im Folgenden vorgeschlagen werden) und die Aufforderung, die Antworten schriftlich (für sich selbst/vertraulich) festzuhalten.

Fragen

• Können Sie sich selbst in die einzelnen Analyseergebnisse einordnen?
  • Wenn ja
    • Wo ordnen Sie sich ein?
• Trägt ihr aktuelles Verhalten zu der Datenlage bei?
  • Wenn ja
    • Inwiefern trägt ihr Verhalten bei?
• Können Sie für sich einen Sinn in den Anpassungsvorschlägen erkennen?
  • Wenn nein
    • Was zweifeln Sie an? -> fragen Sie nach
• Berücksichtigen Sie die Anpassungsvorschläge bereits?
  • Wenn ja
    • Zu welchem Prozentsatz/In wie vielen Fällen (ungefähr) berücksichtigen Sie die Anpassungsvorschläge?
  • Wenn nein
    • Wissen Sie, wie Sie die Anpassungsvorschläge umsetzen können?
      • Wenn nein -> fragen Sie nach
    • Was können Sie tun, um die Anpassungsvorschläge umzusetzen?
    • Was würde Ihnen dabei helfen, die Anpassungsvorschläge umzusetzen? -> schlagen Sie vor
• Machen Sie beim Umsetzen der Anpassungsvorschläge positive oder negative Erfahrungen?
  • Wenn ja
    • Welche Sind das?