e-Prüfungs-Symposium 2023 RWTH Aachen

Studierendendiversität und Akzeptanz von E-Prüfungen

• Rahmenbedinungen für E-Prüfungen: Hochschul-Digitalverordnung HDVO
  
• Projektbericht: Einführung von E-Klausuren an der FernUniversität in Hagen
  •  iPad Pro, Dynexite (Prüfungssystem), an ausgewählten Standorten, Vereinheitlichung der Bearbeitungszeit auf 90 min
    
  • Erarbeitet wurde das Prüfungsvorgehen mit einem interdisziplinären Projektteam unter Einbezug aller Statusgruppen (Studierende, wissenschaftliche Mitarbeitende, Dozierende)
    
• Evaluationsstudie: Diversität und Akzeptanz
  • Untersuchungsgegenstand: Am Beispiel der Einführung von digitalen Prüfungen an der FernUniversität in Hagen wurde die Akzeptanz von Innovationen durch die heterogene Studierendenschaft unter Berücksichtigung von soziodemographischen und dispositionellen Merkmalen untersucht.
    
  • Fazit:
    
    • Soziodemographische und dispositionelle Merkmale stehen in direkter Verbindung mit technologiebezogenen Erwartungen.
    • Über diesen Zusammenhang wirken sie sich indirekt auf die Akzeptanz von E-Klausuren aus. Die stärkste indirekte und negative Verbindung war für das Alter der Studierenden zu beobachten, die stärkste positive für Technologieakzeptanz.
      
    • Es bestand kein Effekt des Formats auf die Klausurnoten (unabhängig von Diversität)!
    • Diversität spielt eine Rolle bei der Akzeptanz von E-Klausuren, aber ihr Einfluss wird durch die Erfahrung aus erster Hand abgemildert
• Take away für Moodle Community:
  
  • Die Umstellung von Papierklausuren auf elektronische Prüfungen hatte keinen messbaren Effekt auf die Klausurnoten
    
  • Es besteht ein indirekter Zusammenhang zwischen soziodemographischen sowie dispositionellen Merkmalen von Studierenden und deren Akzeptanz von Innovationen in Richtung elektronische Prüfungen. Die Akzeptanz verändert sich positiv in Bezug auf elektronische Prüfungen durch eigene Erfahrungen mit dem Prüfungsformat. Folglich könnten Probeklausuren und die Bereitstellung von virtuellen Testräumen die Akzeptanz vor elektronischen Klausur steigern.
    

Bedeutungen von E-Prüfungen in Zeiten von Learning Analytics (Jonas Leschke, KI:edu.nrw)

• Learning Analytics haben durch situative, datengestützte Aussagen über Lernstände eine hohe Relevanz für Lehren und Lernen.
  
• Herausforderungen im Kontext von Learning Analytics:
  
  • Rechtlicher Rahmen (Dürfen wir das?): siehe Studie: "Datenschutzrechtliche Beurteilung von Learning Analytics an Hochschulen in NRW" --> Basis (Einwilligung, Rechtsgrundlage, Gestzesgrundlage)
    
  • Möglichkeitshorizont (Können wir das?):
    
    • Praxisprojekte relevant
    • Begrenzung der Datenmenge durch Begrenzung des Zugriffs auf Lernorte der Studierenden
      
  • Wollen wir das?:
    • Spannungsfeld Hochschule
    • Didaktische Perspektive wird bisher nur bedingt berücksichtigt
    • Meta-Analyse nur bedingt möglich, da erhobene Daten in bisheriger Forschung sehr unterschiedlich sind
• Elektronische Prüfungen sind eine wichtige Datenquelle, um die Rigorosität und somit auch die Relevanz von Learning Analyics zu gewährleisten.
• Relevante Merkmale von E-Prüfungen:
  • Transparente Bewertungssituation
  • Rechtlich abgesichert
  • Prüfungsdidaktisch sensibilisierend
  • Hohe Datengüte
  • Digitale Lerndaten
  • Empirisch fundiert
    

Bau und Einrichtung von E-Prüfungsräumen

Konkrete Bau- und Planungsvorhaben, von denen berichtet wurde:

• In Aachen wird ein neuer E-Prüfungsraum neu gebaut. Die Bodenplatte des Neubaus ist schon fertig.
• In Münster soll ebenfalls ein neuer E-Prüfungsraum gebaut werden. Unklar ist, ob der Raum im Bestand oder als Neubau realisiert werden soll. Die Kolleg*innen aus Münster sind sehr stark am Austausch zur Planung von E-Prüfungsräumen interessiert.

Grundsätzlich sind die IT-Service-Einrichtungen und Prüfende aller Hochschulen, an denen es noch keine E-Prüfungsräume oder nur PC-Pools für die Lehre gibt, an der Einrichtung von zentralen E-Prüfungsräumen sehr interessiert. Diese Tendenz wurde von allen Teilnehmenden, mit denen ich (Philipp Dorok | RUB) im Gespräch war, deutlich artikuliert. Oft fehlt es an der Verfolgung bzw. Priorisierung des Themas durch die Hochschulleitungen und somit auch an der Bereitstellung von finanziellen Mitteln.

Der E-Prüfungsraum der RWTH Aachen im Sparkassenforum mit 209 Prüfungsplätzen wurde im Rahmen der Tagung besichtigt. Die RWTH prüft mit dem dort entwickelten Prüfungssystem Dynexite.

Umsetzung von digitalen Präsenzprüfungen, solange noch keine E-Prüfungsräume zur Verfügung stehen

Sowohl Lehrende als auch Service-Einrichtungen sind stark an E-Prüfungen interessiert. 

Während viele Lehrende nach den corona-bedingten Lockdown-Semestern zu "bewährten Prüfungsformen" (gemeint sind Papierprüfungen) zurückgekehrt sind, hat eine ausreichend große Gruppe der Lehrenden, insbesondere an den Fakultäten mit großen Prüfungskohorten die Vorteile von E-Prüfungen zu schätzen gelernt, allen voran die automatische Auswertung von geschlossenen Fragetypen.

An vielen Hochschulen werden PC-Poolräume, die eigentlich für die Lehre gedacht sind, für E-Prüfungen genutzt, auch wenn die Raumsituation oft nicht ideal ist und die Durchführung herausfordernd und personalintensiv gestaltet. Andere Hochschulen führen zentral unterstützte Bring-Your-Own-Device-Prüfungen durch, z.B. mit CAMPLA und Lernstick. Durch den Lernstick wird ein technisch abgesichertes linuxbasiertes Betriebssystem auf den privaten Endgeräten der Studierenden gebootet. Um Manipulationen ausschließen zu können, wird an einem technischen Verfahren mit einem integrierten Sicherheitschip mit Trusted Platform Module (TPM) zur Remote Attestation gearbeitet.

Auch die Skalierung von Pools mit standardisierten Prüfungsumgebungen war ein großes Thema, das im Rahmen des Vortrags von Sven Slotosch und Steffen Ritter (Projekt PePP, bwLehrpool) beleuchtet wurde.

Entwicklung von fachspezifischen Prüfungs-Plugins

Michael Striewe (Universität Duisburg-Essen) hat eine JACK-Erweiterung (Aufgabentyp) für das digitale Zeichnen von Molekülen und Reaktionen in der organischen Chemie vorgestellt.

• Problemhorizont: Zahlreiche frei verfügbare webbasierte Molekül-Editoren speichern lediglich Grafikdateien, deren Auswertung umständlich von Hand durchgeführt werden muss.
• Eine besondere Herausforderung stellt die automatisierte Auswertung der Prüfungsbearbeitungen dar. Die automatisierte Auswertung der standardisierten zeichenkettenbasierten Formate in der Chemie (InChI, SMILES) ist aktuell umständlich und fehleranfällig.
  
• Es ist mit den bisherigen Tools kein differenziertes Feedback in der automatisierten Auswertung möglich. 
• Deshalb hat paluno das Molekül-Zeichentool kekule.js als JACK-Erweiterung (Aufgabentyp) integriert. Kekule.js ist ein objektorientiertes JavaScript-Toolkit (open-source). Das proprietäre JSON-Format des Editors (Molekül-Zeichentool) enthält zu viele für die automatisierte Auswertung irrelevanten Informationen, die abstrahiert werden müssen. 
• Anpassung für den Prüfungsbetrieb je nach Erfahrung/Niveaustufe/Prüfungszielen: Buttons/Funktionen des Editors sind einzeln abschaltbar, um den cognitive load der Prüflinge so gering wie möglich zu halten und Überforderung bei der Bedienung vorzubeugen.
• Regelbasiertes Feedback ist grundsätzlich in JACK möglich und soll auch für den neuen JACK-Aufgabentyp erprobt werden.
  
• Von zentraler Wichtigkeit ist die Bedienbarkeit des Molekül-Zeichentools und die Integration des Tools in den Prüfungsworkflow.

Auch an der Uni Siegen wurde die Entwicklung von (fach-)disziplingeprägten Prüfungssystemen erprobt. Der Vortrag entfiel jedoch krankheitsbedingt.