E-Learning

Evaluation von virtuellen Lernumgebungen

Die EU-Richtlinie EU 90/270, Teil 3, die Mensch-Maschine-Schnittstellen definiert, schreibt vor, dass

1. Software der auszuführenden Tätigkeit angepasst sein muss.
2. Software benutzerfreundlich sein muss.
3. Sie dem Kenntnis- und Erfahrungsstand des Benutzers angepasst sein muss.
4. Das System Angaben über die jeweiligen Abläufe bieten muss.
5. Informationen in einem Format und in einem Tempo präsentiert werden müssen, das dem Benutzer angepasst ist.

Diese Richtlinien sind theoretisch von jedem Anwender einklagbar. Darüber hinaus ist die Designevaluation von virtuellen Lernumgebungen in der Regel aufgrund der medienspezifischen Besonderheiten ein äußerst komplizierter Vorgang, der auf viel Erfahrung seitens der Entwickler und eine interdisziplinär zusammengesetzte Arbeitsgruppe angewiesen ist. Nach Holz von der Heide existieren drei Fragen, die durch Evaluation beantwortet werden sollen:

1. Which is better? (Vergleich bestehender Alternativen)
2. How good? (Ziel ist hier der Nachweis, dass das Produkt gewünschte bzw. geforderte Qualitätsmerkmale aufweist)
3. Why bad? (Schwachstellenanalyse, konstruktive bzw. formative Evaluation)

Eine detaillierte Beschreibung der notwendigen Arbeitsschritte und der zu beachtenden Kriterien würde den Umfang dieser Arbeit sprengen. Dennoch soll an dieser Stelle versucht werden, die wichtigsten Punkte zu benennen. Da es sich bei Softwareevaluation um eine internationale Disziplin handelt, werden im nachfolgenden Abschnitt vornehmlich die englischsprachigen Fachbegriffe incl. einer deutschen Übersetzung verwendet.

Entwickler virtueller Lernumgebungen haben spätestens nach der Fertigstellung eines Prototypen die Möglichkeit, anhand von Kriterienkatalogen eine erste Standortbestimmung ihrer Arbeit vorzunehmen. Accessibility (Zugriffsmöglichkeit) kann überprüft werden, indem Verfüg- und Erreichbarkeit von hypermedialen Verlinkungen nachvollzogen werden. Im Gegensatz zu Adaptivity, das die Fähigkeit der Lernumgebung, ein bestehendes Usermodell während der Eingabe zu verändern und sich dynamisch an neue Umgebungsvariablen anzupassen,  beschreibt  Adaptability (Adaptionsmöglichkeit) die Fähigkeit des Systems, basierend auf Präferenzen und Hintergrundinformationen nach den Wünschen und Entscheidungen des Users konfiguriert zu werden. Predictability (Vorhersagbarkeit) misst, wie einfach es für den Anwender ist, die Reaktion des Systems auf sein eigenes Userverhalten zu verstehen. Entwickler müssen entscheiden, für welche Anpassungsmöglichkeit sie votieren, wie diese technisch, organisatorisch und finanziell umzusetzen ist und eine Kosten-Nutzen Analyse durchführen. Usabilty (Anwendbarkeit) beschreibt hier den Aufwand, den ein Anwender betreiben muss, um mit dem System zu arbeiten und einzelne Aufgaben zu seiner Zufriedenheit lösen zu können.

Self-evidence (Selbsterklärung) gibt an, wie einfach es für den Anwender ist, eigenständig die visuelle Navigationsstruktur zu erkennen und den für ihn relevanten Links zu folgen. Häufig sind Entwickler überrascht, wie Benutzer ihre entwickelten Anwendungen in der Praxis benutzen. Functionality (Funktionalität) kann nur in Zusammenarbeit mit potentiellen Anwendern untersucht werden, allgemeine Heuristik – die einfache Betrachtung der Benutzerschnittstelle durch den Entwickler unter Einbeziehung seiner persönlichen Kenntnisse über Gebrauchstauglichkeit – ist nicht ausreichend. Laut Nielsen finden bereits 3 Evaluatoren 75 Prozent der vorhandenen Gebrauchstauglichkeitsprobleme. Sie sind jedoch nicht in der Lage, eine Vorhersage über die Zufriedenheit der Benutzer mit der Anwendung zu treffen. Assistance (Hilfemöglichkeiten) untersucht die verschiedenen Optionen, die ein Anwender hat, aus einer Lernumgebung heraus selbstständig weiterführende Informationen zu erhalten. Entwickler von virtuellen Lernumgebungen müssen Erkenntnisse darüber erhalten, ob und wie Lerner die angebotenen Hilfestellungen als effektiv und weiterführend oder als störend und verwirrend empfinden. Hilfestellungen sollten nur dann angeboten werden, wenn der Benutzer nicht mehr in der Lage ist, eine Aufgabenstellung alleine zu lösen. Die Auslotung des adäquaten Zeitpunktes sollte im Idealfall, abhängig von Vorwissen, kognitiven und technischen Fähigkeiten, individuell auf jede Lerngruppe bezogen erfolgen. Eng verbunden mit Assistance sind Availability (Verfügbarkeit) und Completeness (Vollständigkeit), die zum einen die Anzahl der fehlenden Information und die Strukturen der fehlenden Links und Verknüpfungen messen und zum anderen anzeigen, ob die Inhalte aktualisiert sind oder nicht und ob Informationen, die sich in einer Datenbank befinden auch tatsächlich immer abrufbar sind.

Consistency (Konsistenz) misst inwieweit eine Lernumgebung durch gleich bleibende Designfeatures (Navigationselemente, Hilfestellungen, Farben, Verlinkung etc.) den Lerner dabei unterstützt, sich auf gleich bleibend hohem Niveau in ihr zurechtzufinden. Consistency hilft gerade unerfahrenen Anwendern, da sie die kognitive Belastung entscheidend reduziert und die Zeit, die aufgewendet werden muss, um die Lernziele zu erreichen, minimiert wird. Dies führt zu mehr Zufriedenheit und ist gerade bei kommerziellen virtuellen Lernumgebungen ein Anreiz zum Kauf. Implementability (Einführbarkeit) definiert, inwieweit nachträglich weitere Features in das System eingebaut werden, d.h. inwieweit neue Inhalte oder Medien in die Lehreinheiten integriert werden können. Implementability gibt Aufschluss und Planungssicherheit darüber, inwieweit eine gewählte Lernplattform auf Veränderungen in der Zukunft vorbereitet ist. Maintainability (Wartungsarmut) beschreibt hingegen den Aufwand, der notwendig ist, um ein System zu warten und zu aktualisieren und Portability (Transferierbarkeit) zeigt an, wie einfach Daten von einer Anwendung/Umgebung zur nächsten übernommen werden können. Reliability (Zuverlässigkeit) sagt aus, wie häufig das System zusammenbricht bzw. Fehlermeldungen produziert.

Ein entscheidender Indikator für die Satisfaction (Zufriedenheit) – „Maße der Zufriedenheit beschreiben die Beeinträchtigungsfreiheit und die Akzeptanz der Nutzung [...] Maße der Zufriedenheit können sich auf Einstellungen beziehen, ein Produkt zu benutzen, oder auf das Benutzerurteil über Aspekte wie Effizienz, Nützlichkeit und Lernfreundlichkeit“ – ist die User-retention-overtime, die misst, wie lange die Anwender die angebotene Anwendung verwenden bzw. ihr treu bleiben.

Grundsätzlich ist es sinnvoll, die lokalisierten Probleme in mehrere Einheiten zu unterteilen, z.B.:

1. Schwer: dieses Problem muss behoben werden, da es ansonsten keine oder falsche Lösungen gibt.
2. Mittel: das Problem sollte behoben werden, um die Bedienung komfortabler zu machen.
3. Leicht: zusätzliche aber ggf. verzichtbare Wünsche

Zum Abschluss des Evaluationsprozesses sollte eine Zusammenfassung der Verbesserungs-potentiale entstanden sein, die den Entwicklern einer virtuellen Lernumgebung einen Überblick über die nächsten Arbeitsschritte ermöglicht.

Navigation in virtuellen Lernumgebungen

Durchdachtes Interaktions- und Informationsdesign hilft den Anwendern, auf die Fragen wo sie sich in einer Lerneinheit befinden, wo sie anfangen sollen und wo sie etwas Bestimmtes finden, schnell und intuitiv Antworten zu erhalten und ist dabei offensichtlich und selbsterklärend. Informationsdesigner können sich an den folgenden Fragen orientieren:

1.    Welche Seite ist das hier? (Site-Kennung)
2.    Auf welcher Seite bin ich gerade? (Seitenname)
3.    Welche Hauptsektionen finde ich hier vor? (Sektionen)
4.    Was sind meine Optionen auf diesem Level? (Lokale Navigation)
5.    Wo befinde ich mich im Übersichtsplan?
6.    Wie kann ich eine Suche starten?

Kursinhalte sollten nach den Accessibilty Richtlinien der W3C Kommission entworfen werden, um auch Blinden und Sehbehinderten den Zugang zu virtuellen Lernumgebungen zu ermöglichen. Die vier wichtigsten Grundsätze lauten:

“Content must be perceivable. Interface elements in the content must be operable. Content and controls must be understandable. Content must be robust enough to work with current and future technologies.”

Schlüssige Navigation teilt dem Lerner mit, wie eine bestimmte Seite oder ein bestimmter Teilbereich zu benutzen sind.  Persistente, d.h. auf jeder neuen Seite wiederkehrende, Elemente sorgen dafür, dass sich der Anwender schneller an eine neue Umgebung gewöhnt und sich mit ihr vertraut machen kann.  Das auch Parsing genannte Verstehen einer Seite wird erleichtert und visuelles Rauschen und Komplexität werden reduziert. Visuelle Hierarchien sparen Zeit, organisieren Inhalte und setzen Prioritäten.  Erfolgreiche virtuelle Lernumgebungen machen sich die Vorteile von Konventionen zu nutzen und lassen keine Zweifel aufkommen, welche Seitenelemente anklickbar sind und welche nicht.    Um unerfahrenen Anwendern den Einstieg zu erleichtern bieten qualitativ hochwertige virtuelle Lernumgebungen einen, wenn möglich animierten, geführten Rundgang durch die einzelnen Seitenbereiche an.  Gerade für Studienanfänger ist dieses Angebot hilfreich, da so die doppelte kognitive Belastung - eine neue Lernsituation und neue Inhalte - reduziert wird.

Die Lernumgebung sollte dem Lerner das Gefühl vermitteln, einen physikalischen Raum zu repräsentieren und gleichzeitig eine Orientierung im Raum incl. Richtungsgefühl anbieten. Idealerweise stellt sich darüber hinaus über die Zeit ein Unsicherheit reduzierendes Gefühl für die Größenverhältnisse ein.  Daher müssen Fenstertitel und Menüpunkte konsistent, die Menüreihenfolge klar und verständlich, Bezeichnungen aussagestark, Darstellungen beschriftet, und Fehlermeldungen verständlich und konstruktiv sein.

Persönliche Einstellungen wie Lesezeichen, Nachrichten, zuletzt bearbeitete Lerneinheiten, Sprache, Passwort oder eigene gespeicherte Dokumente müssen von den Lernern in einem eigenen Bereich gespeichert und jeder Zeit abgerufen werden können.  Für die sukzessive Bearbeitung von Aufgaben in kurzen zeitlichen Einheiten ist es wichtig, dass ein Lerner Ein- und Ausgangspunkte markieren kann, d.h. jeder Zeit die Lernumgebung verlassen und zu jeder Zeit wieder an eben dieser Stelle anknüpfen kann. Es sollte dabei immer versucht werden, die Dialoge auf einer Seite dem „natürlichen“ Lösungsablauf der Benutzer anzupassen. Navigation hat die Aufgabe, dem Lerner sowohl die kommunikative Nutzung (Soziale Interaktion, Möglichkeit zur Meinungsäußerung, Nützlichkeit für Diskussion) als auch die rezeptive Nutzung (Suche nach Rat, Problemlösungen, Umweltkontrolle) der Lernumgebung so einfach wie möglich zu machen.

Informationsdesign und Usability

Erfolgreiches Informationsdesign ist in hohem Maße abhängig von der Usability (Anwenderfreundlichkeit) der Lernumgebung. ISO 9241, Teil 11 definiert Usability als „the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use”.  Usability kann demnach niemals als getrennter Kennwert, sondern ausschließlich in einem Gesamtkontext beschrieben werden. Messbare Größen für Usability von virtuellen Lernumgebungen sind:

1. Effektivität: Die Aufgabenbandbreite, die erfahrene Anwender in einer bestimmten Zeit bewältigen und die Fehlerhäufigkeit während dieses Prozesses.
2. Erlernbarkeit: Die Zeit und der Aufwand die und den Anwender benötigen, um ein bestimmtes Expertentum bezüglich einer Aufgabenbewältigung zu erreichen, nachdem sie sich einem Training
3. Flexibilität: Das Ausmaß, in dem sich ein System an Aufgaben und Umgebungen anpassen kann, für die es ursprünglich nicht entwickelt wurde.
4. Einstellung: Das Ausmaß an positiven Einstellungsänderungen, die ein System gegenüber seinen Anwendern hervorrufen kann.

Designziel ist, dass Lerner mit der virtuellen Lernumgebung zufrieden und motiviert sind, mit dem Produkt zu interagieren. Der gesamte Designprozess sollte sich deshalb jederzeit an den Bedürfnissen der Anwender orientieren. Informationsdesign kann vor dem Hintergrund anwenderfreundlicher Lernumgebungen als eine Prozesskette betrachtet werden, bei der zuerst die am Anwender orientierten Ziele definiert werden müssen. Damit Entwickler von virtuellen Lernumgebungen den Einfluss von unterschiedlichen Design-Lösungen auf die Lernleistungen analysieren und dokumentieren können, muss Anwenderfeedback in den Designprozess integriert werden. Darüber hinaus muss auch nach der Zielerreichung der Innovationsprozess ständig überdacht und überarbeitet werden.

Um die Usability zu erhöhen sollten virtuelle Lernumgebung folgende Dokumente, die der reibungslosen administrativen Abwicklung dienen, enthalten:

1. Eine personalisierte Willkommensbotschaft für jeden Kursteilnehmer
2. Generelle Informationen über E-Learning, technische Voraussetzungen, verfügbare Hilfestellungen
3. Erwarteter täglicher/wöchentlicher Zeitaufwand
4. Informationen über die Navigationsstruktur der Kurseinheiten
5. Regeln und Hilfestellungen für die interaktiven Anwendungen
6. Eine detaillierte Kursbeschreibung: Kontaktinformationen des Lehrpersonals und der Tutoren, Zulassungsvoraussetzungen, ein Kursüberblick, ein Zeitplan, Studien- und Prüfungsordnung, Literaturliste, erforderliche akademische und computertechnische Kenntnisse, Erwartungshaltung an die Teilnehmer, Informationen über Aufgaben und Abgabetermine
7. Regelwerk: Beschreibung des Umgangs mit Plagiaten, Datenschutzbestimmungen

Bei der Anmeldung sollte den Lernern eine Liste mit den minimalen und bestmöglichen technischen Zugangsvoraussetzungen (z.B. Bildschirmauflösung, DSL/Wireless LAN Anschluss etc.) präsentiert werden. Den Lernern muss frühzeitig mitgeteilt werden, ob Teile des Kurses auch offline bearbeitet werden können. Dies kann bei Bedarf entweder durch herunterladbare Inhalte und Aufgabenstellungen oder durch zugesandtes Studienmaterial (CD/DVD ROM, Skripte etc.) gewährleistet werden. Da bei virtuellen Lernumgebungen administrative Aufgaben wie An- oder Rückmeldungen, Bezahlung der Kurs- oder Bibliotheksgebühren online erledigt werden, müssen die Eingabefelder äußerst intuitiv bedienbar gestaltet sein. Es ist entscheidend, dass der Log-in Prozess sowie alle weiteren formal vorbereitenden Aufgaben von den Lernern als einfach und praktisch empfunden werden, um von Anfang an einen Zustand der Zufriedenheit zu erreichen.

Entwickler virtueller Lernumgebungen müssen festlegen, welche Software bzw. Plug-ins die Anwender benötigen, um alle (multimedialen) Inhalte optimal darstellen zu können. Ist es ist nicht möglich, über einen zentralen Server auf allen vernetzten Rechnern im Hintergrund ein Update durchzuführen (etwa in einem Intranet), dann muss sichergestellt werden, das die für das Studium relevanten Programme problemlos auffindbar zum Download angeboten werden. Die Video- und Audiodateien müssen in einer Art und Weise in die Lernumgebung eingebunden werden, die es den Lernen erlauben, die Inhalte eigenständig abzuspielen und ggf. zu wiederholen oder anzuhalten.