AI4PROSA - Erster Test des KI-Bots
Lernen über eine KI-gestützte Plattform, mit einem Bot als Tutor? Dieses Ziel hat sich das Erasmus+ Projekt AI4PROSA gesetzt. Am 17. Dezember fand ein erster Praxistest des Chatbots und der Lernplattform an der Staatlichen Berufsschule II Bayreuth statt.
Test nach wissenschaftlichen Standards
Fünf Schülerinnen und Schüler stellten sich freiwillig als Testpersonen zur Verfügung. Der Test erfolgte nach strengen Regularien, um ein möglichst unverfälschtes Ergebnis nach wissenschaftlichen Standards zu erhalten. Das Testdesign wurde durch das Team um Prof. Pedro Pernias von der Universität Alicante entwickelt.
Nach einer kurzen Einführung durch den Projektkoordinator StD Martin Kolb sollten die Schülerinenn und Schüler möglichst ohne Eingreifen der Lehrkraft eine Einheit zum Thema "Rechtliche Pflichten im Bereich
Produktsicherheit für Kinderprodukte nach europäischer Gesetzgebung" durcharbeiten.
Um den Erfolg der Lerneinheit auszuwerten, mussten alle Probanden am Ende einen Wissentest absolvieren. Daneben wurde mittels einem Fragebogen und in einem offenen Videointerview die Meinung der Schülerinnen und Schüler abgefragt, um Kritikpunkte und Verbesserungsvorschläge zu sammeln.
Schulleiter StD Stefan Mahnke verschaffte sich einen Eindruck vom Experiment und zeigte sich von der Qualität des Chatbots beeindruckt. "Die Zusammenarbeit im Rahmen des Projekts mit solch hochkarätigen Partner wie der Universität Alicante, zeigt, dass die Staatliche Berufsschule II Bayreuth eine Pionierrolle bei der Unterrichtsentwicklung einnimmt."
Härtetest am Nachmittag
Am Nachmittag wurde der Test im Plusprogramm E-Commerce mit einer größeren Gruppe durchgeführt, die von den Lehrkräften Dietl, Echtler, Fraissinet und Stöcker betreut wurde. Dabei stand die technische Belastbarkeit des Systems im Vordergrund, insbesondere die Performance bei einer großen Zahl von Zugriffen. Insgesamt blieb das System dabei stabil und zuverlässig ohne größere Wartezeiten.
Bewertung durch die Schülerinnen und Schüler
Das Fazit der teilnehmenden Schülerinnen und Schüler fiel insgesamt positiv aus, es gab aber auch einige Verbesserungsvorschläge. Als positiv empfanden die Teilnehmenden, dass sich der Bot auf ihr jeweiliges Niveau anpasste und zum Beispiel das Tempo und das Niveau der Erklärungen flexibel adaptierte. Positiv wurde auch bewertet, dass die Sprache der Erklärungen flexibel gewechselt werden kann - für Lernende mit Migrationshintergrund ein wichtiger Vorteil.
Auch Verbesserungsmöglichkeiten wurde thematisiert. Der Wunsch wurde geäußert, direkt mit dem Bot sprechen zu können, da die Eingabe per Tastatur doch recht umständlich ist. Es wurde außerdem bemängelt, dass aktuell die Lernplattform sehr textlastig ist und zum Beispiel visuelle Lerntypen dadurch benachteiligt werden.
Die Verbesserungsvorschläge wurden an das Team der Universität Alicante weitergeleitet und sollen bei zukünftigen Versionen der Lenrplattform implementiert werden.