Ziel des Projekts war es, die Nutzer für die Bildverarbeitung von Sensoren (z.B. Näherungsschalter, Radar, Tiefenkamera) und zugehörige Sachverhalte zu sensibilisieren. Die Funktionsweise und insbesondere die Einschränkungen solcher Sensoren werden visuell mittels Virtual Reality (VR) veranschaulicht. Zu Beginn des Wintersemesters 2019/2020 starteten neun Studierende aus den Studiengängen Informationsdesign, Online-Medien-Management sowie Wirtschaftsinformatik und digitale Medien mit Prof. Dr.-Ing. Krešimir Vidačković, der das Projekt betreute, zu einer Summer School nach Corvallis im US-Bundesstaat Oregon. Der Besuch an der Oregon State University markierte die Kick-off-Phase des interdisziplinären Projekts.
Problematiken von Sensoren
In Oregon angekommen, lernten die HdM-Studierenden ihre US-amerikanischen Kommilitonen der OSU aus den Studiengängen Computer Science und New Media Communicatons kennen, die gemeinsam mit ihnen das Projekt umsetzen. Die HdMStudierenden bekamen vom Collaborative Robotics and Intelligent Systems (CoRIS) Institute der OSU Informationen zu Sensoren und deren Verwendung in Robotern. Dabei wurde dem Projektteam schnell die Problematik, die mit Sensoren verbunden ist, klar: Sensoren können beispielsweise Menschen nicht als solche erkennen, sondern lediglich anhand von Mustern vorgegebene Objekte registrieren bzw. daraus folgende Annahmen treffen. Umwelteinflüsse, wie etwa Reflexionen, verursacht durch Lichteinstrahlung, schränken zusätzlich deren Genauigkeit ein. Basierend auf der Funktionsweise der Sensoren und der zugehörigen Signalverarbeitung wurde dem Projektteam das Thema Machine Learning (ML) als Teilgebiet von Künstlicher Intelligenz (KI) nähergebracht und eine kritische Auseinandersetzung damit angeregt. In mehreren Brainstormings folgten anschließend erste Ideen für mögliche Anwendungen – alle mit einer Gemeinsamkeit: der Nutzer soll auf spielerische Art und Weise sein Umfeld erkunden.
(c) Chris Becerra(c) Chris Becerra(c) Chris Becerra(c) Chris Becerra
Projektvorstellung auf der MediaNight
Die Konzeptideen der einzelnen Teams wurden dann im Laufe des Wintersemesters 2019/2020 verfeinert und zu einer funktionsfähigen VR-Anwendung umgesetzt. Die Ergebnisse des Projekts wurden bei der MediaNight am Ende des Semesters präsentiert: Nutzer konnten mittels VR die Funktionsweise der Sensoren von Robotern kennenlernen, indem diese zunächst in einer virtuellen Werkstatt ausprobiert werden konnten, um ihre Stärken und Schwächen in Erfahrung zu bringen. In einem Shop kann der Nutzer auch verschiedene Sensoren erwerben, z.B. Radar, Lidar, Sonar oder einen Kamerasensor, und seinen Roboter mit diesen ausstatten. Anschließend schlüpft er in die Rolle des Roboters und muss in verschiedenen Levels Aufgaben im Rahmen von Minigames mit Hilfe dieser Sensoren erledigen: darunter einen Parcours bewältigen, ohne diesen mit seinen eigenen Augen zu sehen, sondern nur durch Nutzung eines gewählten Sensors. In weiteren Minigames müssen Objekte gefunden und korrekt kombiniert werden oder fliegenden Objekten ausgewichen werden. Da der Nutzer alle verfügbaren Sensoren zur Bewältigung der Aufgaben wählen kann, erlernt er die Funktionsweise der Sensoren im praktischen Einsatz. Somit besitzt die Anwendung zwar einen spielerischen Charakter, hat aber einen Nutzen im seriösen Kontext, da politische Entscheider im Bereich autonome Fahrzeuge und Roboter beispielsweise die Entscheidung über den vorgeschriebenen Einsatz von Sensoren auf diese Weise fundierter herleiten können.
