Praktikum
Visual Page Segmentation
Completion
2018/09
Research Area
Web Engineering
Students
Advisers
Description (German)
Sich verändernde Nutzererwartungen stellen neue Anforderungen an bestehende Softwaresysteme. Auch die ständige Weiterentwicklung von Technologien und das Wegfallen der Unterstützung für veraltete Technologien erhöhen den Druck, bestehende Softwaresysteme zu erneuern. Da über lange Zeiträume hinweg entwickelte Systeme viel Wissen über Modelle, Regeln und Lösungen der Anwendungsdomäne im Quelltext beinhalten, ist es oft nicht sinnvoll diese durch eine komplette Neuentwicklung abzulösen. Vielmehr ist es nötig, bestehende Softwaresysteme in neue Systeme zu überführen und dabei bereits vorhandenes Wissen zu erhalten. Mit dieser Zielstellung beschäftigt sich die Softwaremigration.
Beim Übergang von Desktop zu Web Anwendungen ändert sich zwingend die Benutzerschnittstelle (UI). Diese Änderung beeinflusst die Nutzerakzeptanz mehr, als beispielsweise Änderungen im Backend und stellt folglich einen Risikofaktor dar. Wenn die Änderungen zu drastisch ausfallen, riskiert der Software Provider den Verlust von Kunden. Ziel ist es also, den Grad an von Nutzern wahrgenommenen Änderungen kontrolieren zu können. Hierfür ist es nötig, diesen möglichst automatisch bestimmen zu können, indem UI Elemente automatisch erkannt werden.
Ziel dieses Praktikums ist die Verbesserung der automatischen Erkennung von UI Elementen (z.b. Buttons, Textboxen, Checkboxen, Labels, Textparagraphen, Links, Radiobuttons, Selects/Listen, Bilder, Symbole etc.) in Screenshots von Nutzerschnittstellen, sowohl von Desktopanwendungen als auch Webanwendungen, basierend auf visuellen Merkmalen. Das Ergebnis einer solchen visuellen Analyse sind Position und Größe des UI Elements (im allgemeinen durch die bounding box beschrieben), sowie Informationen zur Art des Elements (unterschiedliche Typen wie oben aufgelistet) und ggf. weiterführende Informationen (z.B. Zustand, Ausrichtung, Font, Farbe)
Diese Verbesserung umfasst zwei Dimensionen:
a) Verbesserung der Vollständigkeit (vgl. Recall) der Erkennung aller Elemente eines UI Screenshots und
b) Verbesserung der Korrektheit (vgl. Precision) der Erkennung aller Elemente eines UI Screenshots.
Um diese Verbesserung zu erreichen, sollen übliche Algorithmen aus populären Frameworks der Themenfelder Maschinelles Lernen, Deep Learning und Bildanalyse/Bildverstehen verwendet werden. Hierfür nötige Trainingsdatensätze werden im Rahmen des Forschungspraktikums entweder eigenständig mit Hilfe von entsprechenden Skripten erstellt, oder es wird auf bestehende Datensätze zurückgegriffen.
Die umgesetzte Lösung wird in die bestehende Web-Service Infrastruktur der Professur integriert, als Datenformat kommt JSON zum Einsatz.
Der Nachweis der Verbesserung durch die eigene Lösung wird mit einer geeigneten Evaluation erbracht, für die die bestehende Umsetzung der Professur sowie die eigene Lösung auf einem geeigneten Testdatensatz von verschiedenen Nutzerschnittstellen angewendet werden, und die Ergebnisse vergleichend dargestellt und analysiert werden.
