Masterarbeit / Bachelorarbeit
A web-based Platform for Automatic Assessment of Web User Interfaces
Research Area
Advisers
Dr.-Ing. Sebastian Heil
Description
Web User Interface (WUI) metrics are an important building block for engineering good frontends. It enables a systematic approach of iteratively building, evaluating, and improving user interfaces to optimize them towards desired target characteristics in terms of aesthetics, complexity and usability. Automatic computation of these metrics, reducing the need for expensive and time-consuming empirical evaluations with human users, is the key enabler for a high results quality and efficiency of this process, as it allows for high evaluation frequency and therefore for smaller increments being created more often. Various models from both traditional Machine Learning and recent Deep Learning approaches have been shown to be able to predict WUI metrics. The mayority of these models are at TRL (Technology Readiness Level) 3, i.e. they are experimentally validated proof-of-concept implementations. To make them available to a wider audience of industry practitioners, they need to be consolidated into a concrete software tool at a higher TRL.
This thesis aims at creating a web-based software tool at TRL 4 or higher, that makes use of existing models for automatic WUI assessment and its evaluation in a pilot study. The user interface of this web-based system needs to be purposely designed to support UIX designers and user researchers to automatically assess WUIs, with insights from a previous mixed-methods study conducted and existing assessment and design tools as guideline. The system architecture must support multiple users assessing one or more WUIs with user-selected metrics. Computations for each metrics need to be run independently in parallel and individual results need to be delivered to the user once they are available. The system needs to be easily extendable with new models and metrics. Shared required preprocessing steps (e.g. conversion to black and white, UI object detection, scene text recognition) should be ran only once and their intermediate results distributed to the dependant steps. WUI assessment results should be persistable and referencable with a persistent URL. The system should support input of a URL of the WUI to assess as well as uploading a WUI screenshot and/or HTML and enable/disable selctable metrics accordingly.
The objective of this thesis is the creation of a solution or the combination of existing techniques to solve the problem of increasing the TRL of WUI assessment models through a web-based system with usability and architectural requirements as described above. This comprises the analysis of the state of the art of design tools and UI assessment platforms as well as the demonstration of the solution by implementation and a suitable experimental evaluation in a pilot study as outlined above.
Description (German)
Metriken für Web-basierte Benutzeroberflächen (WUIs) sind ein wichtiger Baustein für die Entwicklung guter Frontends. Sie ermöglicht einen systematischen Ansatz zur iterativen Erstellung, Bewertung und Verbesserung von Benutzeroberflächen, um sie zu gewünschten Eigenschaften im Hinblick auf Ästhetik, Komplexität und Usability zu optimieren. Die automatische Berechnung dieser Metriken, die teure und zeitaufwändige empirische Evaluierungen mit menschlichen Nutzern überflüssig macht, ist der Schlüssel zu einer hohen Ergebnisqualität und Effizienz dieses Prozesses, da sie eine hohe Evaluierungsfrequenz und somit die Erstellung kleinerer Inkremente in kürzeren Abständen ermöglicht. Es hat sich gezeigt, dass verschiedene Modelle sowohl aus dem traditionellen maschinellen Lernen als auch durch neuere Deep-Learning-Ansätze in der Lage sind, WUI-Metriken vorherzusagen. Die Mehrheit dieser Modelle sind auf TRL (Technology Readiness Level) 3, d.h. sie sind experimentell validierte proof-of-concept Implementierungen. Um sie einem größeren Kreis von Praktikern aus der Industrie zugänglich zu machen, müssen die Modelle in einem Software-Werkzeug auf einem höheren TRL konsolidiert werden.
Ziel dieser Arbeit ist die Erstellung eines web-basierten Software-Werkzeugs auf TRL 4 oder höher, welches existierende Modelle zum automatischen Bewerten von WUIs verwendet, sowie seine Evaluation in einer Pilotstudie. Die Nutzerschnittstelle dieses web-basierten Systems muss zielgerichtet zur Unterstützung von UIX Designern und User Researchern beim automatischen Bewerten von WUIs entworfen werden und auf Erkenntnissen aus einer bereits durchgeführten Studie sowie auf der Betrachtung von existierenden Bewertungs- und Design Werkzeugen basieren. Die Systemarchitektur muss es ermöglichen, dass mehrere Nutzer eine oder mehrere WUIs mit vom Nutzer wählbaren Metriken analysieren können. Die Berechnungen für jede Metrik müssen unabhängig parallel voneinander ausgeführt werden und die jeweiligen Ergebnisse müssen dem Nutzer nach und nach angezeigt werden, sobald sie jeweils verfügbar sind. Das System muss einfach um neue Modelle und Metriken erweiterbar sein. Gemeinsame benötigte Vorverarbeitungsschritte (z.B. Umwandlung in Schwarz und Weiß, UI Objekterkennung, Scene Text Erkennung) sollen nur einmalig ausgeführt werden und ihre Zwischenergebnisse an die davon abhängigen Schritte weiterverweilt werden. Die Ergebnisse eines WUI Assessments sollen persistent mit einer referenzierbaren persistenten URL zugreifbar bleiben. Das System soll die Eingabe einer URL der zu bewertenden WUI sowie den Upload eines WUI Screenshots und/oder HTML ermöglichen und entsprechend die auswählbaren Metriken filtern.
Das Ziel dieser Arbeit ist die Entwicklung einer Lösung oder die Kombination bestehender Techniken, um das Problem der Erhöhung des TRL von WUI Assessment Modellen durch ein web-basiertes System mit Usability- und Architektur-Anforderungen, wie oben beschrieben, zu lösen. Dies umfasst die Analyse des Stands der Technik von Designwerkzeugen und UI Assessment Plattformen sowie die Demonstration der Lösung durch eine Implementierung und eine geeignete experimentelle Evaluierung auf der Grundlage einer Pilotstudie wie oben beschrieben.
