Article
Jialiang Wei, Anne-Lise Courbis, Thomas Lambolais, Binbin Xu, Pierre Louis Bernard, et al..
GUing: A Mobile GUI Search Engine using a Vision-Language Model.
ACM Transactions on Software Engineering and Methodology, In press
DOI: https://doi.org/10.1145/3702993
HAL: https://hal.science/hal-04780267
Contexte
Les interfaces graphiques sont essentielles dans le développement d’applications et servent souvent d’inspiration ou de prototypes pour de nouvelles conceptions. Les méthodes traditionnelles d’extraction du texte vers l’interface graphique s’appuient sur les éléments textuels mais négligent les aspects visuels tels que les icônes ou les images d’arrière-plan. En outre, ces méthodes ne tiennent pas compte des besoins spécifiques des développeurs. Pour y remédier, l’article présente GUing, un moteur de recherche d’interfaces graphiques alimenté par GUIClip, un modèle de langage visuel formé pour la recherche d’interfaces graphiques d’applications Ce travail a été mené dans le cadre de développement d’outils supports à l’Ingénierie des Exigences avec pour application la conception d’une application dédiée aux systèmes de suivi de séniors pour « bien vieillir en santé ».
Contribution
Méthodes :
Présentation de notre approche : création des ensembles de données, formation du modèle GUIClip, développement du moteur de recherche GUI et processus de requête sur le moteur.
Résultats et discussion :
Ce travail représente une avancée significative dans la recherche d’interfaces graphiques, en tirant parti des caractéristiques textuelles et visuelles, à la fois pour la classification des interfaces mais aussi pour leur génération. Des évaluations sur des ensembles de données existants montrent que GUIClip surpasse les modèles existants.
Taux de citation