Un mouvement correct à l’écran ne produit pas nécessairement le bon résultat. Un bouton peut être désactivé, une page encore en chargement ou une erreur modifier le déroulement. L’automatisation visuelle doit demander non seulement où cliquer, mais aussi comment savoir que l’action a réussi.
Observer et interagir sont deux tâches distinctes
Android fournit des moyens de capturer le contenu de l’écran ainsi que des mécanismes pour examiner les interfaces et interagir avec elles. La documentation officielle décrit séparément la capture d’écran avec MediaProjection et les capacités d’AccessibilityService. Leur utilisation pratique dépend des autorisations, des restrictions de la plateforme et du contexte de l’application. 12
Cette distinction compte pour Sara OS : observer un état ne doit pas être assimilé à une autorisation d’effectuer n’importe quelle action. Chaque étape nécessite son propre objectif, son accès et sa condition de réussite.
Le cycle repérer, agir et vérifier
Prenons une tâche illustrative : accéder aux détails d’une demande précise. Il faut d’abord confirmer que la bonne liste est ouverte, puis sélectionner la demande visée et enfin vérifier son nom ou son identifiant sur la page de détail. Ouvrir une autre demande n’est pas une réussite.
La position apparente d’un bouton n’est qu’un indice. Le titre de la page, le texte associé et l’état après l’action doivent aussi entrer dans la définition du test. La qualité de détection doit être évaluée séparément dans chaque application ; fonctionner sur une page ne prouve pas la compatibilité avec toutes les applications.
Que faire lorsque l’état est incertain ?
Le modèle que nous proposons ne réessaie pas indéfiniment. Les tentatives doivent être limitées, puis suivies d’un rapport expliquant l’arrêt. Répéter des actions comme envoyer ou soumettre sans vérifier le résultat précédent peut produire des effets indésirables.
Pour Sara OS, la qualité de l’automatisation doit se juger au point d’arrivée : le résultat demandé a-t-il été obtenu, existe-t-il des preuves et l’utilisateur peut-il comprendre où le processus s’est arrêté ? Ces questions distinguent une démonstration d’un processus fiable.
