Eine korrekte Bewegung auf dem Bildschirm erzeugt nicht zwangsläufig das richtige Ergebnis. Eine Schaltfläche kann deaktiviert sein, eine Seite noch laden oder ein Fehler den Ablauf verändern. Visuelle Automatisierung muss nicht nur fragen, wohin sie klickt, sondern auch, woran sich der Erfolg erkennen lässt.
Beobachtung und Interaktion sind getrennte Aufgaben
Android bietet Möglichkeiten zur Erfassung von Bildschirminhalten sowie Mechanismen zur Untersuchung und Bedienung von Oberflächen. Die offizielle Dokumentation beschreibt die Bildschirmaufnahme mit MediaProjection und die Fähigkeiten von AccessibilityService getrennt. Der praktische Einsatz hängt von Berechtigungen, Plattformbeschränkungen und den Umständen der Anwendung ab. 12
Für Sara OS ist diese Unterscheidung wichtig: Einen Zustand zu beobachten ist keine Erlaubnis für jede Aktion. Jeder Schritt braucht ein eigenes Ziel, passende Zugriffsrechte und eine Erfolgsbedingung.
Der Zyklus aus Finden, Handeln und Prüfen
Ein veranschaulichendes Beispiel ist das Öffnen der Details einer bestimmten Anfrage. Zuerst wird geprüft, ob die richtige Liste geöffnet ist, dann die gewünschte Anfrage ausgewählt und schließlich ihr Name oder ihre Kennung auf der Detailseite bestätigt. Eine andere Anfrage zu öffnen ist kein Erfolg.
Die sichtbare Position einer Schaltfläche ist nur ein Hinweis. Auch Seitentitel, zugehöriger Text und der Zustand nach der Aktion gehören zur Testdefinition. Die Erkennungsqualität muss für jede Anwendung getrennt bewertet werden; die Kompatibilität mit einer Seite beweist keine Kompatibilität mit allen Anwendungen.
Was soll bei einem unklaren Zustand geschehen?
Unser vorgeschlagener Entwurf wiederholt Versuche nicht unbegrenzt. Wiederholungen sollten begrenzt sein und von einem Bericht begleitet werden, der den Abbruch erklärt. Aktionen wie Senden oder Absenden ohne Prüfung des vorherigen Ergebnisses zu wiederholen kann unerwünschte Ausgaben erzeugen.
Die Qualität der Automatisierung in Sara OS sollte am Endpunkt beurteilt werden: Wurde das angeforderte Ergebnis erreicht, gibt es Belege und versteht der Nutzer, wo der Vorgang angehalten wurde? Diese Fragen unterscheiden eine Vorführung von einem verlässlichen Arbeitsablauf.
