画面上で正しく動いても、結果が正しいとは限りません。ボタンが無効、ページが読み込み中、あるいはエラーで流れが変わる場合があります。どこを押すかに加え、成功をどう確認するかが必要です。
観察と操作は別の作業
Androidには画面の取得と、インターフェースの調査・操作の仕組みがあります。公式資料はMediaProjectionによる画面取得とAccessibilityServiceの機能を別々に説明しており、実際の利用は権限、プラットフォームの制限、アプリの状況に依存します。 12
Sara OSでも、状態を観察できることを、あらゆる操作の許可とみなしてはいけません。各段階に、それぞれの目的、アクセス権、成功条件が必要です。
見つける、操作する、確認する
特定の依頼の詳細を開く例なら、まず正しい一覧を確認し、対象の依頼を選び、詳細画面で名称や識別子を照合します。別の依頼を開いても成功ではありません。
ボタンの見かけの位置は一つの手掛かりにすぎません。ページの見出し、関連する文字、操作後の状態も試験条件に含めます。検出品質はアプリごとに評価し、一つのページへの対応をすべてのアプリへの対応と扱わないことが大切です。
状態が不明確なときは
提案する設計は無制限に再試行しません。回数を制限し、その後は停止理由を報告します。送信や提出などを、前回の結果を確認せず繰り返すと、意図しない出力につながります。
Sara OSの自動化品質は終点で判断すべきです。求めた結果が得られたか、証拠があるか、どこで停止したかを利用者が理解できるか。この問いが実演と信頼できる工程を分けます。
