画面構成・操作方法

本ツールの画面構成と操作方法について説明します。

画面構成

image

ツールは 4 つのサブウィンドウとメニューバーで構成されています。

  1. ゲーム起動サブウィンドウ
  2. プレビューサブウィンドウ
  3. コントロールサブウィンドウ
  4. 多目的サブウィンドウ

操作方法

メニューバー

設定

ツールの各種設定を行うウィンドウを表示します。

設定については別途資料を参照してください。

ヘルプ

現状では以下の情報表示が実装されています。

  • 本ツールのバージョン番号
  • サードパーティソフトウェアに関する通知

ゲーム起動サブウィンドウ

ゲームを起動し、ツールと連携させるための操作をまとめたサブウィンドウです。

Target を切り替えて使用します。

Android

image

ADB

ADB (Android Debug Bridge) の path です。

選択 ボタンを押すことでファイル選択ダイアログから実行ファイルを指定可能です。

更新 ボタンを押すことで Android 端末と接続します。

接続端末

接続された Android 端末の Device ID が表示されます。

接続する Android 端末が複数ある場合はドロップダウンメニューから選択可能です。

接続チェック

このボタンを押すことで接続状態のチェックを行ないます。

ステータスバーを考慮

テストするアプリにステータスバーが表示されている場合はこのチェックボックスをチェックします。

前回接続したアプリを起動する

前回接続したアプリを起動する場合はこのチェックボックスをチェックします。

Windows

image

ゲームバイナリ

Windows/Mac 版のゲームをツールから起動する際に用いるゲームの path です。

選択 ボタンを押すことでファイル選択ダイアログから実行ファイルを指定可能です。

選択可能な実行ファイルの形式は以下になります。

  • game binary (.exe)
  • internet shortcut (.url)
TCP ポート

ツールとゲームは WebSocket を使って通信します。そこで利用する TCP ポート番号です。

各自のネットワーク環境に合わせて適切なポート番号を指定してください。

共通

開始

このボタンを押すと、ゲームとの通信を開始しようとします。

  • このボタンを押すと、ツールはゲームとの接続マッチング状態に移行します
終了

このボタンを押すと、ゲームを終了させ、ゲームとの通信を切断します。

画面を手動で更新

プレビュー画面の手動更新ボタンです。

基本的には押す必要はありません。

プレビューサブウィンドウ

ゲームとの通信が確立した状態で、ゲーム画面をツール内に表示するサブウィンドウです。

image

トータルコスト

ツールを起動して以降の、LLM の利用料金がドル換算で表示されます。

トータルトークン数

ツールを起動して以降の、LLM のトークン数が表示されます。

ゲームとの接続状態

ゲームとの通信状況を示します。

  • NOT_COMMUNICATE: 未接続状態
  • WAIT_TO_CONNECT: 通信相手のゲームを待ち受けている状態
  • CONNECTED: ゲームとの通信が確立している状態
  • DISCONNECTED: ゲームとの接続が途切れた状態(通信エラーでもこの状態に遷移します)

プレビュー画面

接続しているゲームの画面が表示されます。

画面はシステムの必要に応じて更新されますが、必要のない場合には更新されません。

ゲーム起動サブウィンドウの 画面を手動で更新 ボタンを押すことで手動更新可能です。

プレビュー画面で右クリックするとコンテキストメニューが表示され、以下の機能が利用可能です。

コンテキストメニューの詳細については別途資料を参照してください。

描画オブジェクトの検索

描画オブジェクトの特定を行う別ウィンドウを開きます。

許可/不許可アクションリストの編集

許可アクションリスト/不許可アクションリストの編集を行う別ウィンドウを開きます。

外部エディタでツリー情報を閲覧

現在のゲームの描画オブジェクトのツリー構造を JSON 形式にして、エディタで開きます。

コントロールサブウィンドウ

ゲームを自動で操作するための機能をまとめたサブウィンドウです。
タブ切替えで以下の機能にアクセスできます。

対話型インターフェース

テキスト指示でゲームを自動操作します。 テキストの指示はチャットのようにフォームに直接書く必要があります。

image

指示文

ユーザー指示文です。
日本語もしくは英語で、自動プレイさせたい内容を記述してください。

  • 指示文は 指示文を追加 ボタンで増やすことが、指示文を削除 ボタンで減らすことができます
  • 複数の指示を与えた場合、順次実行となります
実行

このボタンを押すと、ユーザーの指示をエージェントに与えて自動プレイを開始します。

  • 指示を完了するまで 強制終了 ボタン以外の操作が行えない状態になります
    • 自動プレイ中はインジケータが表示されます
    • 自動プレイが完了するとインジケータが消えます
強制終了

自動プレイを強制終了します。

  • このボタンは 自動チェック タブで自動チェックを行っている最中でも利用できます

状況確認

テキストで画面の状況を確認します。

image

指示文

ユーザー指示文です。
日本語もしくは英語で、状況確認したい内容を記述してください。

  • 確認結果は True or False の 2 値になるため、確認内容もそれに合わせた書き方をしてください。
実行

このボタンを押すと、ユーザーの指示をエージェントに与えて状況確認を開始します。

  • 状況確認中はインジケータが表示されます
  • 状況確認が完了するとインジケータが消えます
  • 実行結果は多目的サブウィンドウの自動プレイの情報タブに表示されます。

実行結果についてはは別途資料を参照してください。

自動チェック

Excel ファイルに記述されたタスクリストを読み込んで、自動でチェックを行います。

Excel 形式のテストシーケンスについては別途資料を参照してください。

image

現在実行中のタスク

自動チェック進行中は現在実行中のタスクの内容を表示します。

image

  • ログファイルを開く ボタンをクリックすることで関連のログファイルを開きます。
テストシーケンス

タスクリストの path です。

  • 選択 ボタンを押すことでファイル選択ダイアログから .xlsx ファイルを指定可能です
シーケンスを実行

指定したタスクリストに従って自動チェックを開始します。

  • 自動プレイ中はインジケータが表示されます
  • 自動プレイが完了するとインジケータが消えます

自動チェックを強制的に終了したい場合は、対話型インターフェース タブの 強制終了 ボタンを押してください。

直接入力の設定

マウス直接入力の設定を行ないます。

直接入力の設定の詳細については別途資料を参照してください。

image

多目的サブウィンドウ

ツールの自動プレイに関する様々な表示をまとめたウィンドウです。 タブ切替えで以下の機能にアクセスできます。

自動プレイの情報（自動プレイの場合）

自動プレイを行う際の LLM の意思決定を表示するタブです。

image

自動プレイ実行中に自動で更新され、ユーザーは前回の LLM のレスポンスを GUI 上で確認することができます。

ログファイルについては別途資料を参照してください。

情報のクリア

表示をクリアするボタンです。

エージェントの状態

自動プレイエージェントの内部状態です。

指示

ユーザー指示文です。

試行回数

試行回数（指示を達成する為に LLM に問い合わせた回数）です。

メッセージ

内部メッセージです。

  • 自動プレイが完了時には「AutoPlay is Done.」と表示されます
  • それ以外は操作のついての情報が表示されます
LLM の応答

LLM のレスポンスをそのまま表示しています。

  • タイプ: 自動プレイのタイプ
  • 計画: 目的達成のためのプラン
  • 行動: 要約
  • 状況説明: 現状説明
  • 完了判定: 完了判定
  • 操作対象: 実行すべきアクションの ID
  • 補足情報: 追加情報

計画・行動・状況説明 については、設定項目の LLM Response Language / LLM の出力に使う言語 に応じて表示される言語 (日本語/英語) が変わります。

設定項目については 設定 を参照してください。

使用した画像

LLM に渡した画像です。

  • 通常、ゲームのスクリーンショットにボタンなどの位置を示したガイド画像を添えたものになります
画像を開く

このボタンを押すと、LLM に渡した画像を OS デフォルトのビューワーで開きます。

自動プレイの情報（状況確認の場合）

状況確認の実行結果を表示するタブです。

image

ユーザーは状況確認の結果を GUI 上で確認することができます。

ログファイルについては別途資料を参照してください。

情報のクリア

表示をクリアするボタンです。

エージェントの状態

自動プレイエージェントの内部状態です。

指示

ユーザー指示文です。

試行回数

試行回数（指示を達成する為に LLM に問い合わせた回数）です。

状況確認の場合は未使用なので 0 固定です。

LLM の応答

LLM のレスポンスをそのまま表示しています。

  • タイプ: 自動プレイのタイプ (状況確認 固定)
  • 分析: LLM による分析内容
  • 結果: LLM による判定結果 (True or False)

分析 については、設定項目の LLM Response Language / LLM の出力に使う言語 に応じて表示される言語 (日本語/英語) が変わります。

設定項目については 設定 を参照してください。

使用した画像

LLM に渡した画像です。

  • 通常、ゲームのスクリーンショットにボタンなどの位置を示したガイド画像を添えたものになります
画像を開く

このボタンを押すと、LLM に渡した画像を OS デフォルトのビューワーで開きます。

自動プレイの情報（直接入力の場合）

直接入力の実行結果を表示するタブです。

image

ユーザーは直接入力の結果を GUI 上で確認することができます。

情報のクリア

表示をクリアするボタンです。

エージェントの状態

自動プレイエージェントの内部状態です。

OrderType

実行した直接入力の OrderType を表示します。

OrderType には以下のものがあります。

  • Tap
  • Swipe
  • LongPress
  • TextInput
  • Wait
指示内容

実行した直接入力の指示内容を表示します。

表示例

実行した直接入力によって以下のような内容（例）が表示されます。

直接入力 OrderType 指示内容
タップ Tap (x=0.47, y=0.58, count=1, interval=0.05)
連続タップ Tap (x=0.35, y=0.62, count=2, interval=0.05)
スワイプ Swipe (x1=0.29, y1=0.67, x2=0.71, y2=0.33, duration=0.50)
長押し LongPress (x=0.3, y=0.62, duration=1.00)
テキスト入力 InputText (x=0.45, y=0.34, text=モバイル)
ウェイト Wait (duration=1.0)
クリップボードにコピー

このボタンをクリックすることで 指示内容 の内容をクリップボードにコピーします。

実行結果

直接入力の実行結果を表示します。

実行結果には以下のものがあります。

  • 成功
  • 失敗

知識グラフ

知識グラフに関する機能をまとめたタブです。

image

知識グラフについては別途資料を参照してください。

画面遷移グラフ (Experimental)

画面遷移グラフに関する機能をまとめたタブです。

image

画面遷移グラフについては別途資料を参照してください。

画面遷移グラフ機能は現在実験的機能として提供している機能です。