画面構成・操作方法

本ツールの画面構成と操作方法について説明します。

画面構成

image

ツールは 4 つのサブウィンドウとメニューバーで構成されています。

  1. ゲーム起動サブウィンドウ
  2. プレビューサブウィンドウ
  3. コントロールサブウィンドウ
  4. 多目的サブウィンドウ

操作方法

メニューバー

Settings

ツールの各種設定を行うウィンドウを表示します。

設定については別途資料を参照してください。

Help

現状では以下の情報表示が実装されています。

  • 本ツールのバージョン番号
  • サードパーティソフトウェアに関する通知

ゲーム起動サブウィンドウ

ゲームを起動し、ツールと連携させるための操作をまとめたサブウィンドウです。

Target

Windows/Mac 版のゲームをツールから起動する際に用いるゲームの path です。

Select ボタンを押すことでファイル選択ダイアログから実行ファイルを指定可能です。

TCP Port

ツールとゲームは WebSocket を使って通信します。そこで利用する TCP ポート番号です。

各自のネットワーク環境に合わせて適切なポート番号を指定してください。

Don’t Launch Game App when Start

Start ボタンを押したときに Target で指定した実行ファイルを起動しない場合にチェックを入れます。

Unity Editor や Android/iOS 上で動くゲームと接続したい場合にチェックを入れてください。

Start

このボタンを押すと、ゲームとの通信を開始しようとします。

  • Don't Launch Game App when Start が OFF の場合、ゲームの実行ファイルを起動します
  • このボタンを押すと、ツールはゲームとの接続マッチング状態に移行します
Exit

このボタンを押すと、ゲームを終了させ、ゲームとの通信を切断します。

Update Screen

プレビュー画面の手動更新ボタンです。

基本的には押す必要はありません。

プレビューサブウィンドウ

ゲームとの通信が確立した状態で、ゲーム画面をツール内に表示するサブウィンドウです。

Total Cost

ツールを起動して以降の、LLM の利用料金がドル換算で表示されます。

ConnectionStatus

ゲームとの通信状況を示します。

  • NOT_COMMUNICATE: 未接続状態
  • WAIT_TO_CONNECT: 通信相手のゲームを待ち受けている状態
  • CONNECTED: ゲームとの通信が確立している状態
  • DISCONNECTED: ゲームとの接続が途切れた状態(通信エラーでもこの状態に遷移します)

プレビュー画面

接続しているゲームの画面が表示されます。

画面はシステムの必要に応じて更新されますが、必要のない場合には更新されません。

ゲーム起動サブウィンドウの Update Screen ボタンを押すことで手動更新可能です。

プレビュー画面で右クリックするとコンテキストメニューが表示され、以下の機能が利用可能です。

Search a Draw Object

描画オブジェクトの特定を行う別ウィンドウを開きます。

Modify Allow/Deny Action List

許可アクションリスト/不許可アクションリストの編集を行う別ウィンドウを開きます。

コンテキストメニューの詳細については別途資料を参照してください。

Open Tree Info using External Editor

現在のゲームの描画オブジェクトのツリー構造を JSON 形式にして、エディタで開きます。

コントロールサブウィンドウ

ゲームを自動で操作するための機能をまとめたサブウィンドウです。
タブ切替えで以下の機能にアクセスできます。

Interactive (対話型)

テキスト指示でゲームを自動操作します。 テキストの指示はチャットのようにフォームに直接書く必要があります。

User Input

ユーザー指示文です。
日本語もしくは英語で、自動プレイさせたい内容を記述してください

  • 指示文は Add Input Field ボタンで増やすことが、Remove Input Field ボタンで減らすことができます
  • 複数の指示を与えた場合、順次実行となります
Send

このボタンを押すと、ユーザーの指示をエージェントに与えて自動プレイを開始します。

  • 指示を完了するまで Abort ボタン以外の操作が行えない状態になります
    • 自動プレイ中はインジケータが表示されます
    • 自動プレイが完了するとインジケータが消えます
Abort

自動プレイを強制終了します。

  • このボタンは Auto Check タブで自動チェックを行っている最中でも利用できます

Auto Check

Excel ファイルに記述されたタスクリストを読み込んで、自動でチェックを行います。

Excel 形式のテストシーケンスについては別途資料を参照してください。

ExecuteTask File

タスクリストの path です。

  • Select ボタンを押すことでファイル選択ダイアログから .xlsx ファイルを指定可能です
Execute Tasks

指定したタスクリストに従って自動チェックを開始します

  • 自動プレイ中はインジケータが表示されます
  • 自動プレイが完了するとインジケータが消えます

自動チェックを強制的に終了したい場合は、Interactive タブの Abort ボタンを押してください。

多目的サブウィンドウ

ツールの自動プレイに関する様々な表示をまとめたウィンドウです。 タブ切替えで以下の機能にアクセスできます。

AutoPlay Info

自動プレイを行う際の LLM の意思決定を表示するタブです。

image

自動プレイ実行中に自動で更新され、ユーザーは前回の LLM のレスポンスを GUI 上で確認することができます。

ログファイルについては別途資料を参照してください。

Clear

表示をクリアするボタンです。

Agent State

自動プレイエージェントの内部状態です。

Order

ユーザー指示文です。

Num of Trial

試行回数（指示を達成する為に LLM に問い合わせた回数）です。

Message

内部メッセージです。

  • 自動プレイが完了時には「AutoPlay is Done.」と表示されます
  • それ以外は操作のついての情報が表示されます
LLM Response

LLM のレスポンスをそのまま表示しています。

  • summary: 要約
  • explain: 現状説明
  • task_done: 完了判定
  • plan: 目的達成のためのプラン
  • action_idx: 実行すべきアクションの ID
  • additional_info: 追加情報
Using Image

LLM に渡した画像です。

  • 通常、ゲームのスクリーンショットにボタンなどの位置を示したガイド画像を添えたものになります
Open Image

このボタンを押すと、LLM に渡した画像を OS デフォルトのビューワーで開きます。

Knowledge Graph

知識グラフに関する機能をまとめたタブです。

image

知識グラフについては別途資料を参照してください。

Transition Graph (Experimental)

画面遷移グラフに関する機能をまとめたタブです。

image

画面遷移グラフについては別途資料を参照してください。

画面遷移グラフ機能は現在実験的機能として提供している機能です。