画面構成・操作方法

本ツールの画面構成と操作方法について説明します。

画面構成

ツールは 4 つのサブウィンドウとメニューバーで構成されています。

ゲーム起動サブウィンドウ
プレビューサブウィンドウ
コントロールサブウィンドウ
多目的サブウィンドウ

操作方法

メニューバー

設定

ツールの各種設定を行うウィンドウを表示します。

設定については別途資料を参照してください。

ヘルプ

現状では以下の情報表示が実装されています。

本ツールのバージョン番号
サードパーティソフトウェアに関する通知

ゲーム起動サブウィンドウ

ゲームを起動し、ツールと連携させるための操作をまとめたサブウィンドウです。

ゲームバイナリ

Windows/Mac 版のゲームをツールから起動する際に用いるゲームの path です。

選択 ボタンを押すことでファイル選択ダイアログから実行ファイルを指定可能です。

TCP ポート

ツールとゲームは WebSocket を使って通信します。そこで利用する TCP ポート番号です。

各自のネットワーク環境に合わせて適切なポート番号を指定してください。

ゲームバイナリを起動しない

開始 ボタンを押したときに ゲームバイナリ で指定した実行ファイルを起動しない場合にチェックを入れます。

Unity Editor や Android/iOS 上で動くゲームと接続したい場合にチェックを入れてください。

開始

このボタンを押すと、ゲームとの通信を開始しようとします。

ゲームバイナリを起動しない が OFF の場合、ゲームの実行ファイルを起動します
このボタンを押すと、ツールはゲームとの接続マッチング状態に移行します

終了

このボタンを押すと、ゲームを終了させ、ゲームとの通信を切断します。

画面を手動で更新

プレビュー画面の手動更新ボタンです。

基本的には押す必要はありません。

プレビューサブウィンドウ

ゲームとの通信が確立した状態で、ゲーム画面をツール内に表示するサブウィンドウです。

トータルコスト

ツールを起動して以降の、LLM の利用料金がドル換算で表示されます。

ゲームとの接続状態

ゲームとの通信状況を示します。

NOT_COMMUNICATE: 未接続状態
WAIT_TO_CONNECT: 通信相手のゲームを待ち受けている状態
CONNECTED: ゲームとの通信が確立している状態
DISCONNECTED: ゲームとの接続が途切れた状態(通信エラーでもこの状態に遷移します)

プレビュー画面

接続しているゲームの画面が表示されます。

画面はシステムの必要に応じて更新されますが、必要のない場合には更新されません。

ゲーム起動サブウィンドウの 画面を手動で更新 ボタンを押すことで手動更新可能です。

プレビュー画面で右クリックするとコンテキストメニューが表示され、以下の機能が利用可能です。

描画オブジェクトの検索

描画オブジェクトの特定を行う別ウィンドウを開きます。

許可/不許可アクションリストの編集

許可アクションリスト/不許可アクションリストの編集を行う別ウィンドウを開きます。

コンテキストメニューの詳細については別途資料を参照してください。

外部エディタでツリー情報を閲覧

現在のゲームの描画オブジェクトのツリー構造を JSON 形式にして、エディタで開きます。

コントロールサブウィンドウ

ゲームを自動で操作するための機能をまとめたサブウィンドウです。
タブ切替えで以下の機能にアクセスできます。

対話型インターフェース

テキスト指示でゲームを自動操作します。テキストの指示はチャットのようにフォームに直接書く必要があります。

指示文

ユーザー指示文です。
日本語もしくは英語で、自動プレイさせたい内容を記述してください

指示文は 指示文を追加 ボタンで増やすことが、指示文を削除 ボタンで減らすことができます
複数の指示を与えた場合、順次実行となります

実行

このボタンを押すと、ユーザーの指示をエージェントに与えて自動プレイを開始します。

指示を完了するまで 強制終了 ボタン以外の操作が行えない状態になります
- 自動プレイ中はインジケータが表示されます
- 自動プレイが完了するとインジケータが消えます

強制終了

自動プレイを強制終了します。

このボタンは 自動チェック タブで自動チェックを行っている最中でも利用できます

自動チェック

Excel ファイルに記述されたタスクリストを読み込んで、自動でチェックを行います。

Excel 形式のテストシーケンスについては別途資料を参照してください。

テストシーケンス

タスクリストの path です。

選択 ボタンを押すことでファイル選択ダイアログから .xlsx ファイルを指定可能です

シーケンスを実行

指定したタスクリストに従って自動チェックを開始します

自動プレイ中はインジケータが表示されます
自動プレイが完了するとインジケータが消えます

自動チェックを強制的に終了したい場合は、対話型インターフェース タブの 強制終了 ボタンを押してください。

多目的サブウィンドウ

ツールの自動プレイに関する様々な表示をまとめたウィンドウです。タブ切替えで以下の機能にアクセスできます。

自動プレイの情報

自動プレイを行う際の LLM の意思決定を表示するタブです。

自動プレイ実行中に自動で更新され、ユーザーは前回の LLM のレスポンスを GUI 上で確認することができます。

ログファイルについては別途資料を参照してください。

情報のクリア

表示をクリアするボタンです。

エージェントの状態

自動プレイエージェントの内部状態です。

指示

ユーザー指示文です。

試行回数

試行回数（指示を達成する為に LLM に問い合わせた回数）です。

メッセージ

内部メッセージです。

自動プレイが完了時には「AutoPlay is Done.」と表示されます
それ以外は操作のついての情報が表示されます

LLM の応答

LLM のレスポンスをそのまま表示しています。

タイプ: 自動プレイのタイプ
計画: 目的達成のためのプラン
行動: 要約
状況説明: 現状説明
完了判定: 完了判定
操作対象: 実行すべきアクションの ID
補足情報: 追加情報

計画・行動・状況説明 については、設定項目の LLM Response Language / LLM の出力に使う言語 に応じて表示される言語 (日本語/英語) が変わります。

設定項目については設定を参照してください。

使用した画像

LLM に渡した画像です。

通常、ゲームのスクリーンショットにボタンなどの位置を示したガイド画像を添えたものになります

画像を開く

このボタンを押すと、LLM に渡した画像を OS デフォルトのビューワーで開きます。

知識グラフ

知識グラフに関する機能をまとめたタブです。

知識グラフについては別途資料を参照してください。

画面遷移グラフ (Experimental)

画面遷移グラフに関する機能をまとめたタブです。

画面遷移グラフについては別途資料を参照してください。

画面遷移グラフ機能は現在実験的機能として提供している機能です。