プレビュー画面
本ツールのプレビュー画面について説明します。
Context Menu（コンテキストメニュー）
プレビュー画面で利用可能な各種コンテキストメニューについて説明します。
利用可能なコンテキストメニューは以下の通りです。
- Search a Draw Object（描画オブジェクト検索）
- Modify Allow/Deny Action List（Allow/Deny アクションリスト編集）
- Open Tree Info using External Editor（ツリー情報表示）
以下に個々のコンテキストメニューについて説明します。
描画オブジェクトの検索
ゲームから取得した描画オブジェクトの情報を検索する機能です。
基本的に同じ情報を LLM の判断材料として送信しているため、自動プレイ／自動チェック／知識グラフ編集時に、使用するテキストの候補を抽出する助けになると考えています。
許可/不許可アクションリストの編集
Allow/Deny アクションリストを編集する機能です。
Allow/Deny アクションリストとは
Allow/Deny アクションリストを記述することで、自動プレイ中に任意のアクションの実行を Allow（排他的許可）／Deny（禁止）することが可能です。
対象となるアクションの情報を記述するのが、Allow/Deny アクションリストです。
デフォルトの設定では、Allow アクションリストは不使用となっているため、以下では Deny Action List に絞って説明します。
設定で Allow アクションリストを使用するよう変更した場合は、適宜読み替えてください。
編集操作
アクションの検索
- プレビュー画面上でマウス右クリックすると、
Context Menuが表示されます。 Context Menuの中から不許可アクションリストの編集を選択すると、Deny Action List Editorが表示されます。アクションの検索タブを選択（デフォルト状態）すると、画面左側にゲームのプレビューが表示されています。プレビュー上にあるボタンなどの任意のアクション対象のGUI部品の上にマウスを移動し、マウス右クリックすると、プレビュー上の当該のGUI部品が強調表示され、画面右側のAction Treeエリアに、アクション情報の候補がリストアップされます。
- リストアップされた各アクション情報の候補の下に
これにフォーカスボタンと不許可アクションリストに追加ボタンが表示されています。 - 複数の候補が表示されている場合は
これにフォーカスボタンを押すことで、プレビュー上で強調表示されるため、識別が容易になります。 不許可アクションリストに追加を押すと、当該のアクション情報が Deny アクションリストに追加されます。
不許可アクションリスト
- 現在の Deny アクションリストを確認するには
不許可アクションリストタブを選択してください。 不許可アクションリストタブでは、登録済みの Deny アクションリストが表示されています。削除ボタンで任意のアクション情報を削除することができます。
- 追加・削除した内容は、
Deny Action List Editorを閉じる際にファイルに保存されます。同時に、ツールのメモリー上にも反映されるため、ツールの再起動をすることなく、ツールの自動プレイの動作に反映されます。
外部エディターでツリー情報を閲覧
ゲームから取得した画面のオブジェクトのツリー情報（tree.json）を外部エディターで表示する機能です。
ツールの動作環境（OS、ファイル関連付け、ブラウザ設定）にもよりますが、一般的な環境ではブラウザで表示されるようです。
マウス直接入力（タップ／連続タップ／スワイプ／長押し／テキスト入力）
ツール経由でゲーム画面の操作を直接入力する機能です。
以下の直接入力が可能です。
- タップ
- 連続タップ
- スワイプ
- 長押し
- テキスト入力
操作
タップする
任意のマウス座標をタップします。
- プレビュー画面で右クリックした地点が対象のマウス座標となります。
連続タップする
任意のマウス座標を連続タップします。
- プレビュー画面で右クリックした地点が対象のマウス座標となります。
- タップの回数は
連続タップ回数で指定します。 - タップの時間間隔は
タップ間隔で指定します。
スワイプする
任意の 2 地点のマウス座標の間をスワイプします。
- プレビュー画面で右クリックした地点が対象のスワイプ開始点となります。
スワイプするをクリックしスワイプ終了点までマウスを移動してクリックするとスワイプが開始します。
長押しする
任意のマウス座標を長押しします。
- プレビュー画面で右クリックした地点が対象のマウス座標となります。
- 長押しの時間は
長押し時間で指定します。
テキストを入力する
任意のテキスト（文字列）を入力します。
- プレビュー画面で右クリックした地点にあるテキスト入力フィールドが対象となります。
- プレビュー画面でテキスト入力フィールド上で右クリックすると文字列入力ダイアログが表示されます。
入力文字列に任意の文字列を入力して決定ボタンをクリックするとテキスト入力が実行されます。
マウス座標（比率座標）
(0.05, 0.6)をタップする というように表示されますが、(0.05, 0.6) の部分はゲーム画面上のマウス座標を、画面の幅と高さをそれぞれ 1.0 とした場合の比率で表現したものです。
例えば、画面の幅・高さが (1000, 500) でマウスの本来の座標が (50, 300) だった場合に、比率座標は (0.05, 0.6) になります。
直接入力の設定
直接入力の回数・間隔・時間などをカスタマイズすることが可能です。
設定は コントロール サブウィンドウ の 直接入力の設定 タブ にて行ないます。
連続タップ回数
ダブルタップなど、タップを複数回繰り返す際のタップの回数を指定します。
タップ間隔
連続タップでのタップ間の時間間隔を指定します。単位は秒。
スワイプ移動時間
スワイプ開始から終了までの移動時間を指定します。単位は秒。
長押し時間
長押しの時間を指定します。単位は秒。
ウェイト
ウェイト時間（単位は秒）を指定して、実行 ボタンをクリックすると、指定時間分のウェイトが実行されます。
マウス競合アラート
Windows では直接入力を実行時に、ツールによるマウス操作とユーザーの通常のマウス操作が競合するため、ツールのマウス操作を実行時にユーザーがマウス操作をしてしまうと直接入力が期待通りの動きをしなくなる可能性があります。そのことをリマインドするためにアラートを表示します。
- 直接入力を実行した直後、まず以下のアラートを表示します。
- 続いて 1 秒後に以下のアラートを表示します。
- この際、
強制終了ボタンをクリックすることで直接入力を中止することができます。 - 直接入力が終了するとアラートは非表示となります。
マウス競合アラートは、プレビュー画面での直接入力以外の以下のタイミングでも表示されます。
- 対話型インタフェースで自動プレイを実行開始した際
- 自動チェックで自動プレイを実行開始した際
実行結果
実行結果は多目的サブウィンドウの自動プレイの情報タブに表示されます。
実行結果については別途資料を参照してください。