設定

本ツールの設定について説明します。

はじめに

本ツールでは、設定によりツールの動作をカスタマイズします。

ツールの設定には以下の2通りの方法があります。

  • 設定ウィンドウ
  • settings.yaml

設定ウィンドウ

本項では、設定ウィンドウについて説明します。

ツール設定ファイル(settings.yaml)については ツール設定ファイル を参照してください。

メニューバーの Settings メニューを押すと設定ウィンドウ(Settings)が表示されます。

以下に本画面にて設定可能な各項目について簡単に説明します。

一般

ツール共通の設定
image

Service Provider / 利用サービス

利用する LLM のサービスプロバイダー

Model / モデル

利用する LLM のモデル

Force Terminate Game App / 通常終了に失敗した場合にゲームを強制的に終了

ゲームアプリが通常終了しない場合に強制終了するかどうか

Wait Time for Force Terminate (sec) / 強制終了を行うまでの猶予 (秒)

強制終了を実行するまでの待ち時間(秒)

Reset Window Size / ウィンドウサイズをリセット

変更したウィンドウサイズをリセットする

自動プレイ

自動プレイ関連の設定
image

Button Text / ボタンに含まれるテキスト

LLM に送信するアクション情報にテキスト情報を含めるかどうか

Executed Action History / 実行履歴情報

LLM に実行履歴情報を送信するかどうか

Text History Count / テキスト情報の履歴数

LLM に送信する履歴の数(テキスト情報)

Image History Count / 画像情報の履歴数

LLM に送信する履歴の数(画像)

Max Num of Trial / 最大問い合わせ回数

一回の自動プレイにおける LLM との送受信回数の上限

LLM Deny Action List / 不許可アクションリスト

Deny アクションリストのパス

LLM Allow Action List / 許可アクションリスト

Allow アクションリストのパス

Skip One Action UI / 操作対象が1つしかない場合はスキップする

アクションが 1 つしかない画面をスキップするかどうか

Skip LLM Step Threshold / 連続して LLM 抜きで操作する最大回数

アクションが 1 つしかない画面をスキップする場合に何回連続でスキップするか

Use Image / スクリーンショットを使用

LLM に画像を送信するかどうか

Image Fidelity / 画像解像度

LLM に送信する画像の解像度レベル(OpenAI API の fidelity 引数と同じ)

Max Image Resolution / 最大解像度

LLM に送信する画像の最大解像度

LLM Response Language / LLM の出力に使う言語

LLM からのレスポンスに指定する言語

知識グラフ

知識グラフ関連の設定
image

Build Knowledge Graph When Task Success / タスク成功時に知識グラフを追加登録する

知識グラフを自動生成するかどうか

Use Knowledge Graph / 知識グラフを利用する

自動プレイの際に知識グラフを利用するかどうか

Knowledge Depth / グラフの深さ

知識グラフの深さ

画面遷移グラフ (Experimental)

画面遷移グラフ関連の設定
image

Use Graph / 画面遷移グラフを利用する

自動プレイの際に画面遷移グラフを利用するかどうか

Auto Add Graph / 自動プレイ時に自動で画面遷移グラフを追加登録する

自動プレイの際に未知の画面をグラフに追加するかどうか

ツール設定ファイル

本ツールのカスタマイズは主に設定ウィンドウで行いますが、より高度なカスタマイズを行う場合はツール設定ファイル(settings.yaml)を利用します。

settings.yaml の設定項目には、設定ウィンドウにある設定項目が全て含まれます。

settings.yaml はツールの初回起動時にデフォルト値で自動生成されます。

settings.yaml の設定内容をリセットするには、ファイルを削除して再度ツールを起動すればデフォルト値で自動生成されます。

本ファイルは、ツールのバージョンが一致する場合に限り、他のユーザーとも共有可能です。

以下は、デフォルト値で生成された settings.yaml の内容です。

# settings.yaml
game_binary_file_path: ''
knowledge_graph_file_path: knowledge.json
window_size:
- 1250
- 800
allow_action_list: ./allow_lists/allow_list.yaml
deny_action_list: ./deny_lists/deny_list.yaml
is_use_allow_action_list: false
hash_texts: true
hash_texts_action_num: 1
hash_ui_name: false
hash_action_pos: false
hash_action_text: false
skip_no_action_ui: true
skip_one_action_ui: false
wait_max_time: 3.0
wait_stable_interval: 0.5
wait_stable_in_a_row: 2
force_terminate: false
wait_time_for_force_terminate: 3.0
dont_execute_binary: false
disp_cost: True
llm:
  service_provider: AzureOpenAIService
  model: ''
  model_openai: ''
  model_azure: ''
  model_anthropic: ''
  info_changed_action: true
  info_executed_history: true
  is_use_button_text: true
  text_count: 3
  is_use_image: true
  mask_image_line_size: 2
  mask_image_font_size: 12
  max_image_resolution:
  - 768
  - 2048
  image_fidelity: high
  image_count: 2
  is_build_knowledge_graph: false
  is_use_knowledge_graph: false
  knowledge_depth: 2
  max_num_of_trial: 100
  skip_llm_step_threshold: 3
  llm_resp_lang: Japanese
graph:
  is_use_graph: false
  is_use_auto_add_graph: false
  add_graph_execution_process_to_history: true
  graph_screen_w: 600
  graph_screen_h: 1000
  graph_action_radius: 40
  graph_ui_space: 1.2
  cluster_threshold: 0.5
  is_clone_action_results: true
  graph_data_path: ./graph_data
  graph_texts: false
  graph_action_text: true
  search_unvisited_action_mode: action_most
  search_visited_action: true
  get_action_random: true
  one_to_many: true
  check_end: true
  check_end_visited_rate: 0.9
  check_end_action_count: 100
  check_repeat: true
  check_repeat_max_pattern_length: 30
  check_repeat_max_repeat_count: 3
  center_image_scale_ratio: 0.6
  source_node_warning: true

以下に各設定項目について説明します。

ツール共通

game_binary_file_path

ゲーム実行形式ファイルのパス

knowledge_graph_file_path

知識グラフファイルのパス

window_size

ツールのウィンドウサイズ

allow_action_list

Allow アクションリストファイルのパス

deny_action_list

Deny アクションリストファイルのパス

is_use_allow_action_list

Allow アクションリストを使用するかどうか

hash_texts

画面識別情報に画面のテキスト情報を含めるかどうか

hash_texts_action_num

画面識別情報に画面のテキスト情報を含めるかどうかのアクション数の閾値

hash_ui_name

画面識別情報に画面名を含めるかどうか

hash_action_pos

画面識別情報にアクションの座標情報を含めるかどうか

hash_action_text

画面識別情報にアクションのテキスト情報を含めるかどうか

skip_no_action_ui

アクションが存在しない画面をスキップするかどうか

skip_one_action_ui

アクションが 1 つしかない画面をスキップするかどうか

wait_max_time

画面安定状態を待つ最大時間(秒)

wait_stable_interval

画面安定状態をチェックする間隔(秒)

wait_stable_in_a_row

画面安定状態をチェックする回数

force_terminate

ゲームプロセスが通常終了しない場合に強制終了するかどうか

wait_time_for_force_terminate

強制終了を実行するまでの待ち時間(秒)

dont_execute_binary

ゲームバイナリを起動しないかどうか

disp_cost

コスト表示するかどうか

llm

LLM 関連

service_provider

利用する LLM のサービスプロバイダー

  • OpenAI
  • AzureOpenAIService
  • Anthropic

    model

    利用する LLM のモデル

    model_openai

    選択中のモデル(OpenAI)

    model_azure

    選択中のモデル(AzureOpenAIService)

    model_anthropic

    選択中のモデル(Anthropic)

    info_changed_action

    LLM にアクション変化情報を送信するかどうか

    info_executed_history

    LLM に実行履歴情報を送信するかどうか

    is_use_button_text

    LLM に送信するアクション情報にテキスト情報を含めるかどうか

    text_count

    LLM に送信する履歴の数(テキスト情報)

    is_use_image

    LLM に画像を送信するかどうか

    mask_image_line_size

    マスク画像の線幅

    mask_image_font_size

    マスク画像のフォントサイズ

    max_image_resolution

    LLM に送信する画像の最大解像度

    image_fidelity

    LLM に送信する画像の解像度レベル(OpenAI API の fidelity 引数と同じ)

    image_count

    LLM に送信する履歴の数(画像)

    is_build_knowledge_graph

    知識グラフを自動生成するかどうか

    is_use_knowledge_graph

    自動プレイの際に知識グラフを利用するかどうか

    knowledge_depth

    知識グラフの深さ

    max_num_of_trial

    一回の自動プレイにおける LLM との送受信回数の上限

    skip_llm_step_threshold

    アクションが 1 つしかない画面をスキップする場合に何回連続でスキップするか

    llm_resp_lang

    LLM からのレスポンスに指定する言語

  • English
  • Japanese
  • English and Japanese

graph

画面遷移グラフ関連

is_use_graph

自動プレイの際に画面遷移グラフを利用するかどうか

is_use_auto_add_graph

自動プレイの際に未知の画面をグラフに追加するかどうか

add_graph_execution_process_to_history

グラフ実行プロセスを履歴に追加するかどうか

graph_screen_w

画面遷移グラフ生成時の画面サイズ

graph_screen_h

画面遷移グラフ生成時の画面サイズ

graph_action_radius

画面遷移グラフ描画時のアクションの半径

graph_ui_space

画面遷移グラフ描画時の画面の間隔

cluster_threshold

画面クラスタリングに用いる類似度の閾値

is_clone_action_results

同じクラスにアクション結果をクローンするかどうか

graph_data_path

画面遷移グラフデータの格納ディレクトリのパス

graph_texts

LLM による行き先判定に用いる情報に画面のテキスト情報を含めるかどうか

graph_action_text

LLM による行き先判定に用いる情報にアクションのテキスト情報を含めるかどうか

search_unvisited_action_mode

  • random: ランダム動作を行う
  • nearest: 最も近いクラスタを選択する
  • action_most: 最もアクションが多いクラスタを選択する
  • unvisited_action_most: 最も未訪問アクションが多いクラスタを選択する

    search_visited_action

    訪問済みアクションのトグルフラグを使用するかどうか

    get_action_random

    ランダムアクションを取得するかどうか

    one_to_many

    有向グラフで 1 対多のエッジを許容するかどうか

    check_end

    画面遷移グラフ自動生成の終了判定を行うかどうか

    check_end_visited_rate

    終了判定に用いる実行済みアクション数の割合の閾値

    check_end_action_count

    終了判定に用いる発見済みアクション数の下限

    check_repeat

    繰り返し判定を行うかどうか

    check_repeat_max_pattern_length

    繰り返し判定に用いる繰り返しパターンの長さの上限

    check_repeat_max_repeat_count

    繰り返し判定に用いる繰り返し回数の閾値

    center_image_scale_ratio

    フォーカスした際の画面の表示比率

    source_node_warning

    どこからもリンクされていない画面に警告マークを表示するかどうか