Playable! General Agent for Mobile 更新履歴

v3.0.1 - 2025/02/10

追加

  • [開始]ボタンを押した後のゲームとの接続待ちをキャンセルできるようにしました。
  • LLM を使った自動プレイとは別に、直接 タップ/スワイプ/長押し をする機能を追加しました。
    • プレビューサブウィンドウを右クリックして表示されるメニューから利用可能です。
    • タップ回数などの設定はコントロールサブウィンドウの 直接入力の設定 タブから設定可能です。
  • Excel 形式のテストシーケンスに以下の OrderType を追加しました。
    • Tap: タップする
    • Swipe: スワイプする
    • LongPress: 長押しする
  • ゲームを操作する方法が変更になったのに伴い、auto_check_cui にいくつかの起動オプションを追加しました。
    • product_name: テスト対象のゲームのプロダクト名の指定
    • platform: テスト対象のゲームを実行する環境の指定
    • device_id: テスト対象のゲームを実行する端末のIDの指定
    • application: テスト対象のゲームの指定
  • Windows のゲームバイナリのファイル形式を .exe だけでなく .url も指定可能にしました。

変更

  • ゲームとの接続待ち状態を維持する時間を30秒から600秒に変更しました。(代わりにキャンセルが可能になっています)
  • ゲームを操作する方法を Unity の EventSystem を利用する方法から、各実行環境ごとにゲームアプリの外部から操作する方法に切り替えました。
    • 現状対応しているプラットフォームは以下の通りです。
      • Android (要 ADB)
      • Windows
  • Excel 形式のテストシーケンスで扱える指示数を最大 255 から最大 60,000 に変更しました。
  • 設定ウィンドウを閉じる際に settings.yaml を更新するよう変更しました。

修正

  • 設定ウィンドウの 自動プレイ > Trial Limit > Max Num of Trial の値を変更しても反映されないケースがありましたので修正しました。
  • アクションリストが空の画面の場合は無限に待ち状態になる問題を修正しました。
    • 同じアクションリストが空の画面が続いた場合は、アクションリストが空のまま LLM にリクエストを送信するようにしました。
    • 設定項目 max_num_of_no_action_ui_in_a_row を追加しました。

v2.0.0 - 2024/12/26

追加

  • Playable!Mobile の操作続行判定と別軸の、テスト結果ステータス判定を行う機能を追加しました。
  • 自動プレイをあきらめやすくする機能を追加しました。
  • OpenAI のモデルに gpt-4o-2024-11-20 を追加しました。
  • コスト計測対象に llm_check_input_state を追加しました。
  • Google Gemini に対応しました。
  • Prompt Caching のためにプロンプトの配置を最適化しました。

変更

  • サードパーティーライセンス通知をアップデートしました。 ‐ Excel 形式のテストシーケンスの仕様を変更しました。
    • LLM による状況判断を行う OrderType Judge を追加しました。
    • テスト結果を Success/Failed の2値ではなく、 Pass/Fail/Block の3値とエラーの合計4値に変更しました。
    • 実行時にエラーが発生し場合、エラーの内容が特定できるようにしました。
    • 現在実行中のタスクを GUI 上に表示するようにしました。

v1.2.0 - 2024/12/06

修正

  • コスト計測データに total_cost が無い場合にエラーにならないよう修正しました。
  • GUI ツールで自動チェックを実行時に Excel ファイルに書き込むトークン数が log_id 毎ではなく all になる問題を修正しました。
  • 自動チェックツールで Deny/Allow アクションリスト、及び、最大問い合わせ回数を参照していなかった問題を修正しました。

v1.1.0 - 2024/11/22

追加

  • コスト計測の仕組みを追加しました。
  • Anthropic のモデルに claude-3-5-sonnet-20241022 を追加しました。
  • Excel 形式のテストシーケンスファイルにツール情報・トークン数を表示するようにしました。
  • ツール画面にトータルトークン数を表示するようにしました。
  • コスト表示するかどうかの設定項目 (settings.yaml のみ) を追加しました。

変更

  • Azure OpenAI Service の Prompt Caching に対応しました。
    • Azure OpenAI Service の api_version を settings_provider.yaml で変更できるようにしました。
    • OpenAI の Python ライブラリのバージョンを 1.54.4 に変更しました。
  • 最大画像解像度のデフォルト値を [768, 1024] から [768, 2048] に変更しました。
  • LLM communication failed が発生した場合に表示されるアラートメッセージに文言を追加しました。
  • gpt-4o-2024-05-13 のコスト計算で cached_tokens を考慮するよう変更しました。

修正

  • マスク画像付きスクリーンショットの解像度が最大画像解像度を超えてしまう場合がある問題を修正しました。
    • マスク画像なしのスクリーンショットの解像度をリサイズしてからマスク画像を付加する実装になっていました。

v1.0.0 - 2024/11/05

変更

  • バージョン番号を更新しました。

v0.9.1 - 2024/10/16

変更

  • 画面遷移グラフのアクションで、同一クラスター内の画面にリンクされているアクションの配色を「緑色」から「水色」に変更しました。
  • is_clone_action_results が ON の場合に、全てのケースで画面の情報をクローンするように変更しました。ただし、画面のカスタム名はクローンしません。
  • is_clonse_action_results を GUI から削除しました。settings.yaml には残ります。

修正

  • 画面遷移グラフの画面番号がずれる問題を修正しました。
  • auto_check_cui.py で GUI 用のコールバック関数が呼ばれる問題を修正しました。
  • 以下の設定項目が GUI で変更後に settings.yaml に即反映されない問題を修正しました。
    • cluster_threashold
    • sevice_provider
  • 以下の設定項目がツール起動時に settings.yaml の内容が GUI に反映されない問題を修正しました。
    • cluster_threashold
  • 画面削除時に画面遷移グラフ上の画面番号を前詰めする際に、不要なソート処理をしていたのを修正しました。
  • 画面遷移グラフの内部インスタンスを排他制御するようにしました。
  • 画面遷移グラフデータ上のアクションの大きさが 0 だった場合に、コンテキストメニュー (右クリックメニュー) を表示する際のアクション特定の判定がおかしくなる問題を修正しました。

v0.8.1 - 2024/10/02

変更

  • OpenAI の Prompt Caching に対応したコスト計算をするように変更しました。

v0.8.0 - 2024/10/02

追加

  • UI ラベリング機能を追加しました。
  • 画面遷移グラフのコンテキストメニュー (右クリックメニュー) の項目を追加しました。
    • 画面の削除の機能を追加しました。
    • 指定したアクションを実行し、次の画面だけグラフに追加する機能を追加しました。
    • リンク先画面を表示する機能を追加しました。
  • LLM のレスポンスを English と Japanese から選択可能にしました。
    • 内部テスト用に English and Japanese という項目も用意していますが、将来的に削除する予定です。

変更

  • GUI を日本語化しました。
    • 現時点では言語切替には未対応です。
    • 日本語化に伴い一部 UI のブラッシュアップを行いました。
  • Excel 形式のテストシーケンスのフォーマットを変更し、自動プレイ完了時の LLM の応答を記録するようにしました。
  • 正常終了時にウィンドウサイズを記録するようにしました。
    • ウィンドウサイズは 設定 > 一般 > Window > Reset Window Size で初期状態にリセット可能です
  • 画面遷移グラフを生成中は常に現在の画面にフォーカスするようにしました。
  • 画面遷移グラフでアクション名を変更済みのアクションの枠線を色替えするようにしました。
  • 画面遷移グラフのアクションの背景色を半透明にすることで視認性を向上させました。
  • 画面遷移グラフでどこからもリンクされていない(到達不可能な)画面には警告アイコンを表示するようにしました。
  • ゲームバイナリを起動しない(旧 Don't Launch Game App when Start) の状態を保存するようにしました。

修正

  • ツール起動時に画面遷移グラフデータを自動読み込みするよう変更しました。
  • 画面遷移グラフ上の画面のラベル位置をアクションの半径の設定値から自動調整するように変更しました。
  • Excel 形式のテストシーケンスを使った自動チェックで、自動プレイの失敗を適切にハンドリングできない問題を修正しました。
  • auto_check_cui 実行中に LLM 関連のエラーが発生した場合に異常停止してしまう問題を修正しました。
  • 画面遷移グラフにおいて意図しないタイミングで新しい画面が追加されてしまう問題を修正しました。
  • 4xx エラーによる例外発生時に画面遷移グラフ関連でツールが継続不可能になる問題を修正しました。
  • Anthropic Claude を使用した場合トークン数超過になる問題を修正しました。
  • Anthropic Claude を使用した場合に LLM を利用した知識追加ができない問題を修正しました。

削除

v0.6.0 - 2024-09-10

追加

変更

  • 設定 > General > LLMService ProviderOpenAI を選択している場合、詳細なモデル名を選択出来るようにしました。

修正

  • Excel 形式のテストシーケンスの実行が途中で止まってしまう不具合を修正しました。
  • LLM アラートが 2 回目以後表示できなくなる問題を修正しました。
  • 強制終了時に例外が発生する問題を修正しました。
  • 画面遷移グラフのグラフデータをロードする際に FileNotFoundError が発生する問題を修正しました。
  • Logging error が発生する問題を修正しました。
  • 特定環境下で発生するログ出力の不具合を修正しました。

削除

  • settings_provider.yaml(settings_provider.yaml.sample) から azure > api_version を削除しました。
    • ドキュメントの該当ページからも api_version に関する記述を削除しています。

以前のバージョンで使用していた settings_provider.yaml はそのままご使用いただけます。

v0.5.2 - 2024-08-23

Playable!Mobile ベータリリース(初回リリース)

追加

変更

修正

削除