WinActorで生成AI連携 ～シナリオひな型作成機能におけるプロンプト検証の実例と比較まとめ～【連載第三弾】

CACのWinActor開発支援

お客様がお持ちのさまざまな課題に対するCACの解決事例や、
WinActorによる開発のポイントなどをご紹介しています。

詳しくはこちら

WinActor ver7.5から追加された、WinActorの生成AIを使ったシナリオひな形生成機能について、3回にわたって連載コラムでお届けしております。もし、「同じプロンプトで結果が安定しない」「もっとイメージに近いシナリオを得たい」と感じているのなら、ご参考として是非ご覧ください。

はじめに

生成AIはTemperatureやTop Pなどのパラメータを調整することで、出力の正確性や創造性の度合いを変えられることが知られています。一般的に、Temperatureを高めに設定すると出力の多様性が増し、マーケティングなど創造性を重視する用途に向くとされています。

一方、WinActorのシナリオひな型作成機能に当てはめた場合、出力の一貫性が低すぎるとプロンプト改善の検証が難しくなる恐れがあります。多様なパターンを得られること自体は新たな着想を与える利点になりますが、初心者にとっては検証ノイズにもなり得る点に注意が必要です。

今回の検証では当初、WinActorの連携先であるAzure OpenAI側で、Temperatureを0.7に設定して同一プロンプトの再実行を試す想定でしたが、検証の過程でWinActor側の実装により外部生成AIのパラメータは反映されず、WinActor独自のパラメータ（※非公表）が用いられていることが判りました（注1）。そのため、本稿では「WinActorの現状の挙動を踏まえた上で、複数回の実行結果から傾向を読み取り、プロンプト改善に活かす考え方」を示したいと思います。

連載コラム最終回では、前回コラムで試した入力プロンプトである”簡易プロンプト”を再実行しました（※プロンプトは再掲します）。検証の結果、同一プロンプトを複数回実行しても、部品数や設定内容に生じた差異は想定より小さいものでした。これを受けて、プロンプトと生成シナリオの間には一定の傾向があると判断し、複数回実行して共通点に注目することでプロンプト検証のヒントを得られると結論づけました。 

注1:　メーカー確認の結果、シナリオひな形作成機能（生成AIによる新規シナリオファイル作成機能）使用時は、連携先の生成AI（例：Azure OpenAI）のパラメータ（Temperature、Top P 等）の値を設定することはできないこと、設定値については非公表であることの回答を得た。尚、別機能（「05_生成AI」の「チャット応答取得(Azure OpenAI)」サブシナリオ）では、呼び出し設定でパラメータを変数で指定し、値を指定することで応答を調整できるとのことであった。

再実行結果サマリ

プロンプト(再掲) 

シナリオと同じフォルダにあるExcelファイル「経費申請データ.xlsx」を開く。
Edgeブラウザを起動し、経費精算システムの画面を開く。
ExcelファイルのA列からH列の値を取得して経費精算システムに入力する。
取得した往復の値が〇の場合、経費精算システムの「往復」欄にチェックを入れる。
「交通機関」欄は、取得した値と同じラジオボタンを選択する。
追加ボタンをクリックして明細を追加し、全ての追加が完了したら、申請ボタンをクリックする。

生成されたシナリオ画像

【処理概要①】Excelを開いて、経費精算システムのページを表示する

【処理概要②】経費精算システムへ入力するデータをExcelから取得する(繰り返し処理：前半)

【処理概要③】Excelから取得した値を基に経費精算システムの各入力欄を操作し、明細を追加する。全ての明細の追加が完了するまで繰り返す(繰り返し処理：後半)

【処理概要④】申請ボタンをクリックし、Excelとブラウザを閉じシナリオを終了する

生成されたシナリオの結果のまとめ

同一のプロンプトを2回実行し各シナリオの生成結果を比較したところ、以下のように僅かな違いを確認できました。

まとめ：プロンプトの複数回の実行結果に基づく推察が重要

現状、WinActorのシナリオひな形作成機能では外部のパラメータ（Temperature等）がそのまま反映されない点を前提に、結果をとらえる必要があります。生成AIは確率的なランダム性を持つため、複数回の実行で生じるばらつきを比較し、変わらない部分、すなわち「真にプロンプトに依存する部分」を見つけることがプロンプト改善において有効です。

例として、前回コラムでは「プロンプトの書き方の注意点や工夫」にて、「クリック操作」を「選択」という曖昧なキーワードで表現したことが不適切な部品「リスト選択」の生成につながったという仮説を立てましたが、これも複数回の実行結果の類似点から導いたものです。プロンプトとシナリオの因果関係を推察し仮説検証を繰り返すこと、そしてプロンプト記述を改善することは、想定する品質に近いシナリオ生成の可能性を高めます。結果として、本機能の有用性を実感しやすくなると考えます。

おわりに

最後までお読みいただき、ありがとうございます。
生成AIによるシナリオひな形生成をテーマにした連載コラムは今回で終了ですが、今後も最新情報をお届けしていきますので、是非お楽しみにしてください。