前回と同じ教材で地域企業向けのAI研修を開く予定なのに、実演を試すと、教材の「正解例」とは違う答えが返ってきます。出力の順序が違うだけなら、演習の目的は保てます。一方、原資料に「未定」とある数量を決定済みとして扱うなら、初めて使う参加者は誤った答えをそのまま業務に使うかもしれません。研修を開く側は、画面に出た文章を入れ替える前に、教材のどこを答え合わせに使うかを決める必要があります。
島田市周辺で地域企業向けの研修を繰り返す自治体の商工・DX担当者を想定し、生成AI（ChatGPTやClaudeやGeminiなど）のモデル変更後に出力見本を確認する方法を提案します。使うのは、前回の架空資料と指示文、照合項目、変更後に確認した環境です。成果物は講師と事務局が共有する再試験票で、見本を残すか、差し替えるか、その環境での実演を見送るかを決めます。
答え合わせに使うのは前回の回答より原資料です
研修の見本には、実演で一度出た文章をそのまま載せていることがあります。その文章と同じ言葉が返ることを採点に使うと、例えば「数量はまだ決まっていない」と「数量未定」を別の答えと扱ってしまいます。先に、受講者に持ち帰ってほしい確認のしかたを決めます。原資料から値を抜き出す演習なら、どの値が変わると業務の判断が変わるかを講師と事務局で拾います。
前回の教材から、配布した架空の元資料と指示文、回答の見本と、そのときに使ったアカウント区分・画面上のモデル表示・利用条件の記録を集めます。モデル表示がない環境では「表示なし」と書き、出力の変化だけからモデルを特定しません。前回のモデルが選べなければ、保存した見本を当時の例として見ます。変更前の回答を再現できない場合でも、今の環境で演習の目的が保てるかを点検できます。
サービスの変更を把握するには、利用中の事業者の公式更新案内と、実際に主催者や受講者が利用する環境の表示を分けて見ます。たとえばOpenAIのChatGPTリリースノートには、利用経路や順次提供に言及する更新が掲載されています。告知が見つかっただけで当日のアカウントに変更が届いたと記録せず、試した環境と確認日を再試験票に残します。
架空の受注メモで見本を残せるか点検します
例として、地域企業の参加者が、展示品の取り置きメモを同僚に渡す一文に整理する練習を想定します。下記は架空の教材と期待する確認結果です。製品を操作して得た実測の出力ではありません。
教材 K3（架空）／原資料 M1：取り置き品Aの引渡しは12月4日。
原資料 M2：引渡し数量は未定。確定連絡を待つ。
原資料 M3：引渡し担当は決まっていない。
承認済みの指示：原資料から、対象・日付・数量・担当を引継ぎ用の一文にまとめてください。
原資料に値がなければ未定と書き、決めたり補ったりしないでください。前回の見本が「品Aの引渡しは12月4日で、数量と担当は未定です。」だったとします。この見本から採点表を作るのではなく、原資料から「品A」「12月4日」「数量未定」「担当未定」の四点を確認項目にします。受講者には、四点を各原資料に対応付けて説明できることがこの演習の到達点だと伝えます。
再試験では、研修で使うことが承認された環境の新しい会話に、同じ教材と同じ指示を入力します。添付ファイル、検索や外部連携を使わない例です。以前の会話、保存された指示、利用モードなど確認できる条件を記録し、条件をそろえられないときはその旨を記します。実在企業の受注記録や参加者の連絡先は使わず、架空資料のままで行います。OpenAIの評価の考え方は、同じ入力から異なる出力が出る場合と、目的に応じた確認項目を設ける考え方を説明しています。本稿ではその考え方を講座の確認票に応用し、APIの利用を前提にしません。
| 観察したことの架空例 | 人が照合する箇所 | 教材の扱い |
|---|---|---|
| 「12月4日に品Aを引き渡し、数量と担当者はともに未定です。」 | M1～M3の四点が保たれている。語順が違うだけ | 見本を残し、語順が違ってもよいと注記する |
| 画面の回答が箇条書きになった。四点は保たれている | 今回の練習では引継ぎ用の一文を作る。内容が正しくても出力形式は指示と異なる | 講師が短い一文に整える工程を明示する。AIの回答例を差し替えるなら生成結果と講師の編集を区別する |
| 「12月4日、品Aを10点引渡し」 | M2にない数量が入り、M3の担当未定もない | その出力を完成見本にしない。誤りと照合方法を説明する練習に切り替えられるか決める |
| 参加者の会社管理アカウントでの試験は未実施 | 事務局アカウントの結果だけ。参加者側の条件は未確認 | 参加者の環境で同じ出力が出ると案内せず、主催者の環境で見せる範囲を明記する |
たとえば数量に「10点」と返った場合、M2の「未定」と突き合わせ、担当が本文にないことをM3で確認します。別の会話で再度試して四点が揃っても、先ほど誤りが出た事実は消えません。再試験票には、それぞれの試行で欠けた項目を残します。モデルの変更と、利用設定や前の会話の違いを切り分けられないなら「原因は未確定」とします。少数の確認から、製品の優劣や当日の回答確率を示すことはできません。
講師が配布物と実演の扱いを決めます
再試験票には「教材K3・指示文の版」「試した日・環境・画面表示」「M1～M3の確認結果」「見本を維持、差し替え、実演を見送るのどれか」「講師の説明」「承認者」を記録します。四点が揃ったのに表現が違う場合は見本を維持できます。見本に「この文章と同じなら正解」とある場合は、原資料に照合する四項目へ差し替えます。出力に誤りがあり、講師がその場で照合まで進める時間や準備がなければ、その環境のライブ実演は見送ります。事前に承認した架空の回答例を使う場合は、操作体験を完了したとは扱いません。
架空の記入例では、同じ主催者環境で二回試し、試行1は四点一致、試行2は「10点」の追加と担当未定の欠落を記録します。参加企業の会社管理アカウントは未試験です。講師と事務局は「旧見本を四点の照合に使う。誤った試行2は『間違いの例』と明記して別に保存。今回は参加者に実演操作を求めず、教材上でM2とM3を確認する」と記入できます。AIが出した例と講師が直した例を並べる場合は、どちらを見ているかを参加者へ明示します。参加者の会社管理アカウントでも次回は操作を案内したいなら、管理者の利用許可を確認し、対象環境で同じ教材の再試験を行ってから配布案内を更新します。
配布資料にはたとえば「これは回答例です。語順が同じでなくても、品A、12月4日、数量未定、担当未定が読み取れるかをM1～M3で確かめましょう」と添えます。前回の例と違っても、受講者は自分の答えで照合を続けられます。主催者と講師は、共有ファイルと配布用の版が一致すること、当日使う環境が再試験時と同じかを確認します。直前に変更が見つかったら、確認できた範囲を伝え、未試験の経路で受講者に同じ操作を求めないようにします。
地域企業が研修後に自社の業務で使える照合手順を組み立てるときは、LIFESEEDSの生成AI活用・業務効率化支援をご覧ください。お問い合わせでは、研修で扱う作業と、参加者に身に付けてほしい確認方法をお聞かせください。
コメント