AIの回答は同じ質問でも変わる？高校生の探究でできる比較実験のやり方
【高校の探究担当の先生へ】
当メディアを運営する私たちStudy Valleyは「社会とつながる探究学習」を合言葉に、全国の高等学校様へ、探究スペシャリストによる探究支援と、社会とつながるICTツール「高校向け探究学習サービス『TimeTact』」を提供しています。
現在、探究に関する無料相談会を開催中です。探究へのICT活用や外部連携にご興味ある方、お気軽にご連絡下さい。ご予約は探究学習・TimeTactの無料相談フォーム
【企業のCSR広報ご担当者様へ】
CSR広報活動の強い味方！
探究教育を通して、学校と繋がるさまざまなメリットを提供しています。
まずはお気軽に「教育CSRサービスページ」より資料をダウンロードください。
また無料相談も可能です。些細なご相談やご質問、お見積りなど、お気軽にご相談ください。
同じ質問でもAIの回答は変わることがある：条件をそろえて比較する実験のやり方
同じ質問をAIに投げても、聞くたびに違う答えが返ってくることがあります。AIをテーマにした探究テーマ30選のテーマ7「AIの回答は同じ質問でも変わるか」でもこの着想が短く紹介されていますが、この記事ではそのテーマを実際に検証できる手順として深掘りし、コピーして使える記録シートも用意しました。
実験の設計：まず「条件を変えない試行」を複数回くり返す
最初に行うのは、条件を一切変えず、まったく同じプロンプトを複数回くり返して聞くことです。これによって、何も変えていなくても回答にどの程度のばらつきが出るのか（ベースラインのばらつき）を先に把握できます。このベースラインを確認せずにいきなり条件を変えてしまうと、見えた違いが「条件を変えたせいなのか」「AIの回答がそもそも毎回ある程度ばらつくだけなのか」を区別できません。
ベースラインを確認したら、次はプロンプトの文言・使うAIサービス（モデル）・実施日・会話の文脈（新しい会話か、直前にやり取りがあるか）のうち、どれか1つだけを「変える条件」として選び、残りはできるだけ揃えます。複数の条件を同時に変えてしまうと、どの条件が違いの原因なのか分からなくなるためです。
注意：この記事で紹介する規模の比較（少数の試行・統制された実験室的条件ではない環境）では、「条件Aが原因で回答が変わった」と断定することはできません。あくまで「この条件が影響しているかもしれない」という仮説を見つけるための入門的な練習であり、因果関係を証明するものではない点を、考察でも明記してください。
- モデルを変える：同じ日に、同じ文言のプロンプトを異なるAIサービス・モデルに入力する
- 日付を変える：同じモデル・同じプロンプトを、数日〜数週間空けて再度入力する
- プロンプトの言い回しを変える：同じ意図の質問を、丁寧語／箇条書き指定／前提条件の有無などで表現を変える
- 会話の文脈を変える：新しい会話（履歴なし）で聞く場合と、直前に関連する話をした後で聞く場合を比べる
1つの条件につき3〜5回程度くり返して試すと、たまたま出た1回の違いなのか、条件による違いなのかを見分けやすくなります。ただし、これは統計的に十分なサンプル数ではなく、あくまで探究活動の入門的な練習という位置づけです。
比較の観点は、回答を読む前に決めておく
回答を集めてから何を比べるかを考えると、後から都合よく違いを見つけてしまいがちです。実験を始める前に、次のような比較の観点（ルーブリック）を決めておきましょう。
- 結論・主張：AIが最終的にどう結論づけているか
- 出典の有無：根拠となる情報源に触れているか、触れていないか
- 留意点・限界の記載：「〜という可能性がある」「専門家に確認してほしい」といった留保が書かれているか
記録に残す項目：全文と要約、そしてモデルの設定も
回答は要約だけでなく、全文もコピーして残しておきます。要約だけだと、後で見返したときにニュアンスの違いが分からなくなるためです。あわせて、画面に表示されているモデル名・バージョン、実施した日時、Web検索機能やメモリ（記憶）機能、パーソナライズ設定がオンになっているかどうかも、確認できる範囲で記録してください。確認できない場合は「不明」と記入して構いません。新しい会話を始めても、サービスによってはメモリ機能やパーソナライズ設定が引き継がれ、完全に初期状態に戻るとは限らない点にも注意してください。
記録シートのテンプレート（1試行につき1枚、コピーして複製）
以下は1回の試行につき使う記録テンプレートです。試行の回数分、この表をコピーして使ってください。
| 項目 | 記入欄 |
|---|---|
| 試行番号 | |
| モデル名・バージョン（画面表示のまま） | |
| 実施日時 | |
| 変えた条件 | |
| 実際に入力したプロンプト（全文） | |
| Web検索／メモリ／パーソナライズ設定（分かる範囲。不明可） | |
| 回答（全文） | |
| 回答の要約 | |
| 結論・主張 | |
| 出典の有無 | |
| 留意点・限界の記載の有無 | |
| 気づいた違い・共通点 |
例：中立的なプロンプトで試してみる（結果欄は空欄です）
どんな質問で試せばよいか迷う場合は、特定の立場に偏らない中立的な質問から始めるとよいでしょう。たとえば「インターネット上の情報の信頼性を確かめる方法を、300字程度で教えてください」のような質問です。以下は記入例の枠だけを示したものであり、実際にAIへ入力して得られた回答を掲載しているわけではありません。実験の際は、必ず自分たちが実際に入力・取得した内容だけを記入してください。
| 項目 | 記入欄（未実施・空欄） |
|---|---|
| プロンプト例 | インターネット上の情報の信頼性を確かめる方法を、300字程度で教えてください |
| 試行1の回答 | |
| 試行2の回答 | |
| 試行3の回答 |
差がなくてもよい結果です
複数回試した結果、回答がほとんど同じだったとしても、それは失敗ではありません。「条件を変えても大きな違いは見られなかった」というのも、比較実験として意味のある結論です。差があることを前提に実験を始めないよう気をつけましょう。
実施前に確認すること
実験に使うAIサービスは、学校が利用を認めているものを選び、対象年齢やサービスごとの利用規約に定められたルールに従ってください。プロンプトに氏名や個人が特定できる情報を入力しないことも大切です。生成AIを学校の学習活動で使う際の留意点は、文部科学省の生成AI活用ガイドライン（Ver.2.0、2024年12月26日公表）にも示されています（文部科学省「学校現場における生成AIの利活用について」）。
探究活動の記録として残す
比較実験は複数回のやり取りが発生するため、プロンプト・回答・考察をその都度メモしておかないと、後で振り返りにくくなります。探究活動の記録・振り返りの運用については、学校向けTimeTactのノート機能で調査内容を保存し、仮説整理の履歴を残しておく使い方が考えられます。ただし、記録した内容の妥当性の判断や、実験結果を探究の成果としてどう評価するかは教師の指導・判断に委ねられます。
テーマ別に読み進める
関連する解説を体系的に確認する場合は、生成AI×教育×探究学習 完全ガイド｜授業設計・校内ルール・評価をご覧ください。
まとめ
AIの回答比較は、条件を1つずつ固定・変更しながら記録するだけで、探究活動として十分に成立する実験になります。まずは白紙の記録シートをコピーし、1つの質問・1つの条件から試してみてください。
学校・教育関係者の方へ
探究学習の授業設計やTimeTact活用を相談する
学校の状況に合わせて、探究カリキュラム、教員負担、外部連携についてご案内します。
【高校の探究担当の先生へ】
当メディアを運営する私たちStudy Valleyは「社会とつながる探究学習」を合言葉に、全国の高等学校様へ、探究スペシャリストによる探究支援と、社会とつながるICTツール「高校向け探究学習サービス『TimeTact』」を提供しています。
現在、探究に関する無料相談会を開催中です。探究へのICT活用や外部連携にご興味ある方、お気軽にご連絡下さい。ご予約は探究学習・TimeTactの無料相談フォーム
【企業のCSR広報ご担当者様へ】
CSR広報活動の強い味方！
探究教育を通して、学校と繋がるさまざまなメリットを提供しています。
まずはお気軽に「教育CSRサービスページ」より資料をダウンロードください。
また無料相談も可能です。些細なご相談やご質問、お見積りなど、お気軽にご相談ください。
【この記事の監修者】
田中 悠樹｜株式会社Study Valley代表
東京大学大学院卒業後、ゴールドマンサックス証券→リクルートホールディングスに入社。同社にて様々な企業への投資を経験する中で、日本の未来を変えるためには子どもたちへの教育の拡充が重要であると考え、2020年に株式会社Study Valleyを創業。
2020年、経済産業省主催の教育プラットフォームSTEAM ライブラリーの技術開発を担当。
2024年、経済産業省が主催する「イノベーション創出のための学びと社会連携推進に関する研究会」に委員として参加している。
