この記事の要点
- 繰り返し質問したときに、何を残して比較するかを具体化します。
- 回答の安定性と、レース結果に対する的中率を分けて考えます。
- ChatGPT・DeepSeekのサイト内予測は過去の履歴です。現在の自動予想はGPT-6 Lunaのみです。
成績に使う回答を、結果が出る前に決める
最初は「同じ入力で、最初に返った回答を使う」と決めると比較が簡単です。両方へ同じ出走表を渡し、3連単の候補上限、根拠の書き方、情報不足の扱いもそろえます。利用したモデル名や設定が分かる場合は、それも記録してください。
次は仮定の例です。ChatGPTの1回目が1-2-3、DeepSeekの1回目が1-3-2、聞き直した2回目が1-2-3だったとします。結果を見てからDeepSeekの1回目と2回目を使い分けると、事前に出した予想の成績ではなくなります。
展示情報を追加するなら、両方に同じ変更を加える
入力を改善したいときは、変更する項目を一つに絞ると差を追いやすくなります。例えば、展示前の入力を保存し、次に展示タイムと進入情報を加えた入力を用意します。この2種類を両方のAIで試します。
記録は「ChatGPT・展示前」「ChatGPT・展示後」「DeepSeek・展示前」「DeepSeek・展示後」の4つです。展示情報の追加による変化と、同じ入力に対するモデル間の差を、それぞれ確認できます。一方だけ別の追加質問をした場合は、その差も記録に残します。
毎回同じ答えが返っても、的中率の証明にはならない
同じ入力に同じ候補が返る割合は、回答の変わりにくさを示します。レース結果を当てた割合とは別の指標です。毎回1-2-3を挙げても、結果が1-3-2なら、安定して外れていることになります。
複数回の回答を使う場合は、「最初の回答」「最も多く出た候補」などの採用方法をレース前に決めます。候補を全部足すと点数が増えます。重複を除いた点数と想定購入額も残さないと、的中率だけが良く見える比較になります。
説明の良さは、根拠を照合できるかで確かめる
長い回答でも、入力にない選手の特徴やモーター情報を根拠にしていれば修正が必要です。「どの数値を参照したか」「その数値から何を予測したか」を分けて尋ね、元の出走表と見比べてください。
比較表には、候補のほかに「数値の誤読」「未入力情報への言及」「指定点数の超過」を書く欄があると役立ちます。的中・不的中が分かる前から確認できる項目です。舟券を購入せず、記録だけで試すこともできます。
過去の履歴は、当時の条件とセットで読む
Turing Turnでは、ChatGPT・DeepSeekによる新規予測を停止し、過去の予測・成績を残しています。DeepSeek V4 Flashの履歴と、過去のChatGPTの履歴は、対象期間や運用条件がそろっているとは限りません。数字だけを並べて勝者を決めることは避けてください。
現在のGPT-6 Luna成績へも合算していません。比較したい期間の共通レースが見つからない場合は、無理に成績差を出さず、当時の入力や候補を読む資料として使います。