この記事の要点
- 入力内容、券種、候補の上限をそろえて比較する手順を紹介します。
- このページでは、両モデルの的中率や速度の優劣は判定していません。
- Turing Turnの自動予想は現在GPT-6 Lunaです。ChatGPT・Geminiのサイト内成績は過去の履歴です。
出走表だけでなく、情報を確認した時刻もそろえる
片方には展示前の出走表、もう片方には展示後の直前情報を渡すと、モデル以外の条件まで変わります。開催日・会場・レース番号を明記し、6艇分のデータを一つにまとめてから、同じ文章を両方へ入力しましょう。
オッズを使う場合は取得時刻を残します。URLだけを送ったときは、その内容を実際に読めたかも確認が必要です。読み込めなかった情報を片方だけ補うと、結果の差をモデルの違いとして扱えません。
展示タイムを読み違えていないか、元の表に戻る
例えば、入力した展示タイムが1号艇6.82、2号艇6.76だったとします。仮定の数字です。ここで「1号艇が最も速い」と返ってきたら、まず読み違いを直しましょう。少なくとも、この2艇の比較は逆になっています。
数字が合っていても、その数字だけで着順が決まるわけではありません。「展示タイムを重く見た」「進入が変わらないと想定した」など、どの情報からどこまで推測したかを分けて読みます。BOAT RACE公式も、スタート展示と本番の進入コースが変わる場合を説明しています。
候補の差は、判断に使った情報まで比べる
両方に「3連単は最大3点、各候補の根拠と不確かな点を添える」と指定すると、出力を見比べやすくなります。片方が1-2-3、もう片方が1-3-2を挙げたなら、2号艇と3号艇の評価が分かれた理由を尋ねます。
Googleのヘルプでは、Geminiの回答に関連ソースが付く場合と付かない場合があると案内しています。リンクがある場合も、日付や選手まで開いて確かめてください。出典の有無と、予想が当たるかどうかは別に記録します。
同じ買い目でも、同じ的中確率とは限らない
2つのAIが同じ候補を選んでも、正しさが保証されるわけではありません。同じ出走表の同じ数字を重視すれば、予想だけでなく読み違いまで一致する可能性があります。一致した数と、結果がどうだったかを分けて残します。
保存するのは、レース前の最初の回答、使ったモデルの名称、入力文、候補、点数、結果です。回答を修正させたなら修正前も残してください。成績を比べる際は、同じレースと購入条件で集計し、的中率に加えて購入総額・払戻総額を確認します。
サイトの過去成績と、手動で試した結果を分ける
過去モデル情報：ChatGPT・Geminiは現在のTuring Turnでは予想を生成していません。履歴は残していますが、当時のモデルや入力条件による結果です。手元で現在使うChatGPT・Geminiの性能を、そのまま示す数値ではありません。
現在公開中のGPT-6 Luna予想は別に集計しています。まず一つのレースで入力と回答の対応を確かめ、比較の条件を決めてから記録を続けると、後で理由まで振り返れます。