① 問い|未来を予測するとき、私たちは何を根拠にすればいいのか?

この市場は、今後も成長するのか。

急に注目を集めた人物の人気は、数年後も続いているのか。

新しい技術やサービスは、一部の人の利用を超えて普及するのか。

こうした問いを考えるとき、現在の数字や過去の事例は手がかりになります。ただし、事実を調べれば、そのまま未来の答えが出るわけではありません。

どの過去事例と比べるか。今回の事情をどれほど重く見るか。反対の材料をどう評価するか。そこには、予測する人の判断が入ります。

では、何を根拠に予測し、その判断を後からどう確かめればよいのでしょうか。

今回は、論理の森で今後予測をしていくための、現時点での方針を考えます。

② 背景|仮説を、未来の事実で確かめたい

これまで(といってもまだ5記事くらいですが)論理の森では、事実を調べ、再考し、仮説を立て、反論を検討することで、自分なりの結論を出してきました。

今後は、未来について検証可能なテーマでは、その先まで進みたいと考えています。

市場が拡大する仕組みについて仮説を立てたなら、「その仕組みが続くため、一定期間後にはこの結果になる」と予測する。そして、未来の事実と照らし合わせるということです。

ただ、実際に予測しようとすると、難しい問題にぶつかりました。

「似た市場の何割が成長を続けたか」を調べようとしても、何を似た市場とするかで結果が変わります。重要そうな要因を挙げても、それぞれが結果に与える影響を、すべて過去の統計から計算するのは現実的ではありません。

だからといって、「何となく伸びそう」で終わると、後から何を検証すればよいのかが分からなくなります。

一方、検証できるようにと作業を増やしすぎれば、予測を続けること自体が難しくなります。

論理の森では、まず現在立てた仮説や判断を未来の事実で確かめ、次の考察に使える知見を蓄積したいと考えています。

そのために、何を根拠に予測し、どのように結果を振り返ればよいのでしょうか。手がかりとして、Good JudgmentやMetaculusの実践を確認しました。

③ 事実|予測の実践では、何が行われているのか

確率を示し、結果を記録する

Metaculusでは、出来事が起こる可能性を確率で提出します。Good Judgment Openでは、確率予測と実際の結果のずれを、Brier Scoreという指標で採点します。[1][2]

ここで参考にしたいのは、「いつ、何%と予測して、結果はどうだったか」を評価できる形にしていることです。

印象に残る予測が一度当たったかだけでなく、予測を重ねた実績から、確率の置き方を確かめられます。

東京五輪の予測では、今回固有の事情を検討していた

Good Judgmentの公式記事では、延期された東京五輪について、費用、ワクチンの開発・利用可能性、感染リスクを抑える対策などを検討したと説明しています。[3]

この事例からは、過去に似た出来事が起きた割合だけでなく、今回の開催を実現可能にする条件も考えていたことが読み取れます。ただし、公開記事から各要因の数値的な重みまでは分かりません。

ウクライナ侵攻の予測では、重みづけを振り返っている

Good Judgmentは、2022年のロシアによるウクライナ侵攻に関する予測について、事後の検証資料を公開しています。

そこでは、一部のベースレートを重視しすぎたこと、プーチン大統領がリスクを取る意思を過小評価したこと、米国の情報公開を割り引きすぎたことが、判断の遅れに関係した可能性を挙げています。[4]

また、予測と異なる結果が起きたと仮定し、その経緯を事前に考える「プレモーテム」の検討体制を設けなかった点も反省しています。[4]

これは同社自身による振り返りですが、結果だけでなく、何を重く見たかを検証している点は参考になります。

これらの実践を見る限り、すべての変数と重みを確定した万能の公式が、予測の前提になっているわけではなさそうです。事実を調べ、結果を動かす要因を考え、判断を記録して見直す。この進め方を、論理の森でも参考にしたいと考えます。

④ 再考|判断が残るからこそ、その理由を残す

過去の類似事例から考える方法は「外側の視点」と呼ばれます。比較対象となる事例群がreference class、その中で出来事が起きた割合がベースレートです。一方、今回固有の事情から考えるのが「内側の視点」です。[4]

ただし、外側の視点を使う場合も、比較対象の選び方には判断が入ります。

人物の人気を考えるなら、「急に注目された人物全体」と「同じ媒体で、同じような注目のされ方をした人物」では、集まる事例が違います。今回固有の事情を調べても、どの要因を重く見るかは自動的には決まりません。

では、判断が残るなら、どんな予測も同じなのでしょうか。

私は、そうではないと考えます。

「何となく伸びそう」とだけ残した予測と、「この事実から、この仕組みが働くと考え、反対材料も踏まえて70%と判断した」と残した予測では、後から確かめられる内容が違います。

さらに、結果が当たっていても、考えていた理由が違っていれば、次に同じ判断を使ってよいとは限りません。

だからこそ、確率だけでなく、何を根拠にそう考えたのかも残す必要があります。

予測時には何を残し、結果が出たら何を確かめるのか。さらに、記録が蓄積した後には何を学べるのか。この3つの段階に分けて考えてみます。

⑤ 方針|論理の森では、3つの段階に分けて予測を扱う

ここからは、論理の森として採用したい方法です。

毎回の記事で行うのは、予測の根拠を残すための5項目です。結果が判明したら3点を振り返ります。予測が蓄積した後の分析については、今後検討する方法として紹介します。

第1段階|予測するときに行う5つの基本手順

1.問いと判定方法を決める

何が、いつまでに、どの状態になれば、予測した出来事が起きたと判断するのかを決めます。判定に使う資料も、可能な範囲で指定します。

「市場が伸びる」なら、市場規模の金額なのか、購入者数なのか。「人気が続く」なら、フォロワー数なのか、一定期間の再生数なのか。問いに対応する指標を選びます。

例えば、「翌年の国内市場規模が、同じ調査の今年の数値を上回るか」とすれば、確認する対象が明確になります。

後から都合のよい指標に置き換えないことも大切です。必要な資料が得られなければ、判定を保留するか、判定できなかったと残します。

2.使える過去事例・ベースレートを確認する

似た事例では通常どうなったのか、利用できる比較対象があるかを確認します。

適切な事例群があれば、その中で出来事が起きた割合を出発点にします。利用する数字には、対象の選び方や件数も添えます。

ただし、条件が違いすぎる、事例が少なすぎる、比較する集団の全体を把握できない場合は、無理に割合を作りません。

少数の事例にも役割はあります。「新商品を出し続けられた市場では関心が続いた」といった事例は、どんな仕組みがあり得るかを考える材料になります。

ただ、その事例が数件あることから、今回も同じ結果になる確率を直接求められるわけではありません。仕組みを考える材料と、確率の出発点になる数字を分けて扱います。

3.結果を左右する主要要因を2〜3個に絞る

関連しそうな要因をすべて並べるのではなく、今回の結果を特に左右すると考えるものを2〜3個に絞ります。

市場なら、購入者が買い続ける理由、商品の新規性、供給や販売場所を維持できるかなどが候補になります。技術の普及なら、性能だけでなく、費用や導入の手間が重要かもしれません。

必要に応じて、次のように整理します。

区分仮の市場分析の例
確認した事実販売拠点が増えている
そこから考える仕組み商品に触れる機会が増え、購入につながる可能性がある
予測上の判断購入機会の増加を、今後の成長を支える要因とみる

拠点の増加は、すでに高まった需要への反応かもしれません。確認した事実と、その事実から先をどう考えたかを分けることで、後から見直す対象をはっきりさせます。

4.反対側の材料を確認する

基本的には、次の問いを一つ確認します。

「自分の予測と逆の結果になるとすれば、最もありそうな理由は何か。その兆候は現在あるか」

市場が成長すると考えるなら、「既存客が飽き、継続購入が減ること」が最も気になる理由かもしれません。その場合は、購入頻度の低下など、それを示す材料があるかを確認します。

反対の筋道を想像するだけでなく、現在の材料と照らし合わせるところまでを基本にします。ただし、毎回複数の逆シナリオを詳しく作る必要はありません。

プレモーテムは、自分の見通しを点検するうえで有用な手法だと考えます。ただ、先ほどのGood Judgmentの事例から、実施すれば毎回必ず予測が大きく変わるとまでは言えません。

論理の森では、自信が高い予測や、判断を誤った場合の影響が大きい予測で、詳細なプレモーテムや複数シナリオ、反対の立場から点検するレッドチーム的な検討を追加します。通常は、最もありそうな反対理由と、その兆候の確認にとどめます。

5.確率と理由を残す

ベースレート、主要要因、反対材料を踏まえて、現時点での確率を置きます。

例えば、次のような書き方です。

「成長を支える材料の方が強いと考え、現時点では70%とします。購入機会の増加と継続購入を見込むため、五分五分より高く評価しています。ただし、継続購入の実態には不確実さがあるため、90〜100%ほどの確信はありません。この数字は、統計モデルによる自動計算ではなく、確認した情報を踏まえた私の判断です」

大切なのは、なぜ50%より高いのか、なぜほぼ確実とは考えないのかを簡潔に説明することです。細かい数字を置くことより、その理由を後から読み返せることを優先します。

判断材料が著しく不足している場合は、確率の提示を保留します。「分からないから50%」と機械的に置く必要はありません。

以上の5項目を、予測日とともに残します。

補足|重要な新情報を認識した場合に更新する

予測を大きく左右する新しい情報を認識した場合は、確率と理由を見直します。すべての記事を継続監視することは基本手順に含めません。

更新する場合は、日付とともに、以前の確率、新しい確率、変更した理由を残します。

「継続購入のデータが想定より弱かったため、70%から55%へ変更した」という形です。当初の予測は消さず、どこで判断が変わったかを確認できるようにします。

重要度の高い予測や長期予測では、必要に応じて定期確認を設定します。ただし、全記事の必須作業にはしません。

第2段階|結果が判明したら、3点を検証する

結果が出た後は、事前に残した判断と照らし合わせ、次の3点を振り返ります。

A.結果はどうなったか

事前に決めた基準に沿って、実際の結果を確認します。

「市場規模が前年を上回るか」という問いなら、指定した資料で前年を上回ったかを判定します。まずは、予測した出来事が起きたかどうかの確認です。

B.予測に使った仮説・主要要因は実際に働いたか

論理の森では、ここを特に重視します。

例えば、「大人の継続購入が増えるため、市場が成長する」と予測し、実際に市場規模が増えたとします。

ここで「予測が当たった」と終えてよいのでしょうか。

もし購入者数や購入量は増えておらず、値上げによって市場規模が拡大していたなら、「市場が成長する」という結果予測は当たっていても、「継続購入が成長を生む」という仮説が支持されたとは言えません。

結果と、考えていた仕組みを分けて確かめる必要があります。

事前に重視した2〜3個の要因について、実際に想定した動きがあったか、結果への関与を示す資料があるかを見ます。資料が足りなければ、「仕組みについては確認できない」と残します。

市場が伸びたという事実だけから、理由まで正しかったことにはしません。

C.最大の見落とし・判断ミスは何だったか

何を重く見すぎたか。何を軽く見すぎたか。何を見落としていたか。

当たった場合にも、最も重要な点を一つ程度、簡潔に振り返ります。

先ほどの例なら、「購入量の増加を重く見た一方、価格上昇の影響を十分に検討していなかった」と残せます。

ただし、結果が出た後なら、結果に合う説明はいくらでも作れます。事前の仮説や理由と照らし合わせ、当時の情報から何を判断できたのかを確認します。明確な見落としが分からなければ、無理に作りません。

毎回の検証は、この3点を基本にします。結果、仕組み、判断の見直しを分けて残すことで、次に使える知見を蓄積したいと考えます。

第3段階|予測が蓄積したら、判断の癖をまとめて確認する

個々の予測を振り返るだけでは、自分が全体としてどのような判断をしているかは見えにくいものです。

まずは予測と、その根拠や結果を蓄積することから始めます。その先には、確率の置き方や要因の選び方をまとめて評価する方法もあります。

「70%と予測した事象が、長期的にどの程度起きているか」を見るのが、キャリブレーションです。予測した確率と、実際の発生頻度が対応しているかを確かめます。Metaculusも実績ページで、この対応を示しています。[5]

70%とした事象が1件起きなくても、それだけで70%という見積もりが不適切だったとは決められません。複数の記録から、確信を強く置きすぎていないかを見ます。

Brier Scoreも、この段階で使う評価指標の一つです。二択の予測では、確率を0〜1、出来事が起きた場合を1、起きなかった場合を0として、その差を二乗する方式があります。低いほどよい点数です。Good Judgment Openでは、YesとNoの両方の誤差を合計するため、二択ではその2倍の値になります。[2]

前者の方式なら、70%と予測した出来事が起きた場合は0.09、起きなかった場合は0.49です。

各予測には点数を付けられますが、1件の点数だけで「70%が正しかった」とは判断しません。また、点数から、想定した仕組みが正しかったかが分かるわけでもありません。

論理の森でも、予測が蓄積した段階で、こうした評価手法の採用を検討したいと考えています。具体的な集計方法や、判断の癖をどう見つけるかは、実際の記録を踏まえて今後考えていきます。

今はまず、後から検証できる形で予測を残し、その結果を積み重ねることを優先します。

⑥ 限界|記録しても、すべてを説明できるわけではない

手順を整えても、公開されていない情報や、想定していなかった変化は残ります。比較に使った過去と未来で、条件そのものが変わることもあります。

また、結果が判明しても、その原因まで確定できるとは限りません。継続購入のデータがなければ、仮説が支持されたかは分からないままです。

この方法を採用しただけで、論理の森の予測精度が高くなると確認されたわけでもありません。

それでも、何を根拠に判断したかが残っていれば、どこを見直すべきかは考えやすくなります。

確認できたことと、まだ分からないことを区別しながら、検証を続けたいと考えます。

⑦ 結論|現在の判断を、未来の事実で検証できる形にする

未来を予測するときの根拠は、過去の類似事例、今回の結果を動かす仕組み、確認できる事実、反対側の材料です。それらを組み合わせても、最後には予測者の判断が残ります。

論理の森では、その判断を確率と理由として記録します。結果が出たら、結果そのもの、想定した仕組み、最大の見落としを振り返ります。記録が蓄積したら、自分の判断の癖を確かめる方法も検討していきます。

蓄積したいのは、的中実績だけではありません。「どの条件では、この考え方が役立ったのか」「自分は何を重く見すぎるのか」という、次の考察に使える知見です。

予測を、現在の仮説と判断を未来の事実で検証する機会にする。その積み重ねによって、考察の質を改善していきたいと考えます。

ここで整理した方法も、現時点での方針です。実践を通じて得られた知見を踏まえ、方法自体も更新していきます。

出典・参考資料

[1]How to forecast on Metaculus
発行元:Metaculus

[2]Frequently Asked Questions (FAQ)
発行元:Good Judgment Open

[3]Forecasting the Tokyo Olympics
発行元:Good Judgment

[4]Post-Mortem: Lessons Learned in Superforecasting the Russian Invasion of Ukraine
発行元:Good Judgment

[5]Metaculus Track Record
発行元:Metaculus

上部へスクロール