需要予測の精度を比べるとき、まず確かめることは「何で測った精度か」です。
結論:精度は、目的に合う物差しで測らないと、良い仕組みが悪く見えます。欠品を減らしたいのに、予測がどれだけ当たったか(誤差率)で測ると、欠品を避けるために多めに持つ仕組みは不利になります。当社が作った発注の仕組みも、誤差率で測ると、いったん悪い結果が出ました。
この記事では、誤差率などの指標の意味、物差しの選び方、精度が下がる原因、業者への確かめ方、頼む前に過去データで試す方法(バックテスト)を順番に説明します。需要予測を何に使うかの整理は需要予測AIは何に使うかに分けています。
需要予測の精度は、どんな指標で測りますか?
よく使われる指標は、どれも「予測した数」と「実際に売れた数」の差を見ています。違いは、差をどう集めるかです。
| 指標 | 言葉での意味 | 向いている見方 | 気をつける点 |
|---|---|---|---|
| 平均絶対誤差 | 予測と実績の差(プラスもマイナスも同じに扱う)の平均。単位は商品の個数 | 「平均で何個ずれたか」を知りたいとき | 売れる数が大きい商品ほど、差も大きく出る |
| 平均絶対パーセント誤差(誤差率) | 差を実績で割って、割合にして平均したもの | 商品ごとに規模が違うものを、同じ目盛りで比べたいとき | 実績が少ない(0に近い)日は、割合が大きく振れる |
| 足りなかった割合(欠品率に近い見方) | 必要な数に対して、在庫や発注が足りなかった割合 | 「切らさない」ことが目的のとき | 持ちすぎとの釣り合いを一緒に見ないと、多く持てば良く見える |
ここで大事なのは、これらの指標に、どれが正解という順位はないことです。何を決めるのかで、見る指標が変わります。
欠品を減らしたいのに、誤差率で測るとどうなりますか?
当社が酒類の販売会社向けに作った発注の仕組みで、実際に起きたことです。
発注は「当てにいく」仕組みではなく、「切らさない」仕組みです。欠品を避けるために、ある程度、多めに見積もります。すると、予測と実績の差は、むしろ大きくなります。
最初に誤差率で測ったところ、作った仕組みのほうが誤差が大きく出ました(32.8%→36.3%)。誤差率だけを見れば、「改悪した」と判断されます。
測り方を「足りなかった割合」に変えると、結果は逆転しました。
| 方法 | 足りなかった割合 | 持ちすぎ |
|---|---|---|
| 全期間の平均だけで決める | 43.5% | +36.8% |
| 直近30日だけで決める | 68.7% | +36.8% |
| 当社が作った仕組み | 30.4% | +43.9% |
切らす割合は下がり、そのぶん持ちすぎは増えています。この釣り合いを隠さずに出すことが、数字の信用につながると考えています。数字は当社の1つの案件での検証結果で、ほかの会社で同じになるとは限りません。
さらに、過去データを使った81通りの検証で、充足率をほぼ保ったまま、平均在庫を42%下げられるという結果が出ています。
つまり、誤差率だけで「悪い」と判断していたら、在庫を減らせる仕組みを捨てていたことになります。
目的ごとに、どの物差しを使えばいいですか?
目的に合う物差しの選び方を、表にしました。
| 決めたいこと | 見る物差し | 避けたい見方 |
|---|---|---|
| 欠品を減らしたい | 足りなかった割合、充足率(出荷できた割合) | 誤差率だけで比べる |
| 在庫を減らしたい | 平均在庫、在庫日数。同時に充足率も見る | 在庫だけを見て、欠品が増えているのに気づかない |
| 生鮮を捨てたくない(飲食など) | 余った数、捨てた数 | 欠品率だけを見る |
予測の質を比べたいなら誤差率でよいのですが、発注の結果で比べるなら、欠品と在庫で測るのが基本です。
精度が下がる原因には、何がありますか?
精度が出ない原因は、予測の式よりデータの側にあることがあります。
1. データの期間が短い
季節の山が1周していないと、季節要因と一時的な動きを分けられません。必要なデータは最低1年、理想は3〜4年です(何年分か)。
2. 欠品していた日を、需要ゼロとして扱っている
在庫が0で売れなかった日を「売れなかった日」として平均に入れると、需要を低く見積もります。逆に、売れた日数だけで割る計算にすると、動きの少ない商品ほど日販が膨らみます。当社が以前の版で見つけた不具合では、低回転の商品の日販が実態の最大30倍近くになっていました。正しくは、在庫の推移から欠品していた日を特定して、平均の計算から除きます。
3. 急に売れた分を、そのまま需要と見ている
ある日だけ急に売れた分を、今後も続く需要と見ると、翌月の予測が過大になります。当社の検証では、急に売れた商品の57%は、30日以内に元の水準へ戻りました。急に売れた分が、特定の取引先や1日に偏っていないかを確かめる必要があります。
4. 新商品や、記録のほとんどないもの
セールや新商品のように過去の実績が少ないものは、精度が下がります。
精度を約束する業者には、何を確かめればいいですか?
「精度◯%を保証します」という案内を見たときは、次の点を確かめてください。
- 何で測った精度か。自社の目的に合う物差しか
- いつの、どのデータで測ったか。事前に過去データで試した数字か
- 悪かった場合の数字も出るか。持ちすぎや外れた日の数字も見せてもらう
- 外れたときに、原因を追えるか。中身が見えない仕組みは直せない
数字でお約束できる精度は、商品や業種で大きく変わります。当社は、精度を数字でお約束することはしません。その代わり、お預かりした過去のデータで「この方法ならこうなった」を、先に計算してお見せします。
過去データで先に試す(バックテスト)とは何ですか?
バックテストとは、過去のある時点に戻ったつもりで、その時点までのデータだけで予測や発注を行い、実際にどうなっていたかと答え合わせをする方法です。
たとえば「去年の4月1日の時点で、この仕組みを使っていたら、4月の発注はいくつで、欠品と在庫はどうなっていたか」を、実際の販売実績と照らして計算します。
進め方は、過去のデータを「ここまでは分かっていた」という時点で区切り、その時点までのデータだけで予測と発注数を出し、その後の実績と見比べて欠品と在庫を出します。いまの決め方(担当者の経験や平均による発注)の結果と並べ、時期や商品を変えて何通りも繰り返します。
当社の81通りの検証も、過去データで試すこの方法(バックテスト)です。1回だけ良い結果が出てもたまたまの可能性があるため、何通りも試します。
注意点は、その時点で分からなかった情報を使わないことです。混ぜると、実際より良い結果が出ます。
当社に頼むと、どうなりますか?
当社の需要予測は初期費用0円・月額5万円(税別)からで、稼働するまで課金は始まりません。頼む前に、お預かりした過去のデータでバックテストを行い、いまの決め方と比べた結果をお見せします。
頼むと何が手に入るか、費用、進め方は、需要予測のシステムを頼むと、何が手に入って、どれくらい当たりますかに1ページでまとめています。事例は酒類ECの需要予測・発注支援、小売の在庫・経営ダッシュボード、アパレル通販のデータ分析・在庫最適化です。データ分析を外に頼むときの考え方は、データ分析の外注|何を頼めるか・頼み方の違い・決めておくことにあります。
「何で測るべきか」の相談だけでも構いません。相談するときは、業種と、手元にあるデータの種類・期間を教えてください。
よくある質問
Q. 需要予測の精度は、何%あれば良いですか?
何%なら良い、という目安はお伝えできません。商品や業種で大きく変わり、目的によって見る指標も違うためです。大事なのは、いまの決め方と比べて、欠品や在庫がどう変わるかです。
まとめ
- 需要予測の精度は、目的に合う物差しで測る。誤差率は予測の質を見る指標で、発注の良し悪しとは別
- 当社の検証では、誤差率で測ると悪く出た(32.8%→36.3%)が、足りなかった割合で測ると逆転した(30.4%、全期間の平均は43.5%、直近30日は68.7%)。そのぶん持ちすぎは増える(+43.9%)
- 81通りの検証で、充足率をほぼ保ったまま平均在庫を42%下げられた
- 精度が下がる原因は、データの期間、欠品していた日の扱い、急に売れた分、新商品
- 精度を約束する業者には、何で測ったか、いつのデータか、外れたとき原因を追えるかを確かめる
- 過去データで先に試す(バックテスト)と、頼む前に判断できる