はじめに
データ科学は懐がひろ〜い分野。いわゆる理工系の方々のみならず、私のバックグラウンドである社会科学出身の方々も、データサイエンティストとして多く活躍されています。
社会科学×データといえば、計量経済学をはじめとして、統計的性質に重きをおいた手法のイメージが強いかと思います。しかしその陰で、理論に基づくモデリングをした上でデータに当てはめるという構造推定と呼ばれる方法もあり、（『経済セミナー』での連載などのおかげか）にわかに知られてきています。
今回は、構造推定の盛んな実証産業組織論や計量マーケティングにおいて需要推定の登竜門（？）であるBLPモデル (Berry, Levinsohn and Pakes, 1995) を使って、社会科学におけるモデリング×データのやり口を垣間見たいと思います。
と言いましたが、単に自分が思い出したいだけというのもあるので、詳しく知りたければ『経済セミナー』の連載を読んでください。記事投稿も初めてなので、諸々見逃していただけると嬉しいです。
進め方
一回では収まらないので、大雑把に以下のように分けて書こうと思います。
- 理論編
- モデルの構築（理論編①）
- モデルの推定（理論編②）
- 実装編
ただし、この通りうまくいく保証はありません。
シチュエーション
ある市場$t$において、消費者$i$が財$j$を購う場合を考えます。また、
\begin{align*}
i &\in \mathcal{I} = \{1, 2, \ldots, I\} \\
j &\in \mathcal{J} = \{0, 1, 2, \ldots, J\} \\
t &\in \mathcal{T} = \{1, 2, \ldots, T\}
\end{align*}
であるとします。すなわち、$I$人の消費者、$J+1$個の財（ただし$j = 0$は「何も買わない」ことを表す）、$T$個の市場におけるできごとを見ていくことになります。
さて、ここで財$j$の需要について分析することを考えてみましょう。
「各消費者がどのような購買行動をしたか」という個票データがあれば問題ないのですが、大抵の場合はそんなことは起こらず、ある市場における財の売り上げに関する集計データしか手に入りません。たとえば、ある市場について
| 商品 | 市場シェア |
|---|---|
| りんご | 40% |
| ぶどう | 25% |
| みかん | 20% |
| バナナ | 10% |
| その他 | 5% |
| 合計 | 100% |
といった具合のデータが手に入る感じです。今回は、こういった集計データのみが手に入る状況を想定して、需要推定のためのモデルを構築します。
モデル
効用
消費者$i$が市場$t$において財$j'$を選択するということはどういうことなのか、を考えたいです。しかしこれはややこしいので、まずは２つの財の比較を考えます。
市場$t$で、消費者$i$が財$j'$を財$j$より好んでいるとき、それを
u_{ij't} > u_{ijt}
と表現するような$u$を持ってきて、「効用」と名付けます。もし上の式が成り立っていれば、市場$t$における消費者$i$は、財$j'$と$j$だったら前者を選ぶということが少なくとも言えます。つまり、何かを選ぶということは、任意の２つの選択肢どうしを見比べていって、最も好ましかったものを選ぶという行為だと考えられます。
このように考えると、消費者$i$が市場$t$において財$j'$を選択するということは、
\forall j \in \mathcal{J}\setminus \{j'\}, \ u_{ij't} > u_{ijt}
であると言えます。
ランダム係数モデル
消費者$i$が財$j$を市場$t$で選択することの効用$u_{ijt}$が以下のように書けるとしましょう。
u_{ijt} = \alpha_i p_{jt} + \beta_iX_{jt} + \xi_{jt} + \varepsilon_{ijt}
- $p_{jt}$：財$j$の市場$t$における価格
- $X_{jt}$：財$j$の市場$t$における観察された特徴
- $\xi_{jt}$：財$j$の市場$t$における観察されない特徴
- $\varepsilon_{ijt}$：消費者$i$の財$j$の市場$t$に対する特異なショック
さらに、ランダム係数$(\alpha_i, \beta_i)$については、消費者ごとの特徴を考慮して次のように表せるとします。
\begin{bmatrix}
\alpha_i \\
\beta_i
\end{bmatrix}
=
\begin{bmatrix}
\alpha \\
\beta
\end{bmatrix}
+ \Pi D_i + \Sigma \nu_i
- $D_i$：消費者$i$の観察された特徴
- $\nu_i$：消費者$i$の観察されない特徴
以上をまとめて$u_{ijt}$を書き直すと、パラメータが線形な部分$\delta_{jt}(\theta_1)$と非線形な部分$\mu_{ijt}(\theta_2)$に分割できます。
\begin{align*}
u_{ijt}
&=
\underbrace{
\alpha p_{jt} + \beta X_{jt} + \xi_{jt}
}_{線形な部分}
+
\underbrace{
\begin{bmatrix}
\Pi D_i + \Sigma \nu_i
\end{bmatrix}
\begin{bmatrix}
p_{jt} & X_{jt}
\end{bmatrix}^{\top}
}_{非線形な部分}
+
\varepsilon_{ijt} \\
&=
\delta_{jt}(\theta_1) + \mu_{ijt}(\theta_2) + \varepsilon_{ijt}
\end{align*}
- $\theta_1 = (\alpha, \beta)$：線形なパラメータ
- $\theta_2 = (\Pi, \Sigma)$：非線形なパラメータ
需要を分析する場合、一般には消費者の平均的な傾向に興味があるため、線形パラメータ$\theta_1$の推定が焦点になります。
ショックの仮定
消費者$i$が市場$t$において財$j'$を選択するとき、効用の定義より
\forall j \in \mathcal{J}\setminus \{j'\}, \ u_{ij't} > u_{ijt}
となっています。したがって、消費者$i$が市場$t$において財$j'$を選択する確率$P_{ij't}$は
\begin{align*}
P_{ij't}
&=
\prod_{j' \in \mathcal{J}\setminus\{j'\}}
\Pr(u_{ij't} > u_{ijt}) \\
&=
\prod_{j' \in \mathcal{J}\setminus\{j'\}}
\Pr(
\varepsilon_{ijt} < \varepsilon_{ij't}
+ \{\delta_{j't}(\theta_1) + \mu_{ij't}(\theta_2)\}
- \{\delta_{jt}(\theta_1) + \mu_{ijt}(\theta_2)\}
)
\end{align*}
となります。さらに計算を進めるために、次の仮定を置きます。
ショックの仮定
特異なショック$\varepsilon_{ijt}$は、互いに独立して第一種極値分布に従う。
ただし、第一種極値分布の累積分布関数を$F_{EV}$、確率密度関数を$f_{EV}$とすると、
\begin{align*}
F_{EV}(x) &= \exp\{-\exp\{-x\}\}\} \\
f_{EV}(x) &= -\exp\{-x\}\exp\{-\exp\{-x\}\}\}
\end{align*}
である。
上の仮定により、$P_{ij't}$はより簡単に書けます。（詳細は省略）
\begin{align*}
P_{ij't}
&=
\prod_{j' \in \mathcal{J}\setminus\{j'\}}
\Pr(
\varepsilon_{ijt} < \varepsilon_{ij't}
+ \{\delta_{j't}(\theta_1) + \mu_{ij't}(\theta_2)\}
- \{\delta_{jt}(\theta_1) + \mu_{ijt}(\theta_2)\}
) \\
&=
\int
\prod_{j' \in \mathcal{J}\setminus\{j'\}}
\Pr(
\varepsilon_{ijt} < \varepsilon_{ij't}
+ \{\delta_{j't}(\theta_1) + \mu_{ij't}(\theta_2)\}
- \{\delta_{jt}(\theta_1) + \mu_{ijt}(\theta_2)\}
\mid \varepsilon_{ij't}
)
df_{EV}(\varepsilon_{ij't}) \\
&=
\frac{
\exp\{\delta_{j't}(\theta_1) + \mu_{ij't}(\theta_2)\}
}{
\sum_{j \in \mathcal{J}}
\exp\{\delta_{jt}(\theta_1) + \mu_{ijt}(\theta_2)\}
}
\end{align*}
これを、任意の財$j' \in \mathcal{J}$について考えればよいです。
財の市場シェア
消費者ごとの購買行動データがなければ、$P_{ijt}$をそのままデータと照らし合わせることができません。しかし、$P_{ijt}$をある市場$t$において財$j$を購入した消費者について足し合わせてあげれば、残るのは財$j'$の市場$t$におけるシェアであるため、集計データでもモデルを推定できそうです。
そこで、ここでは消費者$i$に関連する変数$(D_i, \nu_i)$を積分消去し、財の市場におけるシェアと照らし合わせることを考えます。いま、財$j'$の市場$t$におけるシェアのモデル$\sigma_{j't}$を考えると、上の議論から
\sigma_{j't}(\{\delta_{jt}(\theta_1)\}_{j\in \mathcal{J}}, \theta_2)
=
\int \int
\frac{
\exp\{\delta_{j't}(\theta_1) + \mu_{ij't}(\theta_2)\}
}{
\sum_{j \in \mathcal{J}}
\exp\{\delta_{jt}(\theta_1) + \mu_{ijt}(\theta_2)\}
}
dF(D_i)dG(\nu_i)
と書けます。ただし、$F(D_i)$と$G(\nu_i)$はそれぞれ$D_i$と$\nu_i$の分布です。
一般にこの積分を解析的に解くことはできないため、実データや仮定された分布から数値的に計算します。具体的には、$D_i$を実際の消費者属性データから、また$\nu_i \sim \mathcal{N}(0, I)$と仮定して、十分に大きな試行回数$R$をとって
\tilde{\sigma}_{j't}(\{\delta_{jt}(\theta_1)\}_{j\in \mathcal{J}}, \theta_2)
=
\frac{1}{R} \sum_{r=1}^R
\frac{
\exp\{\delta_{j't}(\theta_1) + \mu_{ij't}(D_i^r, \nu_i^r; \theta_2)\}
}{
\sum_{j \in \mathcal{J}}
\exp\{\delta_{jt}(\theta_1) +\mu_{ij't}(D_i^r, \nu_i^r; \theta_2)\}
}
のように計算すれば、モデルに基づいて財$j'$の市場$t$におけるシェアを近似できます。
次回
今回はデータと照らし合わせるためのモデルを用意したので、次はパラメータの推定について考えます。