測定できるものが必ずしも測定に値するものとは限らない

問題は測定ではなく、過剰な測定や不適切な測定だ。測定基準ではなく、測定基準への執着なのだ。

心理学と経済学の分野では大々的な研究が行われていて、測定基準に対する報酬の根拠や有効性に疑問を投げかけているにもかかわらず、それらの書物は測定基準への執着が蔓延するのを止める役にはほとんど立っていない。

こんな冒頭で始まる一冊です。読んでて思ったことのメモを書いていきます。

1 簡単な要旨

「数えられるもの全てが重要なわけではなく、重要なもの全てが数えられるわけではない」
- 例えば企業のMBOを例にとると
  - 個人の成績は標準化されたデータ（測定基準) と相対的実績によって評価可能である
  - それらの測定基準を公開することで組織は説明責任を果たしていると盲信する
  - 報酬や懲罰に紐づけることで個人の動機づけが可能だと盲信する
    - 実際にこうしている企業は多そう
キャンベルの法則、グッドハートの法則
- ↑で挙げたような指標や評価の仕方を社会的な意思決定 (政治や警察、学校など) に使われれば使われるほど汚職によって腐敗していくというもの
- 「管理のために用いられる測定は全て、信頼できない」

2 繰り返す欠陥

一番簡単に測定できるものしか測定しない
- 簡単に測定できるものは重要でないことがほとんど
成果ではなくインプットを測定する
- 結果ではなくプロジェクトに投入された金額を測定してたり
標準化によって情報の質を落とす
- インシデントをその詳細情報ではなく危険度のレベルで表そうとすと、事態を軽く見せるような改竄が起きたりする
上澄すくいによる改竄
- 死亡率の高い手術を避け続けた医者の評価が高くなってしまう現象
基準を下げることで数字を改善する
- 合格基準を下げることで合格率を上げる
不正行為
- 生徒の学力をよく見せるために教師が解答用紙を改竄する

3 測定及び能力給の話

テイラー主義
悪名高いやつ。これのアンチとしてTPSは生まれたんだっけ？
軍事力を測定可能なものにしようとする誤謬
- 空爆の出撃回数、球の数、死者数
  - そんなもので成果は測れない (これらはむしろ結果ではなくインプット)
- 「前線のない戦争において、前進を測る唯一かつ真実の測定は政治的で定量不可能なものでなくてはならない。それは、戦い続けようという敵の意志に対する打撃だ」

4 測定基準がなぜこれほど人気になったのか

「役人たちはもはや自らの最善の判断に基づいて行動することが許されなくなる」
- 測定と説明責任から逃れられなくなった結果、本質を見失ってしまう
- 過剰な透明性の要求
その抗い辛い魅力
- 「スプレッドシートはツールだが世界観でもある...コンピューターの中で実際にビジネスを複製することはできない。複製できるのはそのビジネスのさまざまな側面だけだ。無形の要素は、そう簡単には定量できない」

5 プリンシパル、エージェント、動機づけ

納税者は学校、大学、病院、政府機関、慈善団体をどう評価すればよいか？
- 本来、損益や金銭では測れない価値を提供すべき機関
- 同時にまた、わかりやすい指標で評価もするべきではない
  - 例えば学校の評価をテストの正答率で測ろうとすればそこにはハックが生まれる
  - 良い行いを教える、世界に対する好奇心を掻き立てる、独創的な思考を育むといった測定できないような教育にこそ本当の価値があるのではないか
- 実際には我々市民の測りたい欲求から逃れられず、金銭的な報酬・懲罰や過剰な透明性を要求する施策が行われた
  - ニュー・パブリック・マネジメント
実際には企業のオーナーは従業員のアウトプットの多様性から利益を得ており、数字化してはっきり見えるものではないという研究もある
- R.Gibbons Incentives in Organizations (1998)
- 組織が依存しているのは従業員とのエンゲージメントであるとの論も

6 哲学的批判

合理主義者は正当な知識を技術的知識が唯一のものとするが、実践的知識なしにその活用はあり得ない
- 料理を例にとると
  - 技術的知識: レシピ
  - 実践的知識: 「卵を立てる」「泡立てる」といった作業の実際
「効率は常に目の前にあるたあ相性と比較されるものだ。ビジネスにおいては、生産に用いられる要素に対する見返りが比較可能な別の見返りよりも大きい場合、より効率が良いと言える。だが大学はビジネスではない」

7 大学

国民の大学進学率を押し上げようとする背景が、進学率がGDPの向上につながるというもの
- 実際にはこれは怪しいという研究がなされており、全体の進学率ではなくトップクラスの業績による部分が大きいとのこと
- 結果、大卒者の収入は下落し、専門職の人手不足が起きている
  - これは政策として正しいのか？
大学の実績を測定しろというプレッシャー
- 測定基準にまつわる取り組みにかかった費用はイギリスだけでも2億5000万ポンド (2002年. 当時のレートで約470億円)
  - 本当にそんなコストをかける価値がある測定ができているのか
  - 無論そんなことはなく測定のための測定にコストがかかっているだけ
教職員や学部の評価について
- 論文の掲載数で評価した時代があった
  - 数を稼ぐために中身の薄い論文が乱発された
- この失敗から引用数 (=インパクトファクター)で測るようになった
  - しかし、この方法では同じ論文を肯定的に引用する場合も否定的に引用する場合も同様のインパクトファクターとなる
    - 測定の体を成さないことになる
  - また、「キャンベルの法則」により、協力者同士の引用でスコアを上げようとする動きも
- 結局論文の価値はその論文を読むことでしか本当にはわからない
学生に適切なケアをできる大学は定着率・卒業率が高い
- これ自体は良い指標と言える
- 低所得層の学生を受け入れている大学でこの値が低い
  - これはケアが悪いのではなく学生自身の困難な環境に起因している
  - 本来、こういった測定結果の背後にある理由を知れるようにあるべき
    - 似たような事象で貧困地域の病院が再入院率が高くなるということにペナルティを科すべきではない

8 学校

NCLB法 (落ちこぼれ防止法) について
- 施行から10年以上経っても功績がはっきりしない
- わかりやすい問題点として
  - テストされる教科だけを学ばせるような偏重が起きる
  - 更に、テストに特化した授業になり本来の教えられるべきだったことが備わらない
    - 短文のマークシートの得点は良いが長文読解ができない
- なぜこのようなことが起こるか
  - テスト自体は本来有用なもの
    - きちんとした教育のカリキュラムとテストが組み合わされば
  - 問題は、テストの結果を学校や教師のインセンティブや懲罰と結びつけたこと
    - よりよく見せようというハックがここから始まる
      - 対象者の選別、改ざん、合格ラインの引き下げ。。
学力格差は生徒の出自(環境要因)によるところが大きいという研究結果
- すなわち、過剰なまでの測定 (と、インセンティブ)をしたところでそもそも意味はないのでは？という提言
  - こういった不平等な事実に正面から向き合えないアメリカ
生徒の成績によって自身の評価が決まることに教師としてどう向き合うか
- テストでいい点を取るように教えること
- 報酬を決定する狭い基準に合わせること
- 結果、優秀な人間ほど説明責任を問われない私立学校へ流れていく (USでは公立学校に重い説明責任が課される)

本当はこの後も面白い章が続いてマークしてあるんですが、まとめてると時間が過ぎて行きそうなので一旦ここで公開します。

正直、一番大事なのは冒頭の

問題は測定ではなく、過剰な測定や不適切な測定だ。測定基準ではなく、測定基準への執着なのだ。

という一節ですね。
何を理由に何を測ろうとしているのか、測ることによって本当に達成すべき目標に届くのか。
あるいは、その過程で別の方向に捻じ曲げるような目的と結びついていないか。

そのような観点を豊富なケーススタディから学べる一冊なので、気になった方は是非ご一読を。