【４コマ漫画】欠損値がある人を除外するとデータが減ってしまう・・・。何か方法はないでしょうか

欠損値（欠測値）とその種類

欠損値とは、調査対象者から得られたデータのうちの一部が無回答となっていることです。欠測値ともいいます。欠損値があると、統計処理で必要なほとんどの計算ができなくなってしまいます。平均値の計算すらもできません。

そのため、欠損値を含む対象者のデータを丸ごと削除（リストワイズといいます）して、残ったデータのみで分析をすることがあります。しかし、削除された側のデータが何らかの重要な意味を持つデータだった場合、その情報を失ってしまうことになりますので、リストワイズによって残ったデータのみで分析すると、正しい結果にならないこともあるわけです。

欠損値にはその発生メカニズムの違いによって、３つの種類があります。

• 完全にランダムな欠損・・・Missing Completely At Random（MCAR）といいます。データが欠損するかどうかが、いずれのデータにも依存しないことを意味します。単なる記入漏れなどが当てはまるようですが、MCARは実際の調査においてはあまり起こらないケースのようです。なぜでしょうか。多くの欠損値は何らかの別の要因によって起こっていることが多いからです。その別の要因というのが、すでに観測できているデータであるか、観測できないデータであるかによって、MARとMNARに分類されます。
• 観測データに依存した欠損・・・Missing At Random（MAR）といいます。データが欠損するかどうかが、観測できている他のデータのみに依存していることを意味します（観測した他のデータが欠損の有無について手がかりをもっているということ）。知能が低くて問題文の意味がわからず無回答というケース（この場合、「知能」というデータに依存して、欠損が起こる）が当てはまります。
• 欠損データに依存した欠損・・・Missing Not At Random（MNAR）といいます。あるデータが欠損するかどうかは、欠損したデータに依存していることを意味します。点数が低くてやる気を失って途中でやめたためにその点数が観測されないなどがあてはまるようです（欠損の手がかりが欠損したデータそのものにある）。また、欠損したデータと観測したデータの両方に依存する欠損も、MNARにあてはまります。

ちなみに、ここで説明した内容は、宇佐美・荘島（2015）をもとにしたつもりですので、そちらもご確認いただければと思います。

欠損値への対処法

欠損値への対処方法としては、例えば以下のようなものがあります。なお、いくつかの対処法については、清水先生のサイトでシミュレーションが行われています。

• リストワイズ・・・単純に欠損値が含まれる調査対象者のデータを丸ごと除外するというものです。欠損がMCARによるのであれば、データをリストワイズ削除しても良いようですが、単純にデータが減ってしまうため、統計で得られる推定値の精度が悪くなります。
• ペアワイズ・・・相関などのように２変数の関係を出す場合に、欠損が含まれない変数の組み合わせのみ計算するということです。
• 平均値や中央値による補完・・・欠損していないデータの平均値や中央値を欠損部分に入れる方法です。MCARであれば、平均値などにはあまり影響がないようですが、平均値を維持してデータ数を増やすので標準偏差は小さくなりそうです。また、MARとMNARの場合は、平均値なども偏った値になるようです。
• 多重代入法・・・何らかの予測によって得た値で欠損箇所を補完したデータセットを20～100セット作り、それぞれで推定値を算出し、統合するという感じです。MCARだけでなく、MARの場合にも適切な方法とされています。
• 完全情報最尤法（FIML）・・・欠損データを含んでいても、それ以外のすべての情報を活用して、推定するというものですが、詳しいやり方はわからないです。こちらもMARの場合にも適用できる方法となっています。

欠損値の種類がMCARでない限り、多重代入法と完全情報最尤法を使うのが一番ということになります。なお、MNARではどうしたら良いかですが、清水先生のサイトによると、観測データを増やすことによってMNARをMARに近づけることができ、多重代入法や完全情報最尤法を適用できるということです。結局のところ、これら２つの方法を使うのが一番ということです。

それにもかかわらず、欠損値のある人のデータをまるまる削除（リストワイズ）したり、平均値とかで補完してしまうという方は多いです。これらは、エクセルでも簡単に対処できるやり方ですからね。

実は、大学教員とかでその人の専門分野では著名な人であったとしても、欠損値に対する対処として、リストワイズ削除や平均値代入をする先生がいます。

私も欠損値への対応に詳しいわけではありませんが、統計ソフトによっては、ほんの少し手を加える程度で多重代入法や完全情報最尤法を実施してくれるものがあります。ほんの少し勉強するだけで、適切な対処法を学んだ方が良いです。