【４コマ漫画】アンケート作りに失敗したら、データをとり直すしかないんですか！？

大学生の日常をちょっとした漫画にしつつ、ちょいちょい大事なことを伝えられればと思います。ちなみに漫画はコミPo！で作成しました。

【４コマ漫画】必須回答にしていなかった、どうしよう！？

アンケート作りの失敗例

アンケートのデータを使用する卒論の場合、アンケートでどのようなデータが得られるかは、卒論の内容に大きく影響してきます。

しかし、データを集めた後になって、アンケートに関する失敗がみつかったらどうしたら良いでしょうか。アンケートを直して、データを再度集めるしか方法はないのでしょうか。

ここでは、アンケート作りにあたって、どのような失敗があるのかをみていきましょう。大きく、研究内容に関わる失敗、アンケートそのものの失敗、データ収集に関する失敗という３つに分けて説明します。

研究内容に関わる失敗

アンケートの設問に関する問題というよりは、そのアンケートに関して、研究内容そのものに影響を与えるような問題として、以下の３つをとりあげます。

①ほぼ同じ調査がすでにある

アンケートをとった後になって、先行研究で似たような調査が行われていたことに気づいた。しかも、自分が行ったアンケートよりも、対象や項目がきちっとしてる。ということが起こる場合があります。

そうすると自分の研究のオリジナリティがなくなってしまうわけですね。オリジナリティがないと、卒論として認められないケースも出てくるかもしれません。

②分析方法を決めずに作成した

とりあえずアンケートを作成してデータをとった。だけど、どう分析したら良いかわかりません。ということですね。

アンケートを作成する場合、何を知るためのアンケートなのか、そのアンケート結果をどのように処理するのかを事前に決めておく必要があります。

アンケートをとった後に分析方法を考えて、ちょうど良い分析方法が見つかる場合もありますが、どうにも困ってしまう場合もあります。

後で困らないように、アンケートを作成する段階で、分析方法やそれによってどんな結論を得たいのかを考えることが大切です。

③思うような結果にならない

想定外の結果になってしまった、思うような結果にならなかったということです。

質問の意図とは異なる回答が出てきた場合は困りますね。そのデータは扱えない可能性がでてきます。

ただ、できるだけ選択形式の設問にしておけば、このような事態は防ぐことができます。kenky

研究内容に関する失敗では事前準備が大事

研究内容に関する失敗の多くは、先行研究をしっかり調べていれば対処できるものでもあります。だから、学生本人の研究テーマに関する事前調査が、甘いと言われればそれまでかもしれません。

しかし、卒論などで初めて研究に取り組む学生にしてみれば、研究の見通しは持てないことがほとんどです。卒論をとおしてこうした失敗を経験することも学びととらえるのであれば、上記のような失敗が起こることも十分あり得るわけです。

アンケートそのものの失敗

アンケートを作成する際の失敗として、以下のものをとりあげます。

①必須回答にしていない

４コマ漫画にあるとおりです。

GoogleフォームやMicrosoft Formsなどのウェブ上のアンケートツールを使っていれば、必須回答にすることによって、アンケート協力者に確実に必要項目を確実に回答してもらうことができます。

しかし、うっかり必須回答に設定し損なっていたら、欠損値が生じる可能性があります。欠損値に対する対応はけっこう面倒ですからね。欠損値に対してどう考えたら良いかは、【４コマ漫画】欠損値がある人を除外するとデータが減ってしまう・・・。何か方法はないでしょうかをご覧ください。

ウェブアンケートのメリットを活かして、必須回答に設定するようにした方が良いです。

②単一回答と複数回答を間違えた

設問によっては、単一回答が良い場合や複数回答が良い場合もあります。

単一回答と複数回答を間違えるとどうなるでしょうか。単一回答にするべき設問を複数回答にしてしまうと、ありえないデータができてしまうことになります。

例えば、学年をきく設問の回答として、１年生、２年生、３年生、４年生とあったとします。それが複数回答になっていて、１年生と４年生にチェックがついてしまうと、１年生でありながら４年生という、新入生なのか卒業年次生なのか訳が分からない人が存在することになってしまいます。

一方、複数回答にすべき設問を単一回答にしてしまうと、対象者の本来の考えをとらえることができなくなります。

例えば、好きな動物は何かという設問があったとして、その回答として、犬、猫、きじ、さる、へび、・・・などがあったとします。犬と猫が好きなのに、単一回答だった場合、どちらかしか選べないという状態になってしまいます。これは対象者の本来の考えを反映していないことになります。

このように、単一回答と複数回答を間違えてしまうと、最悪、その設問自体を研究から外す必要がでてきます。

③自由記述が多い

自由記述があると、分析のときに困ります。

自由記述の分析方法として、アフターコーディングやテキストマイニングがあります。詳細は、ここでは説明しませんが、アフターコーディングだと労力がかかり過ぎるし、テキストマイニングは専門知識が必要になります。

指導教員がこれらに慣れているならまだしも、そうでなければ卒論の人が簡単に手を出して良いものではありません。

あと自由記述が多いと回答する側も労力がかかってしまうので、恨まれます。

④ダブルバーレルになっている

ダブルバーレルとは1つの設問において2つの内容を聞くことをいいます。

例えば、「この本の説明と主張に納得しましたか？」という設問で、「とても納得した」「納得した」「納得しなかった」「まったく納得しなかった」という選択肢があっても、回答する側が困ってしまうわけですね。

その本の説明はわかったけど、主張は納得できてない、という人はどう回答したら良いでしょうか？　

したがって、ダブルバーレルを避け、１つの設問では１つの事柄だけを聞くようにする必要があります。

⑤似たような質問項目がある

おんなじような内容を言葉を変えて、複数回聞いてしまっているケースです。

単純に無駄だからやめましょう・・・というのもあるのですが、内容は同じはずなのに聞き方によって回答が変わってしまったら、そのデータの扱いに困ってしまいます。

⑥設問の順序に問題がある

ある設問の内容が、その後の設問の内容に影響を与えることがあります。

順序関係に注意して、バイアスがかからないようにする必要があります。

⑦分岐させて比較不能になってしまう

アンケートをとっていると、条件分岐させたくなるときがあります。

例えば、「前の設問で『はい』と回答した人に聞きます」みたいなやり方ですね。「はい」と答えた人と「いいえ」と答えた人でその後の設問が異なるわけです。

この場合、「はい」の人と「いいえ」の人で比較したくなったときに困るケースがあります。

例えば、「カレーライスは好きですか」という設問の後、「はい」の人には、「『はい』と答えた人に聞きます。カレーライスのどこが好きですか」と聞く。

「いいえ」の人には、「『いいえ』と答えた人に聞きます。カレーライスのどこが嫌いですか」と聞く。

データ分析をしているときに、「はい」の人の「カレーライスのどこが好きか」という部分と、「いいえ」の人の「カレーライスのどこが嫌いか」という部分を比較したくなることがあります。

しかし、聞いていることが異なるので、単純に比較することができなくなるわけです。

ちなみに、この場合の比較のしかたについて、カウンター質問対という話もあります。Google Scholarへのリンクをつけるので、調べてみると良いでしょう。

データ収集に関する失敗

データ収集に関する失敗として次のものをとりあげます。

①データをとれる授業があまり残ってない

手っ取り早くデータをとろうと思ったら、授業の前後の学生さんが集まっているタイミングで実施すると良いです。

しかし、アンケートを作ったら、いつでもデータがとれるというわけではありません。

頼めそうな教員に相談してみたら、その教員のもっている授業でデータがとれそうなものが、前期のうちに終わってしまっている、ということもあります。

②実施させてもらうたびに教員から指摘を受けて質問を変えなければならなくなる

A教員の授業でアンケートをとった後に、B教員の授業でもアンケートをとらせてもらおうと思って相談したら、B教員にアンケートの設問について指摘を受け、修正しなければならなくなった。

A教員の授業のデータと一緒にできなくなるかもしれない、という感じです。

③後日持ってきてもらうことにしたら回収できない

例えば、学生の保護者からの回答も必要になり、自宅に持って帰ってやってきてください、みたいな形にしたら、回収率が極端に下がってしまう、ということがあります。

アンケート作りに失敗しないための注意点

アンケート作りに関わる様々な失敗をとりあげました。失敗の内容によっては、研究自体が崩れてしまうような問題が起こることもあります。

ここでは、アンケート作りにおいて、失敗を起こさないための注意点をとりあげます。

アンケートの目的を明確にする

アンケートの目的を明確にして作成します。これは当たり前のことですが、疎かにしがちな部分でもあります。

卒論がなかなか進まなくなってくると、とりあえずアンケート作ってデータとったら、何とかなるだろう的な発想になってしまうんですね。

研究目的から考えて、アンケートで何を調べようとしているのかを明確にします。それがアンケートの目的ということです。

調べようとしていることに関するデータを得るために、以下の２点が重要となります。

①必要な質問が含まれているか

アンケートで知りたいことが設問として含まれているでしょうか。また、その設問はどのように分析するでしょうか。

アンケート結果を分析する場合、設問を１つの「変数」とみなします。設問間の関係を見る場合は、１つの設問を独立変数（因果関係でいうところの原因にあたる）とし、その独立変数によって変化する変数を従属変数（因果関係でいうところの結果にあたる）とみなします。

アンケートで設問間の因果関係をみたいのであれば、独立変数となる設問が含まれているか、従属変数となる設問が含まれているか、ということが大切になります。

また、対象者の属性情報も入れる必要があります。属性とは、性別、年齢、職業などの情報になります。そのような属性のうち、回答に影響しそうな特性はないか、対象者の年齢や知的水準はアンケートを回答できる水準に達しているか、特殊な立場・職業の人であるために回答に影響がでないか、性別によって回答に違い生じないか、などを踏まえ、必要な属性情報を取り入れていきます。

②無駄な質問が含まれていないか

研究目的とは関係のない質問を聞いてしまっていないかを確認することも大切です。

よけいな質問があると、回答に時間がかかってしまうため、対象者を疲労させることになります。

時間を割いて回答してもらうのだから、最大限の配慮が必要です。

設問の回答形式ごとのまとめ方の違いを把握する

設問の回答形式によって、分析方法が大きく変わってきます。それを事前に把握したうえでアンケートを作成することが大切です。

①回答が選択形式の場合の取り扱い

回答が選択形式の場合に、そのデータが、男性・女性などのカテゴリーを表すのか、とてもそう思う・そう思うなどの段階をもつものなのかなどによって、扱い方が変わってきます。

その詳細については、【４コマ漫画】データ分析では数値の扱いに注意！をご覧ください。数値には、名義尺度・順序尺度・間隔尺度・比率尺度というのがあり、どの尺度の組み合わせで分析するのかによって、使用できる手法が異なります。

また、単一回答なのか複数回答なのかにも注意する必要があります。

②回答が自由記述の場合の取り扱い

基本的に自由記述はやめましょう。

回答を選択形式にしたうえで、どうしてもそれではカバーしきれないばあいに「その他」として自由記述にするぐらいが良いでしょう。

ちなみに、自由記述の扱い方として、上述したとおりですが、アフターコーディングとテキストマイニングがあります。

アフターコーディングでは、自由記述の内容を意味の似通ったカテゴリーごとに分類し、コード化する作業をし、その度数を分析するというものです。やっていることは単純なんですが、面倒くさいです。

テキストマイニングは、やるのであれば、KH Coderというソフトを使うと良いです。いつか語りたいと思いますが、ここではこの程度とします。

ただし、もう自由記述でやっちゃって、どう処理したら良いかわからない、という人は、KH Coderというソフトを使ってみると良いと思います。参考テキストを２つ紹介します。

上記のテキストは、KH Coderの開発者である樋口耕一先生が執筆されたものです。KH Coderの解説も参考になるんですが、関係するプラグインなどの情報もあって、それを活用すれば、KH Coderをより便利に使えると思います。

上記のテキストは、KH Coderについて漫画形式で解説しているものです。楽しみながら、導入として勉強するのにはちょうど良いかと思います。

結果をどうまとめるかを計画しておく

結果をどうまとめるかを計画しておかないと、せっかくアンケートをとったのに、適切な分析方法がみつからない、ということが起こり得ます。

アンケートをとる前であれば、分析に見合った設問に修正することができますが、アンケートをとった後だと設問を修正できないので、回答に適した分析方法を無理やり探すしかありません。

データ分析に慣れている人だと、アンケート結果に合わせて適切な分析方法をみつけることが可能ですが、そうでない人の場合は苦しむだけです。

結果のまとめ方については、大きく分けると、設問ごとに集計する単純集計と、設問間の関係をみる分析とがあります。

①質問項目ごとに集計する（単純集計）

各設問のデータの様相を知るのに使います。表やグラフとして表すことによって、データに偏りがないか、予定していた分析が使えそうか、などを確認します。

この単純集計によって、データの様相を把握したあと、次の設問間の関係をみる分析を行います。

ただし、偏りがあったり、極端な数値のデータだったりするなど、そのまま使えない場合は、分析を変えるなどの対応をします。

②設問間の関係をみる

単純集計だけでは研究としては不十分です。メインの分析となるのは、項目間の関係をみる分析です。

上述したように、設問に対して得られた回答データは、名義尺度・順序尺度・間隔尺度・比率尺度のいずれかに分類されます。

独立変数（原因）と従属変数（結果）がこれらの尺度のどれになるのかによって、使用する分析方法は異なります。

尺度と分析方法の関係については、どこかで説明したいとは思いますが、ここでは詳細は控えます。

そのほか入れておくべき大事なこと

①どこで誰にどのくらい回答してもらえるか事前に把握する

現実にどんな対象からアンケートをとれるのかによって、卒論の内容が変わってくることがあります。

例えば、日本と外国の文化の違いについて比較したい、と思ったとします。外国人のデータがどのくらいとれるでしょうか。

考えたいテーマについてアンケートをとるとしても、現実に可能な対象者と照らし合わせて、そのテーマを調整することが大切です。

それとどのくらいの数のデータをとるつもりなのかも考えておきましょう。

②倫理的配慮

アンケートの協力者に不利益がないように調査を行うことが大切です。また、そのような最大限の配慮をしたことを「倫理的配慮」として卒論に記述しておきます。

例えば、以下のような配慮をしておきます。

• 個人情報が特定されないようにしている
• 未回答などがあっても対象者に不利益はない
• 回答をいつでもやめることができる。またその場合にも対象者に不利益はない

いろいろ調べれば他にも出てくるかもしれません。いずれにしても、このような配慮をしておかないと、卒論で「倫理的配慮」の内容を書くことができなくなってしまいます。

なお、アンケートに協力していただくにあたって、対象者から「同意を得た」状態にすることも必要です。これについては、同意書などを作成してサインをしてもらうか、アンケートそのものに「アンケートへの回答をもって同意したものとします」などの記述をしておいたりします。

③回答に対するお礼メッセージを入れる

そのまんまです。対象者は時間を割いてアンケートに協力してくださっています。協力していただいた際、口頭でお礼を言うだけでなく、アンケートの最後にも、協力していただいたことに対して、お礼を記載しておくことが大切です。

それでも失敗した場合の可能な限りの対処法

アンケートで失敗しないための注意点を記載しましたが、それでも失敗が起こることもあります。だから、失敗した場合の可能な限りの対処法についても述べておきます。

何があっても絶対にやってはいけない：データの捏造・改ざん

対処法について考える前に、絶対にやってはいけないのが、データの捏造や改ざんです。

データの捏造や改ざんが見つかったら、卒論の単位は出ないでしょう。でも、そんな個人的な問題だけでなく、もし捏造や改ざんのあった論文が出回ってしまったら、それを参考にした人はウソの情報で研究を進めていくことになります。

時間が経てば経つほど、悪影響が広がっていきます。たかが卒論と思うかもしれませんが、案外その卒論が公開されたりする可能性もあります。

捏造や改ざんなんてしなくても、対処方法はあるんだと信じてください。

なお、「卒論 アンケート 嘘」で検索してみたことがあるんですが、図表を勝手に作って提出したという人や、データを勝手に作ってもバレないですよねなんていう人もいます。挙句の果てには、データの自動作成プログラムをつくって、ドヤ顔している人もいます。

感情的になって申し訳ないですが、許せないです！　だから思わず以下の本を買っちゃいました。

そのうち詳しくとりあげたいと思います。

失敗してもそれに合わせた対処をすること

上述したように、データの捏造・改ざんは絶対にやめましょう。そんなことをしなくても、何らかの対処方法はあるはずです。

卒論に取り組んでいてアンケートで失敗してしまった場合、もともと主張しようしていたことからちょっとズレてしまう、主張できることがちょっとしかなくなってしまう、ということになるでしょう。

しかし、主張したいことを選ばなければ対処方法はおそらくみつかります。ほんのちょっとのことであっても、いえることがあるなら、卒論にはできると考えましょう。データの捏造・改ざんあるいは卒論を諦めるよりはずっと良いはずです。

以下に示す対象方法は、抽象的だし、敷居の高い話でもあります。難しければ、データ分析のプロに助けてもらうなどして、対処すると良いでしょう。

①研究内容に関して

先行研究とほぼ同じアンケートなっている場合は、まずオリジナリティを見いだせないか確認しましょう。例えば、先行研究とは、対象者が異なるのではないか、何らかの条件が異なるのではないか、などです。オリジナリティが見つからなければ、新たなアンケートを加えて、最初にとったアンケートと組み合わせるということも考えましょう。

分析方法を事前に決めてない場合は、まずは何をみたいか目的を明確にします。そして、それを見るための分析方法があるならそれをします。目的に合った分析方法がみつからないない場合は、独立変数を何か指定しましょう。独立変数は、男性群vs女性群、理系群vs文系群などのように群分けをする変数です。この独立変数を何か指定してしまえば、群間比較の分析ができます。

想定外の結果だったり思うような結果にならない場合は、まずはそのまま分析し、研究に課題があったこと・限界があったことを説明しつつ、可能な限りの解釈をしましょう。思うような結果にならない原因を突き詰めると新しい知見が生まれる可能性があります。

なお、思うような結果にならなかった場合の考え方については、【４コマ漫画】統計分析しても有意差を検出できません！どうしたら良いですか？をご覧ください。

②アンケートそのものに関して

使える設問で可能な限りの分析を行います。

欠損値に関わる問題は欠損値対応をしますが、それについては【４コマ漫画】欠損値がある人を除外するとデータが減ってしまう・・・。何か方法はないでしょうかに示しています。

③データ収集に関して

データが少ない場合はできる限り追加で集めます。お金はかかりますが、調査会社に依頼すれば、データは集まります。

どうしてもデータを集められない状況にあり、少ないということであれば、少ないデータでも対応できるような分析を使います。具体的には、間隔尺度や比率尺度による分析ではなく、順序尺度による分析を用いるという感じです。

また、データが少ない場合は、効果量というものを算出し、分析結果について、有意差と効果量を組み合わせて解釈することで対処できる場合があります。

まとめ

この記事では、卒論で作成するアンケートの失敗例やアンケート作成上の注意点を説明しました。

でも、文字数が10000字を超えてしまいました・・・。アレもコレも書かないとと思ったら、長文になってしまったんです。良いこととは思えません。もう少し伝えたいことを絞ったり、記事を分けるようにした方が良い気がします。

この字数だと最終的には疲れ果てちゃって、「失敗してもそれに合わせた対処をすること」については詳細に書く気にならなくなってしまいました。

もう少し記事の作り方などを考え直したいと思います。まとめになってない・・・？