좋은 설문조사를 디자인하는 방법(가이드)

__목차__

좋은 설문조사를 만들기 위한 간단한 가이드

LimeSurvey를 사용하면 설문조사를 매우 빠르게 구성할 수 있습니다. 불행하게도 이는 잘못된 설문조사도 매우 쉽게 만들게 합니다.

이 페이지에서는 청중이 손쉽게 완료할 수 있을 뿐만 아니라, 의미 있는 답변도 제공하게 하는 설문조사를 작성하는 간단한 가이드를 찾을 수 있습니다.

블로그"설문조사 디자인 팁 및 요령"에서도 매우 유용한 정보를 제공합니다.

설문조사를 하기 전에

설문지를 디자인하기 전에 몇 가지 중요한 질문에 답해야 합니다. 실제로는 설문지가 올바른 방법인지 결정하기 전에도 마찬가지입니다.

연구를 통해 정말로 알고 싶은 것이 무엇인가요?

해당 질문에 답한 후 다음을 질문하십시오:

• 설문조사가 연구에 필요한 정보를 얻는 데 도움이 됩니까?
• 질문하기에 적합한 사람은 누구입니까? 설문조사를 완료하려면?
• 적절한 사람들에게 어떻게 연락할 수 있나요?
• 설문조사를 완료하게끔 사람들이 질문을 완전히 이해하도록 돕는 가장 좋은 방법은 무엇입니까(얻은 정보가 정확하고/유용하도록)?
• 데이터가 수집된 후 데이터 분석을 위해 어떤 통계적 방법을 사용하고 싶거나 사용해야 합니까? ?

다음은 LimeSurvey가 귀하에게 적합한 도구인지 결정할 때 명확한 답변이 필요한 몇 가지 질문입니다.

LimeSurvey는 대단히 구조화되고(인터뷰를 시작하기 전에 물어봐야 할 모든 질문을 알고 있음), 표준화된(모든 사람이 어느 정도 동일한 설문지를 받음), 대부분 정량적(주로 숫자 또는 사전 정의된 답변이 있는 질문에 관한 것)인 온라인으로 수집된 질문지입니다.

물론 어느 정도는 이와 다를 수 있습니다. LimeSurvey를 사용하여 일부 유형의 전화 인터뷰에 대한 답변을 수집할 수 있습니다. 또한 LimeSurvey를 사용하여 텍스트 질문 등을 통해 정성적 데이터를 수집할 수도 있습니다.

그러나 어느 시점에서는 다른 조사 방법이 더 적합하다는 결론에 도달할 수도 있습니다.

설문지 구조화

질문 순서와 그룹화 방법을 결정하려면 고려해야 할 몇 가지 측면이 있습니다.

가능하다면 대답하기 쉽고 모든 참가자가 편안하게 대답할 수 있는 질문부터 시작하세요. 대개 이는 선별(screening) 질문입니다. 즉, 적절한 사람에게 질문하고 있는지 확인하기 위해 물어봐야 하는 질문입니다(conditions 및/또는 quotas 을 사용하세요).

이러한 유형의 질문을 처음에 넣으면 참가자가 설문조사를 완료하기 전에 설문조사를 떠나는 것을 방지하는 데 도움이 될 수 있습니다. 사람들이 이미 이러한 도입/선별 질문에 답변하기 위해 일부 작업을 수행한 후에는 설문조사를 종료할 가능성이 낮아질 수 있기 때문입니다.

예:

 다음 중 어떤 과일을 좋아하시나요?
#사과 ()
#바나나 ()
#체리 ()

(단일 선택)

참가자가 '체리'를 선택한 경우 조건을 사용하여 체리에 관한 다음 질문이 나타나도록 할 수 있습니다.

왜 체리를 선택하셨나요?
#맛있습니다
#색깔이 맘에 듭니다
#건강에 좋습니다
#과즙이 가득합니다
#체리 파이를 좋아합니다

(다중 선택(또는 단일 선택, 정확한 데이터가 필요한지에 따라 다름) 질문)

How much do you like cherries?
#1) Not much more than other fruit
#2) Like them more than other fruit
#3) It's one of my favourite fruits!
#4) I ADORE CHERRIES!

(단일 선택)

체리를 이용한 요리법을 아시나요?

[텍스트 필드]

위는 주요 질문이 따라오는 대답하기 쉬운 도입 질문의 예입니다.

목표는 체리, 사과, 바나나로 조리법을 모으는 것이었습니다.

반면, 답변하기 어려운 질문을 해야 한다면 각 질문이나 질문 그룹마다 다른 페이지를 사용하고 마지막에 이러한 답변하기 어려운 질문을 넣는 것을 고려해 볼 수 있습니다. 이렇게 하면 참가자가 설문 조사를 완료하지 않기로 결정한 경우 최소한 이전 응답은 저장됩니다.

구조와 관련하여 고려해야 할 또 다른 사항 - 질문지 자체에서 발생하는 편견을 피하십시오.

예를 들어, 시장 연구에는 비보조 질문과 보조 질문이 필요한 개념이 있습니다.

비보조 질문의 예는 다음과 같습니다:

"어떤 브랜드의 초콜릿과 친숙한가요?"

(다음에는 빈 텍스트 상자가 옵니다)

다음은 보조 질문의 예입니다:

"다음 중 당신에게 친숙한 초콜릿 브랜드는 무엇입니까?"

(다음에 브랜드 목록(객관식))

이전에 언급한 바와 같이 동일한 설문지에 두 가지 유형의 질문(보조 및 비보조)을 모두 포함하기로 선택한 경우 해당 질문을 서로 다른 페이지에 배치하고 보조 질문 앞에 비보조 질문을 배치해야 합니다. 비보조 질문 앞에 보조 질문을 놓으면 의도치 않게 참가자의 응답에 영향을 주어 결과가 무효화될 수 있습니다.

개별 질문

질문은 유도적이지 않아야 합니다. "LimeSurvey에 대해 어떻게 생각하시나요?"는 수용 가능한(비-유도적) 질문입니다만 "LimeSurvey가 정말 훌륭한 도구라는 점에 동의하지 않습니까?"라는 질문은 유도적인 질문입니다.

표현 질문에 대한 다른 사례와 제안:

사람들은 다음과 같은 질문을 받으면 기부에 대해 '예'라고 대답할 수 있습니다.

• 자연을 사랑하시나요?
• 강을 돕기 위해 돈을 기부하시겠습니까? ?

이런 식으로 질문을 하면 그들은 아마도 '아니요'라고 대답할 것입니다:

• 돈이 부족해서 문제가 되나요?
• 강을 돕기 위해 돈을 기부하시겠습니까?

적절한 답변을 구하는 데 도움이 되도록 질문 순서를 정하세요:

• 가장 덜 민감한 것부터 가장 민감한 것으로
• 일반적인 것부터 더 구체적인 것으로
• 사실에 관한 질문부터 의견에 관한 질문으로

또한 설문조사 질문은 다음과 같을 수 있습니다:

• 개방형(사람이 자신의 말로 대답함) 또는
• 폐쇄형(사람이 제한된 수의 옵션에서 선택함)

폐쇄형 질문은 분석하기가 훨씬 쉽지만 응답자가 실제로 원하는 답변을 제공하지 못할 수도 있습니다.

예: "가장 좋아하는 색깔은 무엇입니까?"

개방형: 누군가가 "진한 자홍색"이라고 대답할 경우, 결과에 "진한 자홍색"이라는 카테고리가 필요합니다.

폐쇄형: 선택할 수 있는 색상이 12가지뿐이므로 작업이 더 쉬워지지만 응답자가 정확히 좋아하는 색상을 고르지 못할 수도 있습니다.

각 질문을 신중하게 고려하고 개방형인지 폐쇄형인지 결정하십시오. 응답에 대한 더 깊은 통찰력이 필요한 경우 개방형 질문을 사용하십시오. 그렇지 않은 경우 폐쇄형 질문을 사용할 수 있습니다.

예시(개방형): "강을 청소하는 가장 좋은 방법은 무엇이라고 생각하십니까??"

개방형 질문으로 만드세요. 답을 표나 그래프로 표현하기 쉽지는 않겠지만, 강이나 환경 정화에 대한 사람들의 감정과 생각을 깊이 있게 이해할 수 있고, 보도에서 직접 인용문을 사용할 수도 있습니다.

예시(폐쇄형): "당신은 얼마나 자주 강을 방문하시나요?"

다음 옵션을 사용하여 폐쇄형으로 만드십시오:

• 거의 매일
• 1년에 최소 5회
• 1년에 1~4회
• 거의 전혀 없음

이 데이터를 깔끔한 막대 그래프로 표현할 수 있습니다.

객관식이나 단답형 질문을 할 때는 적절한 질문 유형을 선택하고 질문과 답변을 적절히 구성해야 합니다.

예를 들어:

다음 과일 중 어떤 것을 좋아하시나요?
#사과()
#바나나()
#체리()

위의 질문은 전형적인 다중선택 질문으로, 목록에 있는 여러 항목을 좋아할 수 있습니다. 반면에 "다음 과일 중 어떤 것을 가장 선호하십니까?"는 단일 선택형 질문입니다.

두 과일 예는 모두 귀하의 관심사가 나열된 과일에만 있다는 것을 명확히 하기 위해 공식화되었습니다. "가장 좋아하는 과일은 무엇입니까?"라고 묻는 경우 과일에 대한 정말 철저한 목록을 작성하거나 LimeSurvey의 설정을 사용하여 "기타" 필드를 추가해야 합니다. 일반적으로 대부분의 경우 답변 옵션은 완전하고 상호 배타적이며 명확해야 합니다.

선택할 수 있는 옵션이 많은 다중 또는 단일 선택형 질문이 있는 경우, 참가자가 중간에 있는 옵션이 아닌 맨 처음 옵션에 주의를 기울일 가능성이 높기 때문에 다른 편향이 발생할 수 있다는 점을 알아야 합니다. LimeSurvey는 질문 순서를 무작위로 지정하고 어느 정도 이 문제를 제거하는 훌륭한 옵션을 제공합니다.

좋은 설문조사란 무엇인가?

설문조사에는 보다 정확한 평가를 위해 필요한 적절한 응답을 이끌어내는 데 도움이 되는 3가지 특징이 있습니다.

1. 질문이 명확하고 정확하여 전체적으로 자세하고 모호하지 않으며 의미 있는 답변이 가능합니다.
2. 제공된 모든 미리 정의된 답변과 해당 형식은 질문에 적합합니다.
3. 필요한 경우 사람들이 추가 정보를 추가할 수 있는 여지가 있습니다.

여기에 더해, 항상 사용자 경험을 염두에 두십시오.읽기, 스크롤, 클릭은 피곤한 활동입니다.따라서:

1. 불필요한 질문을 피하십시오.
2. 특정 참여자와 관련이 없는 질문을 하지 않도록 조건을 사용하십시오.
3. 질문과 답변을 짧고 읽기 쉽게 유지하십시오.적절한 마크업을 사용하십시오.
4. 스크롤과 클릭 간의 균형에 대해 생각하십시오.짧은 설문지의 경우 모든 것을 한 페이지에 표시하십시오(질문의 복잡성에 따라 5-15개 질문).긴 설문지의 경우 그룹을 현명하게 사용하십시오.즉, 질문을 이해하기 쉽게 그룹화하십시오.그룹 설명을 사용하여 다음 질문의 주제에 대한 명확한 진술을 제공하십시오.
5. 다른 척도로 참여자를 혼란스럽게 하지 마십시오.즉, 가능한 한 다른 척도 유형, 척도 범위 및 다른 척도 설명의 양을 제한하십시오.척도의 방향을 변경하지 마십시오.(일부 방법론적 예외가 있습니다).
6. 평가 척도의 경우 응답자의 의사 결정을 더 쉽게 하기 위해 짝수의 평가 옵션을 사용하는 것이 유용할 수 있습니다(아래 참조).

무엇이 얼마나 '좋은지'에 대한 답변 척도의 예:

1. 아주 좋음

2. 좋음

3. 꽤 좋음

4. 그렇게 좋지 않음

5. 나쁨

6. 매우 나쁨

무언가가 얼마나 '나쁨'인지에 대한 답변 척도의 예:

1. 좋음

2. 공정함

3. 나쁨

설문조사를 설계하는 가장 좋은 방법은 이상적인 피드백을 상상하는 데 잠시 시간을 갖는 것입니다. 의미 있는 응답이 가장 유용하다는 것은 말할 것도 없으므로 이러한 답변을 유도하는 질문을 만들어 보세요.

어떻게 할 수 있을까요? 가장 좋은 방법은 모든 영역을 분리하고 어떤 정보가 필요한지 결정하는 것입니다.

예를 들어, 대중에게 공개된 행사를 열고 행사에 대한 일반적인 피드백을 받아야 한다고 상상해 보세요.

다음 설문조사는 유용한 응답을 이끌어내기에 부적절할 수 있는 설문조사의 한 예입니다.

행사가 즐거웠나요?

( ) 예

( ) 아니요

와이파이(Wi-Fi)는 얼마나 좋았나요?

1 2 3 4 5 6 7 8 9 10

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

행사장에 오는 데 문제가 있었나요?

( ) 예

( ) 아니요

제공된 지도가 도움이 되었나요?

( ) 예

( ) 아니요

발표자들의 구성에 대해 어떻게 생각하시나요?

( ) 매우 슬퍼요 ( ) 슬퍼요( ) 보통이에요 ( ) 행복해요 ( ) 매우 행복해요

위의 시나리오에서는 행렬식 문제가 더 나은 선택일 것입니다.

배열 질문.

As a general rule, scales should only be used for questions pertaining to age, time (maybe), or quantities. Matrix questions have to be worded properly in order to obtain the most useful feedback. Keep in mind that a matrix of compulsory questions can be a bit of a deterrent for your audience because, when not structured properly, they do not allow for any extra information to be gathered.

Chances are if someone is completing your survey, they want to give feedback, and if they don't think they can share anything useful, they'll just close the window and move on.

So what's wrong with the survey above?

Let's look at each question one by one.

Question 1 doesn't really achieve anything. Imagine receiving 100 "no" responses. The response alone does not provide any useful information as to why the participant did not enjoy the event. You would be left wondering about the reason for the "no" responses and also left wondering what to do with the responses. We'll look at a possible improvement to this in a moment.

Question 2 is worse than the first. Referring back to the 3 features of a good survey, we see that questions need to be clear and precise. I'm not an expert in Wi-Fi, but I'm fairly certain that there are better ways of measuring this. What's more, it doesn't allow for a meaningful answer to a question like, "What will you do with the knowledge that 33% of people rated your Wi-Fi as being good vs only 23%?" The 3 features of a good survey also states that the predefined answers need to be appropriate for the question.

It's fairly obvious that using a scale for this question won't help you improve on the quality of your Wi-Fi. There is a definite need for this question to have space for people to add additional information. How could someone report a specific problem without being able to elaborate?

In this case it would be almost impossible to have enough information to properly address the issues that the participant(s) had with the Wi-Fi. Surveys are all about obtaining useful information that you can work with or learn from.

Questions 3 & 4 would have the same results as the first two questions. They only allow for a "yes" or "no" response, and neither provides an opportunity to add details. We provide suggestions after this section on how to improve on these types of questions.

Question 5, the final question, is another ineffective one. Asking for the level of satisfaction about something is not very useful, as every person has different interests, and so everyone will likely have different opinions about each speaker. It's another example of where a "scale" question is being used and shouldn't be.

Have a look at the improved survey below.

Did you make use of the in-house Wi-Fi?

( ) Yes

( ) No

Did you experience any problems with the Wi-Fi?

( ) No problems at all

( ) A couple of small issues, nothing major

( ) One or two severe issues

( ) The Wi-Fi was almost totally unusable.

If you experienced problems, could you briefly describe them? (Text field)

Did you have any problems getting to the event?

( ) Yes

( ) No

How did you come to our event?

( ) Train

( ) Car

( ) Bus

( ) Light Rail (IE Tube, Tram)

( ) Walk

Did you use the map from our website?

( ) Yes

( ) No

If you looked at the map, was it detailed enough?

( ) Yes

( ) It gave me a rough idea.  I used another map for more detail though.

( ) Not detailed at all

If you didn't use the map, why not?

( ) Not enough detail

( ) I used a satnav/Google maps instead.

( ) I didn't even know it existed!

Generally speaking, were the speakers interesting? Did you enjoy the presentations?

( ) Nearly all were interesting and thoroughly enjoyable

( ) Mainly enjoyable, but a handful of less interesting talks.

( ) A 50 - 50 split

( ) More dull than interesting

( ) Didn't find any interesting

Please elaborate on your answer to the question above. Feel free to reference any

particular people/talks. (Text field)

If we could improve the range of talks, or you have any other interesting ideas regarding

the talks, list them below (Text field)

If you have any other recommendations or ideas, please list them below. (Text field)

This survey may be a little longer, but it is a lot easier to answer and interpret the responses. Asking two or three questions about each of the topics means that, when it comes to processing the results, you can do a little more analysis. For example, imagine that in response to the first survey question you received 30 people saying they had problems making it to the event.

This would have been as much information as you could extract from the results, but with the new set of answers it would be possible to deduce which forms of transport presented people with problems. What's more, you could go on to see whether they were using the map provided or another form of navigation, and use this to target improvements in the future.

Keep in mind, that after 50 questions, the user is most likely to stop reading

Other important additions are the text field questions. These allow your participants to give specific feedback which you can draw from. It's a good idea to not make these compulsory, as they may put people off answering.

To conclude, when writing a survey, you should aim to create one that asks specific questions to obtain more useful information for analysis. Also, remember that it is helpful to gather a little extra background information, as it can be used to better analyze the responses.

It is also important to phrase your questions properly. If people need to answer the questions, and they don't understand them they will close the window and move on. If possible, have someone else proofread your survey before making it publicly available to ensure that the questions are clear.

Survey Bias

In conducting market research, an important key in obtaining unbiased responses is to avoid asking survey participants questions that may influence the responses they provide. Avoiding survey bias helps eliminate responses that may invalidate or skew the data collected. It is quite easy and common for a company or individual without the proper market research training/knowledge to err in this way.  This applies to many things, such as the way a question is phrased, to the types of responses that are available to choose from, to the way that an interviewer presents the questions if data is being collected by phone or in-person.

다음은 편향된 질문의 예입니다:

행사를 얼마나 즐겼나요?

( )매우 많이

( )그냥 조금

( )별로 없음

( )전혀 그렇지 않음

언뜻 보기에 이 질문의 구조에는 문제가 없는 것처럼 보입니다. 결국 응답자는 "매우 많이"에서 "전혀 그렇지 않음"까지 선택할 수 있습니다. 그러나 문제는 질문의 표현 방식에 있습니다. 참가자에게 "얼마나" 이벤트를 즐겼는지 묻는 것으로 설문 조사를 실시하는 사람은 응답자가 어떤 식으로든 이벤트를 즐겼다고 가정하여 이미 편견을 확립했는데, 그렇지 않을 수도 있습니다.

다음 예는 참가자의 응답에 영향을 미치지 않는 방식으로 질문하는 더 나은 방법입니다.

행사에 대한 전반적인 즐거움을 1~5점 척도로 평가해 주십시오: 1 = "전혀 즐기지 못함", 5 = "완전히 즐김"

1 2 3 4 5

( ) ( ) ( ) ( ) ( )

질문을 다시 표현하면 응답자는 즐거움 수준을 쉽게 지정할 수 있는 척도를 사용하여 답변할 수 있으며, 설문 조사를 실시하는 사람이 결과를 표로 정리하고 다른 응답자와 비교하기 쉽습니다. 물론, 참가자가 즐겼거나 즐기지 못한 것에 대한 구체적인 내용을 수집하기 위해 더 많은 질문을 추가해야 합니다.

이는 문구를 약간만 바꿔도 설문조사의 질을 어떻게 개선할 수 있는지 보여주는 한 가지 예일 뿐입니다.