정말 응답률 15%이하 여론조사는 발표를 하지 못할까?

[서울대언론정보연구소]이재명 “미국에선 응답률 15% 이하 여론조사는 발표 못 하게 한다” 는 거짓

SNU 팩트체크 : 네이버 뉴스 (naver.com)

SNU 팩트체크

SNU 팩트체크는 언론사들이 검증한 공적 관심사를 국민들에게 알리기 위해 서울대학교 언론정보연구소가 운영하는 정보서비스입니다.

news.naver.com

SNU 팩트체크는 정보 이용자들의 공적 사안에 대한 지식과 이해 증진에 기여하는 것을 목표로 합니다. 서울대학교 언론정보연구소는 각 언론사가 팩트체크에 참여할 수 있도록 플랫폼을 개발하고 운영하며, 제휴 언론사들은 각 사가 독립적으로 판단해 취재하여 검증하고 판정한 결과를 SNU팩트체크 플랫폼에 게시합니다. 제휴언론사들은 검증과정에서 자체 결의한 「SNU팩트체크 원칙」을 준수합니다.

 

[요약]

• 이재명 후보는 “미국에선 응답률 15% 이하 여론조사는 발표 못 하게 한다”고 주장했지만 이는 사실과 다르다.
• 미국의 경우 우리나라와 달리 정부 차원에서 별도의 여론조사 심의 제도를 운영하고 있지 않다.
• 미국여론조사협회에서는 여론조사 결과 발표 시 함께 공표해야 할 11가지 사항을 권고하고 있지만 응답률은 해당하지 않는다.
• 다만 CNN처럼 언론사나 협회에서 선거여론조사를 무분별하게 보도하지 않겠다며 자체 기준을 정하는 경우는 있다.

[검증 대상]

“미국에서 10%인가 15% 이하 응답률 여론조사는 발표를 못 하게 하고 있다“는 더불어민주당 이재명 인천 계양을 후보 발언

[검증 방법]

중앙선거여론조사심의위원회 2022선거여론조사가이드북·제7회 전국동시지방선거 선거여론조사백서·제20대 국회의원선거심의백서·제21대국회의원선거여론조사백서·제21대 국선 대비 선거여론조사 객관성·신뢰성를 위한 세미나 자료집 등 검토

미국여론조사협회(AAPOR) 여론조사 공표 체크리스트 및 CNN 보도 확인

선거여론조사기준개정방안연구최종보고서(2021.8, 한국정당학회) 확인

선거여론조사의 객관성·신뢰성 제고를 위한 조사방법론 개선방안 연구(2019.10, 한국통계학회) 확인

국회 의안정보시스템 ‘[2014060] 공직선거법 일부개정법률안(오신환의원 등 11인)’ 검토

공직선거법 검토

한국언론진흥재단 신문과 방송 546호 검토

중앙선거여론조사심의위원회·한국갤럽 관계자 인터뷰

조진만 덕성여대 정치외교학과 교수·이준웅 서울대 언론정보학과 교수 인터뷰

이재명 후보 챔프 측 최지용 공보지원팀장 인터뷰

[검증 내용]

인천 계양을 국회의원 보궐선거에 출마한 더불어민주당 이재명 후보는 24일 KBS 라디오 ‘최경영의 최강시사’에서 “ARS(전화자동응답) 조사는 응답률이 1∼2%대에 불과해 정확도가 매우 떨어지고 적극적인 사람들만 받는다”며 “미국에서 10%인가 15% 이하 응답률 여론조사는 발표를 못 하게 하고 있다. 워낙 악용이 많이 되니까”라고 말했다.

이는 최근 일부 여론조사에서 이 후보의 지지율이 국민의힘 윤형선 후보에 역전당한 것으로 나온 데 대해 현장의 반응은 다르다는 점을 강조하기 위해 나온 발언이다.

앞서 여론조사기관 에스티아이가 19∼20일 계양을 선거구에 거주하는 만 18세 이상 880명을 대상으로 조사한 결과 이 후보의 지지율(45.8%)은 윤 후보(49.5%)에 오차범위(95% 신뢰수준에 ±3.3%포인트) 내에서 뒤지는 것으로 집계됐다. 해당 조사는 휴대전화 가상번호 자동응답 방식으로 실시됐다.

◇ 미국, 별도 규제 없어…여론조사협회 공표 권고 항목에도 응답률 제외

결론부터 말하자면 미국에서 응답률이 낮은 여론조사는 발표를 못 하게 한다는 이 후보의 발언은 사실과 다르다.

우리나라와 달리 미국의 경우 정부 차원에서 별도의 여론조사 심의 제도를 운영하고 있지 않다.

미국여론조사협회(American Association for Public Opinion Research·AAPOR)에서는 여론조사 결과 발표 시 함께 공표해야 할 사항으로 자료 수집 방법·날짜, 여론조사 발주처·수행기관, 표본 크기, 데이터 가중치 부여 방법 등 11가지를 권고하고 있지만 여기에 응답률은 해당하지 않는다.

별도 요청이 있을 경우에는 30일 이내에 확률 표본에 대한 응답률과 비확률 표본에 대한 참여율을 계산할 수 있도록 관련 정보를 제공하도록 권고하고 있다.

▲ 미국여론조사협회(AAPOR) 여론조사 공표 체크리스트 [미국여론조사협회 홈페이지 캡쳐]

조진만 덕성여대 교수는 연합뉴스와 한 통화에서 “우리처럼 국가 기관이 (여론조사를) 규제하지는 않고 설문조사 기관이나 협회 등의 차원에서 권고 사항을 두는 정도”라며 “학자들이 (여론조사가) 어느 정도의 품질을 갖추려면 이 정도는 돼야 한다고 하는 것이지 절대적인 기준이 있는 것은 아니다”라고 설명했다.

미국 대통령 선거를 앞둔 2019년 CNN은 선거여론조사 보도에 대한 새 기준을 발표하면서 우리나라의 ARS 조사와 비슷한 로보콜(자동녹음전화) 조사는 정확성이 떨어진다는 이유로 인용 보도하지 않겠다고 밝힌 바 있다.

한국갤럽 관계자는 “CNN의 사례처럼 언론사나 협회에서 선거여론조사를 무분별하게 보도하지 않겠다며 자체 기준을 정하는 경우는 있지만 법으로 정해져 있다거나 통용되는 기준이 있다고 보기는 어렵다”며 “선거 여론조사와 관련해서는 우리나라가 규제가 많은 편이고 거의 유일하다”고 말했다.

해외에서는 프랑스가 1977년부터 독립기구인 여론조사위원회를 두고 여론조사를 관리·감독하고 있다.

◇ 우리나라, 선거여론조사심의위 설치해 규제…응답률 제한은 없어

우리나라는 2014년 2월 개정된 공직선거법에 따라 중앙선거여론조사공정심의위원회(현 중앙선거여론조사심의위원회·이하 여심위)를 출범, 선거여론조사 기준 공표와 조사 결과 등록, 이의신청 심의 등을 통해 선거여론조사 공표·보도를 일부 규제하고 있다.

여심위가 작년 12월 개정 고시한 선거여론조사기준에 따르면 선거별 표본 크기에 대한 규정이나 성별·연령대별·지역별 가중값 배율의 범위에 대한 규정은 있지만, 응답률에 대한 별도 제한은 없다.

응답률에 대해서는 선거여론조사 실시 시 응답률을 높이기 위해 노력해야 한다거나 전화 조사의 경우 무선전화를 사용해 60% 이상 응답을 받도록 노력해야 한다 등의 내용만 명시하고 있다.

2018년 6월에는 오신환 바른미래당 의원이 선거 여론조사 응답률이 5% 미만일 경우 공표·보도를 금지하도록 하고 이를 위반하면 5천만원 이하의 과태료에 처하도록 하는 공직선거법 개정안을 대표 발의했으나 회기 종료로 폐기됐다.

▲ 선거여론조사기준 [중앙선거여론조사심의위원회 홈페이지 캡처]

◇ ARS 조사 응답률 낮은 것은 사실…정확도 의견은 엇갈려

통상 여론조사는 전화면접, ARS, 스마트폰앱, 대인면접 등의 방식으로 실시된다.

이중 여론조사의 품질과 관련해 주로 문제가 제기되는 것은 ARS 방식의 낮은 응답률이다.

여심위가 2018년 11월 발간한 ‘제7회 전국동시지방선거 선거여론조사 백서’에 따르면 전체 응답률 평균은 9.4%다.

조사 방법별로는 무선전화면접의 평균 응답률(21.0%)이 가장 높았고 유선전화면접 14.6%, 무선ARS 6.2%, 유선ARS 4.3%, 스마트폰앱 2.2% 순으로 나타났다.

특히 ARS 조사 방식에서는 응답률 10% 미만인 조사가 대다수(유선 ARS 96.3%, 무선 ARS 89.5%)였다. 이중 응답률 3.0% 미만은 유선 ARS 354건(34.7%), 무선 ARS 64건(7.9%)이었다.

여심위 홈페이지에 등록된 선거여론조사 1천624건 중 하루 만에 진행된 조사가 350건이었는데 이중 282건(80.6%)이 ARS를 활용한 조사였다.

▲ 제7회 전국동시지방선거 선거여론조사 백서 [중앙선거여론조사심의위원회 제공]

국회의원선거의 선거여론조사 응답률도 비슷한 수준이다.

여심위의 ‘제21대 국회의원선거 선거여론조사 백서’를 보면 전체 응답률은 9.3%로, 20대 국회의원 선거(8.8%) 대비 0.5%포인트 높아졌으나 응답률이 10% 미만인 여론조사는 오히려 64.9%에서 66.4%로 1.5%포인트 증가했다. 이때도 전화면접 조사와 ARS 조사의 응답률은 각각 15.9%, 5.4%로 전화면접 조사가 ARS 조사보다 약 3배 높게 나타났다.

이 후보의 발언대로 ARS 조사의 응답률이 1∼2%대인 것은 아니지만, 응답률 10% 미만인 조사가 상당수일 정도로 응답률이 낮은 것은 맞다.

이에 대해 이재명 후보 캠프 측은 “ARS 조사의 응답률이 낮고 문항 설계에 따라 공정성을 완전히 담보할 수 있는 여론조사라고 하기에는 문제가 있다는 지적도 있으니 그것만 신뢰해서 실제 여론과 같다고 보기에는 무리가 있다는 의미”라고 설명했다.

ARS 조사의 정확도에 대한 의견은 학계에서도 다소 엇갈린다.

ARS 방식이 면접조사보다 오차가 더 큰 결과를 보인다는 의견이 있는가 하면 전화면접보다 상대적으로 응답 부담이 적어 ‘샤이 지지층’까지 포함해 더 정확한 결과를 낼 수 있는 주장도 있다.

사실 선거여론조사 자체의 신뢰도나 정확성은 정치권 안팎에서 꾸준히 제기된 문제다.

선거여론조사의 결과가 당락에 영향을 줄 수도 있기 때문에 각 정당과 후보자들이 민감하게 반응할 수밖에 없다.

특히 지방선거는 소위 ‘여론조사의 무덤’으로 불릴 정도로 상대적으로 대선이나 총선과 비교해 관심이 떨어지는 데다 의도적인 왜곡이나 불법 조사 사례가 종종 발견되기도 했다.

여심위 백서에 따르면 7회 지선 여론조사의 경우 심의대상 159건 중 145건이 인용됐다. 이중 미등록 공표·보도 등으로 인한 조치 건수가 30건으로 가장 많았고, 여론조사 시 준수사항 위반 24건, 여론조사 결과 왜곡·조작 22건, 거짓·중복응답 지시·권유·유도 21건 등의 순으로 집계됐다.

언론의 ‘경마식 보도’에 대한 지적도 있다.

이준웅 서울대 언론정보학과 교수는 ‘신문과 방송’ 546호에 실린 ‘미국 선거 여론조사 방법론과 언론보도’에서 “언론은 공표된 여론조사의 품질을 적극적으로 검토해 보도해야 한다”며 “2주일간 10회 이상 다시 걸기를 하는 확률적 전화조사와 자동응답기를 사용한 조사를 같은 선에 놓고 보도할 수는 없다”고 조언했다.

조진만 교수는 “여론조사는 여론의 추세를 파악할 수 있는 참고 자료일 뿐”이라며 “공신력 있는 기관이 공들여 한 조사의 시계열 추이를 보는 것이 중요하다”고 강조했다.

[검증 결과]

이재명 후보는 “미국에선 응답률 15% 이하 여론조사는 발표 못 하게 한다”고 주장했지만 이는 사실과 다르다. 미국의 경우 우리나라와 달리 정부 차원에서 별도의 여론조사 심의 제도를 운영하고 있지 않다. 미국여론조사협회에서는 여론조사 결과 발표 시 함께 공표해야 할 11가지 사항을 권고하고 있지만 응답률은 해당하지 않는다. 다만 CNN처럼 언론사나 협회에서 선거여론조사를 무분별하게 보도하지 않겠다며 자체 기준을 정하는 경우는 있다.