团结政府执政达百日,多家媒体对安华及其行政团队进行民调,其中一份是五大媒体和O2 研究中心在2月份进行的线上调查显示,安华政府得到50%的满意度,惟,个别族群的态度有颇大的落差,其中,华裔在信任度和满意度上均给予较高的评价,马来人的不信任度和不满意度则高居不下。
几乎在同一时间,默迪卡民调发布他们的调查报告,结果显示安华的满意度高达68%,团结政府得到54%满意度,除了华裔、印裔有表示高度显著,安华在马来社会还获得60%支持度,反之,表示否定的马来人只有20%。
因为两家民调结果“大相迳庭”,导致舆论一度陷入激烈论战,包括政府官员也加入辩论之中。到底安华和团结政府的民调为何?公平而论,民调是参考之用,而哪些民调值得被参考是更需要注意的部分。
要挑战一份民调,必须从它的调查方法做起。尽管五大媒体民调是一份大样本、大范围以及超越语言障碍的调查,在民调研究中这是一项了不起的创举。可问题就在于,五大媒体的调查方法是网络民调,并非科学取向的随机抽样(random sampling),而随机抽样可说是评量民调品质最优先的指标。
所谓随机抽样有很多种,目的是为了让每位受访者有相等的抽样机率(probability sampling),令样本达到常态分布(normal distribution)并足以代表母体。因此,随机抽样必须考量标准误(standard error)的大小,决定信赖区间的范围(一般来说,95%信赖区间最常见的,意思是指该民调有95%的信心水准可以描述表母体样貌),再敲定样本数量,换言之,大样本未必能代表母体。
据述,五大媒体的百日政绩民调有超过2万则回应,这也是相关方面反驳挑战者的依据。就如同前面所说的,随机抽样是关键所在,首先决定样本效度(Validity,有效解释母体),有了效度的支配,民调结果的信度(reliability,可经得起科学检验)将会提高。网络民调属于非随机抽样,时常关注五大媒体的受众比一般民众有更高的抽样机率,使得调查结果会变成“五大媒体受众的百日政绩民调”。
说到这里,非科学抽样带来的结果有多严重呢?1936年美国的《读者文摘》(Reader's Digest)根据有架设家户电话的民众作为受访对象,发放1000万份问卷,并成功取得230万份的超高回收数。后续分析发现,共和党的兰登将击败民主党的小罗斯福,成为下一任美国总统,结果反而是小罗斯福大获全胜。
经过检讨以后,原来当时候大部分装设家户电话者属于社会中上阶层的群体,生活富裕的民众向来是共和党支持者,而《读者文摘》此种非随机抽样只“捕捉”到兰登和共和党支持者的态度,导致受益于小罗斯福新政,于美国经济大萧条中脱身且占人口多数的中下阶层,他们的态度未得到关注,遂引发跟民调结果全然相反的选举成绩。
在现代社会,网络通讯发达,一人一机已成事实,民调分析和研究当然也需要迎合时代变迁,以致在美国、台湾等地出现网络声量和电访民调相结合的折中做法,惟,科学的随机抽样仍是不容妥协的底线。打个比方,假使单纯靠网络民调的话,第一个无法排除的是“网军灌水”的问题,某些政党支持者轻易透过网络动员来改变全国民众的本意。第二个漏洞是线上民调无法控制样本效度,当我们要检测来临六场州的选的民趋向,18岁或以上的群体是当然受访者,由于脸书、推特、Instagram及各类网页并没有年龄、国籍、国境或地域的限制,造成不足18岁、身在海外、非本国籍或非六州选民等“非研究对像”也有被抽到的机会。
机构效应是另一个需要关切的部分。当一个民调机构被特定政党充当舆论攻防的工具,其从抽样方法、抽样母体、问卷设计、执行调查到撰写报告,都或多或少附带预设立场,台湾的《TVBS》民调便经常被挑战有太浓厚的机构效应,无论什么时候其数据显示“蓝大于绿”。针对此,我们没有任何证据指控任何一份民调附带政治立场,包括五大媒体民调,相同道理,我们也可合理怀疑任何民调受到某些政治力量的介入,重点在于,民调的确是政党政治攻防(尤其在选举阶段)的武器。
当然,无论是否为随机抽样的民调,都避免不了“翻车”的可能。例如,2018年第十四届大选前夕,几乎所有调查都指出国阵胜选机会高,更早的2016年美国总统大选,各家知名民调表示希拉里将打败特朗普,惟两场选举的结果都“狠狠打脸”民调数据。既然科学导向的民调都有出错的时候,更何况是没有科学支配的民调?换言之,我们在民意调查中强调随机抽样,确立信赖区间范围,调整问卷设计到访问员的训练,目的旨在降低出错的机率,而不是达到百分之百与事实相符。
无论如何,对于近年来媒体对民调的高度关注,我们都要给予大大地鼓励和赞赏,毕竟媒体也是希望给朝野政党掌握更充分的资讯,作为施政和攻防参考之用。如今,我们是时候对政治分析有更高的要求,经得起科学检验、连贯性和定期公布的民意调查(如:台湾的美丽岛民调)是接下来应该迈进的阶段。同时,阅览民调报告的时候,除了特别注意其调查方法,在检视数据时应该注意变数的交叉分析(cross analysis),举例来说,不满经济表现者给安华政府的评价,不是专注在单一变数的政治态度(如华人对国盟的态度)。