方法论不过关，结论就“免谈”

【要想获得科学合理从而让人信服的结果，必须保证抽样的随机性，找错了对象，不但不可能准确反映社会原貌，更会发生“牛头不对马嘴”的“贻笑大方”。】

在当下中国，民众对生活各方面内容有不满很常见，如果统计一下对食品安全、交通以及其他公共服务的满意度，恐怕也不会太高。在一个保持多年高速发展的国度，民众的期望大大超过实际生活的改善程度，这是正常现象。

值得考虑的倒是，近年来不少机构或个人屡屡用统计分析的方式，向社会发布自己的调查结果，但用的方法却没有严格论证。其实，统计分析是一门利用数学方法，借助概率论、抽样、问题设计等技术手段，找出个体间有意义的差异，最后反映超越个体特性的整体状况。由于得到了现代数学的坚实支持，仅仅调查一部分人就可以得出比调查所有人都准确的统计结论，不但成本大幅降低，还可以确保结果的误差不超过预期水平，所以，抽样调查得到了普遍运用。

不过，要想获得科学合理从而让人信服的结果，必须保证抽样的随机性，找错了对象，不但不可能准确反映社会原貌，更会发生“牛头不对马嘴”的“贻笑大方”。这份蓝皮书中是否也有可能存在类似问题？

据报道，蓝皮书所披露的数据来自于２０１３年１１月２１日至１２月１８日，２１世纪教育研究院联手相关机构开展的“２０１３年公众教育满意度调查活动”，共有来自全国各地的５０８０１位网友参与了问卷调查。公众教育满意度的各项指标得分介于３５．５４分到５９．６６分之间，无一项指标获得公众“比较满意”的肯定。分项指标包括教师队伍素质、教育总体状况、义务教育阶段农民工子女获得均等入学机会的情况、政府治理教育乱收费的成效等内容。

从这些分项指标来看，调查确实针对的是当下民众最为关心的方面，虽然有所遗漏，但基本能够反映被调查者的关心所在。问题出在虽然调查了５万多人，但既没有说明为什么调查的是５万多人，而不是更多或更少，因为在抽样调查中，调查样本大小的确定有着严格的方法要求，项目越多，对象间差异越大，样本规模也相应需要放大。这项调查在样本规模的确定上不知道有过什么考虑，如果仅仅取决于网友的热情，多了就多调查几个，少了就少几个，那就不够严谨了。

更成问题的是，众所周知，网络上热心于参与各种调查的人士属于一个特定群体，在年龄、教育年限、职业、收入、消费习惯乃至性格上都有突出的特点，只是全体国民这个整体中一个特别的部分，如果拿着单纯由这个群体提供的资料，去推断全体国民的意见，那绝对会闹大笑话：我们能从网络调查中得出国民收入吗？国家１０年一次人口普查能随便找家商业门户网站，从不知背景、随意上网且随其高兴决定回答或不回答的网友的无法查实的回答中，得出“中国人口”的各项数据吗？如果国家采取如此做法，那才真会引发“公众满意度大幅下降”，引发在世界各国面前“中国国家形象大幅下降”，因为谁都不会相信一个国家竟然拿基础数据如此开玩笑，毫无技术含量。

回到蓝皮书的报告，稍微懂点调查方法的人都不难发现，除了统计技术的致命伤之外，在调查的内容和对象的相适度上，同样存在明显的错误。相比整体人口，网络活跃人群普遍趋于年轻，思维活跃，学历偏高。因此对不同分项指标的敏感度也具有同全体人口很不一样的地方。比如，网友相对年轻，许多人还没有孩子，甚至都没结婚，他们对义务教育的满意与否，更多地是基于自身的记忆，而不是对现状的了解，充其量只是某种道听途说。虽然也能反映存在的一些问题，但同报告所针对的“２０１３年”这一特定时间段，真的没有多大关系。完全从改进义务教育的角度说，听他们的意见还不如听年龄远比他们大的退休老人来得靠谱，后者中至少有不少人需要每天送孩子上学，对教育有着更为切实的了解和体验。

对习惯于“毛估估”的中国人而言，开始采用数据来说明问题，绝对是全社会的进步，但定量分析是非常严肃的一项科学活动，没有方法论的保证，随便收集的数据在统计学界会被视为“垃圾”，而且业内有一个得到高度共识的定律，叫“垃圾进来，垃圾出去”。所以，在学术论坛上，专家们对研究方法论的关注远远超过对调查结论的关注，方法论不能过关，结论就属于“免谈”了。对此，任何一项严肃的调查都不会不仔细遵守，因为这是学术共同体的基础性规则。

（作者系上海大学社会学教授）