本文是笔者这两天修改论文数据过程中的思路记录,行文没有太多结构以及写作规范性,更多是笔者对于数据处理的一个思路备份。
问题描述
前天关于Climate Change的文章刚被送回来修改,今天笔者又收到了另一篇文章的退修,而且时间也比较紧张…督促自己赶紧完成修改后,继续「英语大业」…
在这篇文章中,笔者负责的是数据量化部分,跟导师讨论后,笔者主要负责完成以下几点修改建议:
问题1:测量工具的有效性存疑;特别是问卷最后一个项目,与主题的关系如何体现?
问题2:探索性和验证性因素分析不应该采用同一批数据;可以考虑将第一年的数据做探索性,后两年的数据进行验证性分析;
问题3:信效度检验比较缺乏,仅有信度的a系数检验;
这个数据处理已经是很久以前做的了,笔者让在学校的同学帮忙远程连接上了电脑硬盘,终于把数据找出来了,再一次警醒自己:
(1)数据文件命名不要偷懒(说明+日期)
(2)数据处理的过程多像笔者现在写这篇文章一样,好记性不如烂笔头,多记录完成思路,过程和注意点,这种“版本控制”真的很重要,不然需要回顾的时候真的很混乱和耗时
(3)同时,要做好数据备份,笔者现在用的是硬盘,但现在在老家,要读取在学校的硬盘也不方便;后续考虑搭建个人网盘或者入坑NAS…
问题1:问卷中的开放性题目如何合理说明
对于问题1:测量工具的有效性存疑;特别是问卷最后一个项目,与主题的关系如何体现?
已在Word中进行回复,此处不再累赘
问题2:如何做探索性和验证性因素分析
对于问题2:探索性和验证性因素分析不应该采用同一批数据;可以考虑将第一年的数据做探索性,后两年的数据进行验证性分析;
这是笔者原先做数据分析犯下的「大错误」,使用了同一批数据做探索性和验证性因素分析,应该感谢Reviewer的宽容对待,接下来笔者将接受此条意见,说明不能用同一批数据的原因,并且重新对数据进行探索性和验证性因素分析。
什么是探索性和验证性因素分析
探索性因子分析:基于降维的思想,将错综复杂的众多变量聚合成少数几个独立的公共因子,在乎的是多个测试项是否能组成一个或多个理论变量,其理论变量是未知的,例如 30 个题目里面能生成多少个理论变量,即最合适的因子个数是多少。
验证性因子分析:事前已知理论变量,强调多个测试项是否能否代表某个理论变量,例如检验购买频率、主观评估、消费比例是否真的可以反映忠诚度。也就是我们预先的理论架构是否是好的,题目设置是否是好的,收集到的数据能否体现想要的结果,实际上也就是一种效度检验。
探索性因子分析更适合于在没有理论支持的情况下对数据的试探性分析。验证性因子分析充分利用了先验信息,在已知因子的情况下检验所搜集的数据资料是否按事先预定的结构方式产生作用。
同时,两种因子分析缺少任何一个,因子分析都将是不完整的 。一般来说,如果研究者没有坚实的理论基础支撑,有关观测变量内部结构一般先用探索性因子分析,产生一个关于内部结构的理论,再在此基础上用验证性因子分析,这样的做法是比较科学的,但这必须要用两组分开的数据来做。
如果研究者直接把探索性因子分析的结果放到统一数据的验证性因子分析中,研究者就仅仅是拟合数据,而不是检验理论结构。如果样本容量足够大的话,可以将数据样本随机分成两半,合理的做法就是先用一半数据做探索性因子分析,然后把分析取得的因子用在剩下的一半数据中做验证性因子分析。
数据分析过程
数据准备
笔者对着文件夹中一大堆文件看了半天,也没找到哪个表格是最后处理后的数据表,也不知道从哪里开始入手…突然记起来之前使用过腾讯文档记录了数据处理过程中的各种尝试,翻出来这个文件后真的很详细,连代码都贴进去了,真的要为这个习惯点赞。
首先,将2017/2018/2019三年的数据分割,分别用来做探索性因子分析和验证性因子分析。(Mac版本的Excel太拉垮了,一个操作等半天,所以不要有数据连接
【笔者自我提醒】:数据问题:由于有转换前后的两套数据(将5-1,4,2-1.8…)以及A16本身数据处理错误(转换过程中错误了),笔者找到错误后就花了很长时间,最后使用的数据是:【5级转换后-处理了A16.xlsx】,而且下面的展示也不是最终的数据结果,准确结果见修订的word文档(同时注意,转换前后做验证性分析结果是一致的)
EFA探索性因子分析
将xlsx文件拖入spss,使用因子分析(提取:主成分,相关性矩阵,基于特征值;旋转:最大方差法)
分别对2017和2019的数据做探索性因子分析,看看哪个年份的数据比较明显,就作为探索性因子分析的数据。得到「2017与2019的探索性因子分析.htm(第2个结果代表2019年数据)」—> 结果2019的数据更适合作为探索性因子分析的数据,所以2017&2018的数据用来做验证性因子分析。
这里以2019的的数据结果为例,进行分析。
1、首先是KMO的值为0.927,大于0.5,所以说明了变量之间是存在相关性的,符合要求;然后是Bartlett球形检验的结果,在这里只需要看Sig.这一项,其值为0.000,小于0.05。说明这份数据是可以进行因子分析的;
2、公因子方差表表示,每一个变量都可以用公因子表示,其表达的大小就是公因子方差表中的“提取”,“提取”的值越大说明变量可以被公因子表达的越好,一般大于0.5即可以说是可以被表达,如图都大于0.5,说明变量是可被表达的;
3、总方差解释表示因子对于变量解释的贡献率(可以理解为究竟需要多少因子才能把变量表达为100%),一般要表达到70%以上这里为69%。
4、这一张表是用来看哪些变量可以包含在哪些因子里,可以分为两个维度。
CFA验证性因素分析
通过经管之家的渠道重新下载Mplus
将2017和2018年的数据进行合并,然后用SPSS将xlsx转化为dat格式(注意:需要勾选将变量名去除,debug了很久)
由于数据量比较大(N=9909)所以使用SPSS随机抽取两份5%的样本进行分析。(随机抽取数据方法参考这里)
以sample5_1为例
DATA: FILE IS /Users/fubo/Desktop/sample5_1.dat;
VARIABLE:
NAMES = y1-y15;
USEVARIABLES = y1- y15;
MISSING ARE ALL (-99);
MODEL: DA BY y1-y10;
DB BY y11-y15;
OUTPUT: STANDARDIZED MODINDICES;
结果,未大于0.9,需要进行MI修正
MI修正代码:
DATA: FILE IS /Users/fubo/Desktop/sample5_1.dat;
VARIABLE:
NAMES = y1-y15;
USEVARIABLES = y1- y15;
MISSING ARE ALL (-99);
MODEL: DA BY y1-y10;
DB BY y11-y15;
Y2 WITH Y1;
Y4 WITH Y3;
Y6 WITH Y3;
Y6 WITH Y5;
Y7 WITH Y3;
Y7 WITH Y5;
Y7 WITH Y6;
Y8 WITH Y2;
Y8 WITH Y5;
Y9 WITH Y1;
Y9 WITH Y6;
Y9 WITH Y8;
Y10 WITH Y1;
Y10 WITH Y4;
Y10 WITH Y6;
Y10 WITH Y8;
Y10 WITH Y9;
Y12 WITH Y11;
Y13 WITH Y11;
Y14 WITH Y12;
Y14 WITH Y13;
Y15 WITH Y13;
Y15 WITH Y14;
OUTPUT: STANDARDIZED MODINDICES;
MI修正后满足:
同理sample2也进行如此操作,代码如下:
DATA: FILE IS /Users/fubo/Desktop/sample5_2.dat;
VARIABLE:
NAMES = y1-y15;
USEVARIABLES = y1- y15;
MISSING ARE ALL (-99);
MODEL: DA BY y1-y10;
DB BY y11-y15;
Y2 WITH Y1;
Y3 WITH Y2;
Y4 WITH Y1;
Y4 WITH Y3;
Y5 WITH Y3;
Y6 WITH Y4;
Y6 WITH Y5;
Y7 WITH Y3;
Y7 WITH Y4;
Y7 WITH Y5;
Y7 WITH Y6;
Y8 WITH Y5;
Y9 WITH Y1;
Y9 WITH Y2;
Y9 WITH Y5;
Y9 WITH Y6;
Y9 WITH Y8;
Y10 WITH Y1;
Y10 WITH Y7;
Y10 WITH Y8;
Y10 WITH Y9;
Y12 WITH Y11;
Y14 WITH Y12;
Y14 WITH Y13;
Y15 WITH Y11;
Y15 WITH Y13;
Y15 WITH Y14;
OUTPUT: STANDARDIZED MODINDICES;
在文章将数据修正后,回复如下:
Re:已根据Reviewer的建议进行了修正,使用了2019年的数据进行探索性因素分析,并使用了2017年和2018年的数据进行了验证性因素分析,结果表明本研究的量表具有较好的效度。
问题3:信效度检验
对于问题3:信效度检验比较缺乏,仅有信度的a系数检验;
笔者首先检索文献,查看信度检验除了内不一致性外的alpha系数外,还有哪些方式,根据:DeVon H A, Block M E, Moyle‐Wright P, et al. A psychometric toolbox for testing validity and reliability[J]. Journal of Nursing scholarship, 2007, 39(2): 155-164.
1、Stability Reliability :Test-retest reliability is estimated by administering the same test to the same group of respondents at different times.
2、Equivalence Reliability : Coefficient alpha. Cronbach’s alpha coefficient is the most frequently used statistic to show internal consistency reliability; it is the most widely used by nurse researchers (Brink & Wood, 1998; Polit & Beck, 2004).
Finding:Most reports indicated internal consistency reliability (α) but few reports included reliability testing for stability. When retest reliability was asserted, time intervals and correlations were frequently not included.
一般只有Stability Reliability和Equivalence Reliability 两种方法,文章这里由于数据问题无法重新测量,且大多数的文章也没有Stability Reliability这部分,这里Reviewer可能是指文章在做Equivalence Reliability时对于Coefficient alpha的数据展示的过少,只展示了一个系数项。
根据被引用排序在知网和谷歌学术继续查找文献,看看文章中的信度表格是如何呈现的:
- 王孟成, 戴晓阳, 姚树桥. 中国大五人格问卷的初步编制 Ⅲ: 简式版的制定及信效度检验[J]. 中国临床心理学杂志, 2011, 4.
- 钱会娟,袁长蓉.中文版癌症自我管理效能感量表的信效度测评[J].中华护理杂志,2011,46(01):87-89.
(3) 信度检验:本研究信度检验采用同质性信度和折半信度。SPSS软件处理数据得出, 量表及分量表的Cronbach’sα系数为0.849~0.970, Guttman折半系数为0.803~0.937。
- Petersen A C, Schulenberg J E, Abramowitz R H, et al. A self-image questionnaire for young adolescents (SIQYA): Reliability and validity studies[J]. Journal of youth and adolescence, 1984, 13(2): 93-111.
The reliabilities of the scales were measured by Cronbach’s (1951) coefficient alpha for interitem consistency, which provides a good minimum estimate of reliability (Lord and Novick, 1968).
- June K J, Choi E S. Reliability and validity of the Korean version of the Copenhagen Psyco-social Questionnaire Scale[J]. Korean Journal of Occupational Health Nursing, 2013, 22(1): 1-12.
- 刘洋,杨金秋,叶本兰,沈曲,朱杰敏,陈美琴.中文版家庭坚韧性量表的信度和效度研究[J].护理管理杂志,2014,14(11):770-772.
从上面案例可以看到大部分文章对于信度检验的呈现都很简洁,甚至有些文章直接放表格,没有文字说明,因此笔者在原先表格中添加了M和SD后,总结了上述案例,如下回复:
笔者已在问卷检验部分对量表的效度检验以及信度检验进行了完善。
对于信度检验,主要包括使用重测信度测量量表稳定性和使用Cronbach’s \alpha系数测量量表内部一致性两种方法,且目前大多数文章的量表信度检验中只有内部一致性检验,没有包括重测信度 。由于本研究的主题是新生适应性教育,数据收集的对象是大一新生,且笔者是在每年大一下学期期末考试结束后发放问卷,以保证所收集数据是新生经过大一这完整一年后,对新生适应性教育的满意度评价,从而保证数据能够有效且真实地贴合研究主题。而由于有效的重测数据是针对同一人群在不同时间间隔使用同一套量表所收集的数据,因此,在本文的研究主题中,较难展开重测信度分析。本研究的样本量高达15110,能保证研究的普遍性,且总量表的Cronbach’s alpha系数高达0.929,这些也在很大程度上保证了数据的有效性和量表的可信度。