文章目录
CTT(classical test theory)历史定义parallel testCronbach's α \alpha α 项目评估P-valueitem-total correlation 缺点 IRT(Item response theory)对于CTT的改进定义三大假设IRF3PL(three parameter logistic model)IRF形态PL模型分类 逻辑正态模型 模型拟合分析项目信息两个参数模型三个参数模型CTT(classical test theory)
历史
由Novick(1996)提出， 在Lord & Novick (1968) 和 Allen & Yen (1979/2002)中有描述。
定义
X o b s e r v e d s c o r e = T t r u e s c o r e + E e r r o r X_{observed\ score} = T_{true\ score} +E_{error} Xobservedscore=Ttruescore+Eerror
可信度为
ρ X T 2 = σ T 2 σ X 2 = σ T 2 σ T 2 + σ X 2 \rho^{2}_{XT} = \frac{\sigma^{2}_{T} }{\sigma^{2}_{X} } = \frac{\sigma^{2}_{T} }{\sigma^{2}_{T} + \sigma^{2}_{X} } ρXT2=σX2σT2=σT2+σX2σT2
因为 T t r u e s c o r e T_{true\ score} Ttruescore未知，所以无法直接计算可信度
parallel test
一个方法是进行parallel test,
即定义
ε ( X i ) = ε ( X i ′ ) \varepsilon(X_{i}) = \varepsilon(X^{'}_{i}) ε(Xi)=ε(Xi′)
σ E i 2 = σ E i ′ 2 \sigma^{2}_{E_{i}} = \sigma^{2}_{E^{'}_{i}} σEi2=σEi′2
则
ρ X X ′ 2 = σ X X ′ σ X σ X ′ = σ T 2 σ X 2 = σ T 2 σ T 2 + σ X 2 \rho^{2}_{XX^{'}} = \frac{\sigma_{XX^{'}} }{\sigma_{X} \sigma_{X^{'}}} = \frac{\sigma^{2}_{T} }{\sigma^{2}_{X} } = \frac{\sigma^{2}_{T} }{\sigma^{2}_{T} + \sigma^{2}_{X} } ρXX′2=σXσX′σXX′=σX2σT2=σT2+σX2σT2
parallel test同样很难实现
Cronbach’s α \alpha α
所以考虑另一个方法
一个测试由 k k k项组成，第 i i i个人的总成绩由这 k k k项的成绩相加得到，
X i = ∑ j = 1 k U i j X _{i} = \sum_{j=1}^{k} U_{ij} Xi=j=1∑kUij
α = k k − 1 ( 1 − ∑ j = 1 k σ U j 2 σ X 2 ) \alpha = \frac{k}{k-1}(1-\frac{\begin{matrix} \sum_{j=1}^k \sigma^2_{U_j} \end{matrix}}{\sigma^2_X}) α=k−1k(1−σX2∑j=1kσUj2)
α \alpha α是reliability的一个下界, 但是其每个值所表示的意义经过论证，只有经过实践经验所测定的意义。
α > 9 \alpha>9 α>9意味着test中的items(测试项)有多余
α ≈ 8 \alpha\approx8 α≈8是推荐的值，但是对于高风险测试(GRE, GMAT)， α . 9 + \alpha.9+ α.9+是推荐的范围
项目评估
一个测试中的各个项目的评估要使用两种方法
P-value
p-value被称为项目难度指数
item-total correlation
item-total correlation被称为项目区分度指数
缺点
CTT的一个目的是预测一个人在一个测试中的表现(分数)，但是：
参加测试的人和对应的测试不可分割：同一个人在不同测试中的表现可能不同reliability的定义是测试分数在平行测试中的相关性，但是平行测试的定义不统一论证假设测试误差是相同的，但实际上不是：一个人的能力和测试得到的分数不是线性相关的，想要从50分考到60分很容易，但是想要从90分考到100分却很难不能直接观察测试者在不同项目中的表现
IRT(Item response theory)
对于CTT的改进
以项目为单位，而不是CTT中的以测试为单位参数具有不变性：在项目反应理论下，项目的难度参数、区分度参数及被试的能力参数具有不变性。在 IRT 中引入了项目特征曲线，这将项目难度、项目区分度以及被试的能力进行了有机的统一。IRT 中的信息函数反映了在不同的能力水平处，每个项目所提供的信息量的大小，信息量最大处的能力水平估计误差最小被试的能力参数与项目的难度参数是定义在同一个量表上的，当一个被试的能力参数已知时，配一个项目参数已知的测验，即可预测被试的正确反应概率。定义
IRT的基本思想是，对一个项目正确的回答是一个概率，那么最后的表现和分数就是一个关于人和项目参数的函数。
三大假设
由 θ \theta θ表示的被测试者的一维特征，及其某一方面的能力项目的局部独立性：假设被试在每一个项目上的作答反应是相互独立，互不影响的，作答反应只与被试自身的能力水平有关，与其他元素无关。被测试者对一个项目的作答可以可以通过一个数学函数IR(item response function)来建模IRF
IRF给出了具有特定能力水平的人正确回答问题的概率。
3PL(three parameter logistic model)
p i ( θ ) = c i + 1 − c i 1 + e − a i ( θ − b i ) p_{i}(\theta) = c_{i} + \frac{1-c_{i}}{1+e^{-a_{i}(\theta-b_i)}} pi(θ)=ci+1+e−ai(θ−bi)1−ci
θ \theta θ被定义为人的能力是一个正态分布的样本
a i , b i , c i a_i,b_i,c_i ai,bi,ci是项目的参数
i i i是项目类型
IRF形态
PL模型分类
逻辑正态模型
基于正态分布构建IRF
p i ( θ ) = Φ ( θ − b i σ i ) p_i(\theta) = \Phi(\frac{\theta-b_i}{\sigma_i}) pi(θ)=Φ(σiθ−bi)
模型拟合分析
如果数据不能良好的拟合模型，说明测试项不够好，但应该再找出无法良好的拟合的原因后再删除后者改进测试项，因为比如，一个英语非母语的人参加测试，得出的数据无法拟合模型，不能说明改模型有问题，而是应该这个人不是目标测试人群。所以数据有偏差。
项目信息
CTT中reliability的定义相当简单，就是实际分数和观察分数方差的比值。
但是分数不是呈线性分布的，在测试范围的边缘部分相比于中间部分会有更多的错误。
所以IRT用项目和测试信息来代替CTT中的reliability。根据费雪信息理论，项目信息为：
I ( θ ) = p i ( θ ) q i ( θ ) I(\theta) = p_i(\theta)q_i(\theta) I(θ)=pi(θ)qi(θ)
这个估计的标准差为：
S E ( θ ) = 1 I ( θ ) SE(\theta) = \frac{1}{\sqrt{I(\theta)}} SE(θ)=I(θ) 1
这个公式表示项目的信息越多，测试的误差越小
两个参数模型
I ( θ ) = a i 2 p i ( θ ) q i ( θ ) I(\theta) = a_i^2p_i(\theta)q_i(\theta) I(θ)=ai2pi(θ)qi(θ)
三个参数模型
I ( θ ) = a i 2 ( p i ( θ ) − c i ) 2 ( 1 − c i ) 2 q i ( θ ) p i ( θ ) I(\theta) = a_i^2\frac{(p_i(\theta)-c_i)^2}{(1-c_i)^2}\frac{q_i(\theta)}{p_i(\theta)} I(θ)=ai2(1−ci)2(pi(θ)−ci)2pi(θ)qi(θ)
因为每个项目之间是独立的，所以整个测试的信息是每个项目信息的简单加和
如果觉得《IRT》对你有帮助，请点赞、收藏，并留下你的观点哦！
