语言测试是语言教育、教学中至关重要的一环，是评估教学效果，提供教学反馈，进行教学决策的关键依据。语言测试与评价的质量取决于测试的效度(Aderson et al, 1995; Bachman, 1990; Messick, 1989, Weir, 2005; Bachman & Palmer, 2016)。效度问题是整个测试工作的核心问题(修旭东，2010:11)，是测试评价中最重要的考虑因素，是测试工作者要保证的最基本的测试质量特性(Bachman & Palmer, 2016 )。 在不断发展的计算机技术、语言学、认知科学和测量学的影响下，当代语言测试在试题管理、测试任务特征、受试的测试表现(test performance)、测试任务、测试后效、语言输入与输出等方面都发生了显著变化。特别是测试评分变化更为显著。产出性语言（如英文写作）的评分将逐渐(或已经开始)由计算机完成，传统测试与效度研究手段将面临巨大的挑战。面对新的计算机化测试手段，传统效度研究方法显得力不从心、捉襟见肘。计算机技术结合语言测试，特别是主观题目的测试（如作文自动评分），使得测试行为本身更加复杂化。通过计算机进行的作文自动评分会受到与构念无关因素(如，计算机配置差异、受试计算机技能差异、对计算机测试方式的焦虑程度等)的影响。随着我国大规模、高风险测试（如高考、国家公务员考试）的增加，测试在社会中扮演着越来越重要的角色。随着科技的发展，特别是计算机科学的发展，如何运用计算机来评估主观化语言测试项目已经逐渐成为现实。然而，到目前为止，计算机化主观测试题的评分原理与评分策略大多数是人工评分原理与策略的简单、机械模拟，或者是从主观测试题中抽取、提炼影响测试质量的指标作为计算机评分依据。这样的模拟与指标提取是否准确、有效，其合理性如何，能否代替人工评分？带着这些问题，该课题以风靡全国的句酷在线作文自动评分系统(JAESS)为研究对象，严格遵循理论密切联系实践的原则，以语言测试整体效度观为理论指导，深入研究了计算机化作文自动评分的准确性、有效性、合理性和社会影响。