2013年,德克萨斯大学奥斯汀分校计算机科学系开始使用自制的机器学习算法,协助教师做出研究生录取决定。七年后,该系统被弃用,并招致批评,认为其本不应被使用。

该算法基于以往的录取决定,为教师节省了时间。它使用诸如是否毕业于“精英”大学或推荐信中是否包含“最佳”等词汇作为录取预测指标。

校方表示,该系统从未独立做出录取决定,至少会有一名教师审阅其建议。但反对者认为,它编码并合法化了录取决定中可能存在的任何偏见。

如今,人工智能备受瞩目。ChatGPT——一种生成类似人类对话的AI聊天机器人——引发了广泛关注,并重新引发了关于人类生活和劳动中哪些部分可能被轻易自动化的讨论。

尽管像UT Austin之前使用的系统招致了批评,但一些大学和招生官员仍热衷于使用AI来简化录取流程。而公司也急于提供帮助。

“需求急剧增加,”人工智能公司OneOrigin的首席执行官Abhinand Chincholi表示,“GPT——ChatGPT这类技术的发布,让每个人都想要AI。”但他指出,对AI感兴趣的大学并不总是清楚自己想用它做什么。

Chincholi的公司提供一款名为Sia的产品,通过提取课程和学分等信息,快速处理大学成绩单。经过训练后,它可以确定新生或转学生可能符合条件的课程,并将数据推送到院校的信息系统。该公司表示,这可以为招生官员节省时间,并可能降低大学人事成本。

Chincholi称,公司今年正在与35所大学客户合作,并与另外8所大学处于实施阶段。每月还收到约60份来自其他高校的信息请求。尽管人们对AI的新用途仍存疑问,Chincholi认为Sia的工作完全符合伦理关切。

“Sia提供是否继续处理申请人的线索,”他说,“我们绝不会让AI做出此类决定,因为这非常危险。你是在拿学生的职业生涯和人生开玩笑。”

其他AI公司则更进一步。Student Select是一家为大学提供预测录取决定算法的公司。其首席技术官Will Rose表示,公司通常先查看大学的招生评分标准和历史录取数据,然后技术将申请人按录取可能性分为三个等级。

他说,最高等级的申请人可以更快获得招生官员的批准,并更早收到录取决定。其他等级的学生仍由大学工作人员审核。

Student Select还向大学提供Rose所称的“申请人洞察”。该技术分析文书甚至录制的面试,以寻找批判性思维技能或特定个性特征的证据。例如,申请人在回答特定面试问题时使用“灵活性”一词,可能表达出“经验开放性”——这是Student Select衡量的个性特征之一。

“我们公司十多年前起步于数字面试平台,因此我们非常了解如何分析工作面试并从中理解特质,”Rose说,“多年来,我们发现可以在高等教育领域进行类似的分析。”

Rose表示,Student Select与大约十几所大学签订了使用其工具的合同。尽管他因合同条款拒绝透露具体名称,但《Government Technology》在4月报道称,罗格斯大学和落基山大学是其客户。两所大学均未回应置评请求。

黑匣子?

并非所有人都认为招生办公室使用这类技术是个好主意。纽约大学计算机科学与工程教授Julia Stoyanovich建议大学远离那些声称能预测社会结果的AI工具。

“我认为使用AI并不值得,真的,”Stoyanovich说,她是负责任AI中心的联合创始人兼主任。“我们没有理由相信他们的说话模式或是否看镜头与他们是多好的学生有任何关系。”

Stoyanovich指出,问题部分在于AI的不透明性。在医学领域,当AI标记出医学图像中可能的癌症时,医生可以复核其工作。但在大学招生中使用AI时,几乎没有问责机制。招生官员可能认为软件在筛选特定特质,而实际上它可能在筛选一些虚假或不相关的因素。

“即使我们相信有办法做到这一点,我们也无法检查这些机器是否有效。我们不知道未被录取的人会表现如何,”她说。

当算法基于过去的录取数据进行训练时,它们会重复已有的偏见。但Stoyanovich说,它们还通过认可这些不平等决定而更进一步。此外,算法错误可能对边缘群体造成不成比例的影响。例如,Stoyanovich提到Facebook用于判断姓名是否合法的方法,该方法在2015年因将美国印第安人用户踢出平台而引发争议。

最后,招生人员可能缺乏培训来理解算法的工作原理以及从中做出何种判断是安全的。

“你至少需要一些背景知识,才能说‘我是这里的决策者,我要决定是否采纳这个建议或反对它’,”Stoyanovich说。

随着ChatGPT等生成式AI系统的快速发展,一些研究人员担心未来申请人会使用机器撰写论文,而这些论文将由算法阅读和评分。前麻省理工学院副院长Les Perelman曾研究自动化写作评估,他说:“让机器阅读论文将‘更加促使学生用机器生成论文’。它将无法识别论文是原创还是由ChatGPT生成的。整个写作评估问题确实被颠覆了。”

谨慎行事

宾夕法尼亚大学心理学系博士生Benjamin Lira Luttges正在研究AI在大学招生中的应用,他表示人类的缺陷助长了与该技术相关的一些问题。

“招生复杂的原因之一是,作为社会,我们并不清楚在做出招生决定时究竟想要最大化什么,”Lira在电子邮件中说,“如果我们不小心,可能会构建出最大化某些不符合社会期望的AI系统。”

他说,使用该技术有风险,但也有好处。机器不像人类那样受情绪或天气等影响,可以做出没有“噪音”的决定。

“我们没有关于现状的很好数据,”Lira说,“算法可能存在偏见,可能有我们不喜欢的方面,但如果它们比人类系统表现更好,那么逐步在招生中部署算法可能是个好主意。”

“如果我们不小心,可能会构建出最大化某些不符合社会期望的AI系统。”

——Benjamin Lira Luttges,宾夕法尼亚大学博士生

Student Select的Rose承认在招生和招聘中使用AI存在风险。他指出,亚马逊在发现其招聘算法歧视女性后,放弃了自己的算法。但他说,Student Select避免了这些负面结果。公司会先对客户以往的录取结果进行偏见审计,并定期检查自身技术。Rose表示,其算法相当透明,可以解释决策依据。分析产生各子群体平均得分相等的结果,由外部学者验证,并非全新事物。

“我们使用内部和外部研究人员开发这个工具,所有这些专家都是选拔领域的专家,”他说,“我们的机器学习模型已在包含数百万条记录的数据集上训练。”

除了在招生中使用AI带来的伦理问题,Stoyanovich还指出了一些实际问题。当出现错误时,谁将负责?学生可能想知道为何被拒绝以及候选人如何被选中。

“作为招生官员或大学招生主任,在决定使用算法工具时,我会非常谨慎,”她说,“我会非常小心地理解工具的工作原理、功能以及验证方式。并且我会非常密切关注其长期表现。”