AI·교사 피드백, 수정 글 점수 54.70 대 54.58 — 대학생 무작위 실험의 결과와 한계

대학생 287명의 수정 글을 분석한 결과, 100점 척도의 보정 평균은 AI 피드백 54.70점, 교사 피드백 54.58점, 구체적 피드백이 없는 비교 집단 48.28점이었습니다. 『Frontiers in Psychology』에 10월 30일 실린 무작위 실험입니다.

글 점수는 처음 쓴 글의 점수·평점·성별을 보정한 값입니다. 두 평가자는 집단과 초안·수정본 여부를 모른 채 채점했습니다. AI와 교사 집단의 결과는 연구진이 미리 정한 ±0.35 표준편차 범위에서 동등하다고 판단됐지만, ±0.25 이하의 더 좁은 범위에서는 동등함이 확인되지 않았습니다.

피드백을 읽은 뒤 글쓰기 과제의 흥미·즐거움을 묻는 1~7점 척도 설문에서는 교사 5.16점, AI 4.90점, 비교 집단 4.61점이었습니다. 학생들은 피드백의 출처를 알고 있었습니다. 한 대학에서 글 한 편을 한 차례 수정한 결과이며, 실험은 사전 등록되지 않았습니다. 연구진은 다른 과목이나 장기적인 결과로 일반화하려면 추가 연구가 필요하다고 밝혔습니다.

학원에서 볼 점: 피드백을 활용할 때는 고친 답안의 점수와 학생이 다시 과제에 참여하고 싶은 마음을 따로 살펴보길 권합니다. AI가 제시한 수정 내용을 학생이 자기 말로 설명하게 하고, 선생님이 학생의 질문과 어려움을 직접 듣는 시간을 함께 마련해 보면 좋겠습니다.