A Cynical Pilot Study on AI-Assisted University Student Writing Development

Engineering notes

Engineering notes will be added by the aipentium editorial team.

Chinese explanation / 中文解读

中文解读待补充：本站会优先为大语言模型、生成式AI、ChatGPT相关技术、计算机视觉、深度学习等高价值论文补充中文说明。

Original abstract

AI tools are frequently presented as a means to improve EFL student writing; however, the extent to which AI genuinely enhances writing skills—rather than merely composing polished final products—remains an open question. This longitudinal experiment involved 93 first-year Japanese university students completing English writing tasks over one semester. Students were divided into two groups: the self-editing group (control), and the ChatGPT-assisted group (variable). Writing samples were assessed on length, relevance, linguistic diversity, and accuracy. Analysis revealed that ChatGPT-assisted editing does little to improve students’ actual writing skills. While the final drafts of AI-assisted essays were relatively error-free, students’ pre-edited texts showed no statistically significant differences in overall writing quality when compared to the control group. This suggests that AI-assisted editing polishes the final composition rather than developing skills, calling into question the prevailing narrative that AI tools enhance writing ability. AIツールは英語を外国語として学ぶ学生のライティング能力向上手段として頻繁に紹介されるが、AIが単なる完成度の高い最終成果物の作成ではなく、真にライティングスキルを向上させる程度については明確ではない。本研究では、日本の大学1年生93名を対象に、1学期にわたり英作文の課題を実施した。学生は自己編集グループ（対照群）とChatGPTによる支援グループ（実験群）の2群に分けられた。作文は、長さ、内容の関連性、語彙の多様性、正確性に基づいて評価された。分析の結果、ChatGPTによる編集支援は学生の書く力の向上にはほとんど寄与しないことが明らかになった。AI支援による最終稿は比較的誤りが少なかったものの、編集前の文章は対照群とは統計的に有意な差が認められなかった。このことから、AIは作文スキルを育成するよりも、最終的な文章を磨き上げるだけのものであり、AIツールがライティング能力を高めるという一般的な見解に疑問を投げかける結果となった。

Links and sources

Comments