Has Generative AI Opened a New Era for Machine Translation?— A Contrastive Quality Study and Reflections on Translation Education

doi:10.12002/j.bisu.499

Abstract

Abstract:

The introduction of the generative artificial intelligence technology, has had an immediate and substantial impact on the mode of work of those involved in language content services, sparking a massive proliferation in its potential applications. In order to evaluate the performance of the Generative Pre-trained Transformer (GPT) language model in translation practices, a translation quality assessment experiment combining automatic machine evaluation and manual evaluation was conducted. The results showed that the GPT language model does not constitute an iteration of machine translation technology in the field of translation but that it does provide a noticeable degree of quality improvement in Chinese-English translation, terminology translation, and literary translation, among other tasks. On this basis, some suggestions on how to respond to the changes brought by artificial intelligence technology to translation education are put forward.

Keywords: ChatGPT; machine translation; translation education; translation quality; comparative study

摘要：

以ChatGPT为代表的生成式人工智能技术一经问世，就引发了应用热潮，同时也对广大语言内容工作者的创作和服务模式构成了巨大冲击。本研究将机器自动评价和人工评价相结合开展译文质量评测实验，对当前GPT技术在翻译领域的应用表现进行了分析。结果表明，目前GPT技术在翻译领域中尚不构成对神经网络机器翻译技术的更迭，但在汉英翻译、术语翻译、文学翻译等领域已经表现出一定程度的质量提升。在此基础上，本研究对翻译教育如何应对人工智能技术带来的变革给出了建议。

关键词: ChatGPT, 机器翻译, 翻译教育, 翻译质量, 对比研究

CLC Number:

H059

Zhang Wenyu, Zhao Bi. Has Generative AI Opened a New Era for Machine Translation?— A Contrastive Quality Study and Reflections on Translation Education[J]. Journal of Beijing International Studies University, 2024, 46(1): 83-98.

张文煜, 赵璧. 生成式人工智能开创机器翻译的新纪元了吗?——一项质量对比研究及对翻译教育的思考[J]. 北京第二外国语学院学报, 2024, 46(1): 83-98.

Figures/Tables 10

References 30

[1]	ANAZAWA R, ISHIKAWA H & TAKAHIRO K. Evaluation of online machine translation by nursing users[J]. CIN:Computers,Informatics,Nursing,2013(8):382-387.
[2]	ARIF T B, MUNAF U & UL-HAQUE I. The future of medical education and research:Is ChatGPT a blessing or blight in disguise?[J/OL]. Medical Education Online, 2023(1): 2181052[2023-05-01]. https://doi.org/10.1080/10872981.2023.2181052.
[3]	CHATZIKOUMI E. How to evaluate machine translation:A review of automated and human metrics[J]. Natural Language Engineering, 2020(2):137-161.
[4]	COOPER G. Examining science education in ChatGPT:An exploratory study of generative artificial intelligence[J]. Journal of Science Education and Technology, 2023(3):444-452.
[5]	COTTON D R E, COTTON P A & SHIPWAY J R. Chatting and cheating:Ensuring academic integrity in the era of ChatGPT[J/OL]. Innovations in Education and Teaching International, 2023[2023-05-01]. https://www.tandfonline.com/doi/full/10.1080/14703297.2023.2190148.
[6]	DWIVEDI Y K, KSHETRI N, HUGHES L, et al. Opinion paper:“So what if ChatGPT wrote it?” Multidisciplinary perspectives on opportunities,challenges and implications of generative conversational AI for research,practice and policy[J/OL]. International Journal of Information Management, 2023(71): 102642[2023-05-01]. https://doi.org/10.1016/j.ijinfomgt.2023.102642.
[7]	KASNECI E, SESSLER K, KÜCHEMANN S, et al. ChatGPT for good? On opportunities and challenges of large language models for education[J/OL]. Learning and Individual Differences, 2023(103): 102274[2023-05-01]. http://doi.org/10.1016/j.lindif.2023.102274.
[8]	KOHNKE L, MOORHOUSE B L & ZOU D. ChatGPT for language teaching and learning[J]. RELC Journal, 2023(2):537-550.
[9]	PAPINENI K, ROUKOS S, WARD T, et al. BLEU:A Method for Automatic Evaluation of Machine Translation[R]. Yorktown Heights: IBM T. J. Watson Research Center, 2001.
[10]	ROSPIGLIOSI P. Artificial intelligence in teaching and learning:What questions should we ask of ChatGPT?[J]. Interactive Learning Environments, 2023(1):1-3.
[11]	WREDE O, MUNKOVA D, BANIK T, et al. Zur Erforschung von Korrelationen zwischen verschiedenen Fehlertypen bei der maschinellen Übersetzung aus dem Deutschen ins Slowakische[J]. Lebende Sprachen, 2022(2):432-456.
[12]	储节旺, 杜秀秀, 李佳轩. 人工智能生成内容对智慧图书馆服务的冲击及应用展望[J]. 情报理论与实践, 2023(5):6-13.
[13]	崔宇红, 白帆, 张蕊芯. ChatGPT在高等教育领域的应用、风险及应对[J]. 重庆理工大学学报(社会科学版), 2023(5):16-25.
[14]	戴光荣, 刘思圻. 神经网络机器翻译:进展与挑战[J]. 外语教学, 2023(1):82-89.
[15]	方兴东, 顾烨烨, 钟祥铭. ChatGPT的传播革命是如何发生的?——解析社交媒体主导权的终结与智能媒体的崛起[J]. 现代出版, 2023(2):33-50.
[16]	冯雨奂. ChatGPT在教育领域的应用价值、潜在伦理风险与治理路径[J]. 思想理论教育, 2023(4):26-32.
[17]	高奇琦. GPT技术与国家治理现代化:基于秩序、赋权与创新的框架[J]. 山东大学学报(哲学社会科学版), 2023(5):147-156.
[18]	郭望皓, 胡富茂. 神经机器翻译译文评测及译后编辑研究[J]. 北京第二外国语学院学报, 2021(5):66-82.
[19]	李奉栖. 人工智能时代人机英汉翻译质量对比研究[J]. 外语界, 2022(4):72-79.
[20]	李良友, 贡正仙, 周国栋. 机器翻译自动评价综述[J]. 中文信息学报, 2014(3):81-91.
[21]	李荣, 吴晨生, 董洁, 等. ChatGPT对开源情报工作的影响及对策[J]. 情报理论与实践, 2023(5):1-5.
[22]	吕东莹. 基于人机交互的汉英翻译质量比较评估——以城市规划设计文本为例[D]. 北京: 北京外国语大学, 2020.
[23]	秦颖. 基于神经网络的机器翻译质量评析及对翻译教学的影响[J]. 外语电化教学, 2018(2):51-56.
[24]	汪波, 牛朝文. 从ChatGPT到GovGPT:生成式人工智能驱动的政务服务生态系统构建[J/OL]. 电子政务, 2023:1-14[2023-05-01]. http://kns.cnki.net/kcms/detail/11.5181.TP.20230425.0901.004.html.
[25]	西桂权, 谭晓, 靳晓宏, 等. 挑战与应对:大型语言模型(ChatGPT)的多样态安全风险归因及协同治理研究[J]. 新疆师范大学学报(哲学社会科学版), 2023(6):131-139.
[26]	游俊哲. ChatGPT类生成式人工智能在科研场景中的应用风险与控制措施[J]. 情报理论与实践, 2023(6):24-32.
[27]	张峰, 陈玮. ChatGPT与高等教育:人工智能如何驱动学习变革[J]. 重庆理工大学学报(社会科学版), 2023(9):26-33.
[28]	张慧, 佟彤, 叶鹰. AI 2.0时代智慧图书馆的GPT技术驱动创新[J]. 图书馆杂志, 2023(5):4-8.
[29]	郑满宁. 人工智能技术下的新闻业:嬗变、转向与应对——基于ChatGPT带来的新思考[J]. 中国编辑, 2023(4):35-40.
[30]	周忠良. ChatGPT在翻译教学中的应用:变革、挑战与应对[J]. 北京第二外国语学院学报, 2023(5):134-146.

	源语文本		参考译文
文本类型	标题与出处	词数	标题与出处
小说	The Gift of the Magi （O. Henry，《欧·亨利短篇小说集》，2009）	323	《麦琪的礼物》（王晋华译，《麦琪的礼物：欧·亨利短篇小说集》，2020）
散文	Virginia Woolf’s Guide to Grieving （HuffPost，2016）	300	《弗吉尼亚·伍尔芙悲伤指南》^① （韩子满译，2022）
学术著作	The responsibility of intellectuals （Chomsky，The Essential Chomsky，2008）	328	《知识分子的责任》（李梅译，《乔姆斯基精粹》，2021）
法律文件	Charter of the United Nations （联合国官网，2023）	316	《联合国宪章》（国务院新闻办公室官网，2015）
新闻报道	What causes elephant poaching （The Economist，2023）	328	《大象被偷猎的原因是什么》（每日双语经济学人公众号，2023）
科普文章	Mind’s eye （Scientific American，2023）	284	《心灵之眼》（科学美国人公众号，2023）
合计		1879

	源语文本		参考译文
文本类型	标题与出处	词数	标题与出处
小说	The Gift of the Magi （O. Henry，《欧·亨利短篇小说集》，2009）	323	《麦琪的礼物》（王晋华译，《麦琪的礼物：欧·亨利短篇小说集》，2020）
散文	Virginia Woolf’s Guide to Grieving （HuffPost，2016）	300	《弗吉尼亚·伍尔芙悲伤指南》^① （韩子满译，2022）
学术著作	The responsibility of intellectuals （Chomsky，The Essential Chomsky，2008）	328	《知识分子的责任》（李梅译，《乔姆斯基精粹》，2021）
法律文件	Charter of the United Nations （联合国官网，2023）	316	《联合国宪章》（国务院新闻办公室官网，2015）
新闻报道	What causes elephant poaching （The Economist，2023）	328	《大象被偷猎的原因是什么》（每日双语经济学人公众号，2023）
科普文章	Mind’s eye （Scientific American，2023）	284	《心灵之眼》（科学美国人公众号，2023）
合计		1879

	源语文本		参考译文
文本类型	标题与出处	词数	标题与出处
小说	《围城》（节选）（钱钟书，1991）	334	Fortress Besieged（excerpt）（Jeanne Kelly & Nathan K. Mao译，2003）
散文	《匆匆》（朱自清，1996）	386	Rush （张培基译，《散文佳作108篇》，2011）
学术著作	《转型中的地方政府官员激励与治理》（节选）（周黎安，2021）	321	The Transformation of Local Governments（excerpt）（李梅译，待出版）^②
法律文件	《中华人民共和国海洋环境保护法》（中国人大网，2023）	277	Marine Environment Protection Law of the People’s Republic of China （中国人大网，2023）
新闻报道	《宏观政策为经济保驾护航》（中国日报网双语财讯栏目，2023）	348	Experts see macro policy shield for economy （中国日报网双语财讯栏目，2023）
科普文章	《腾讯启动碳寻计划，推动技术创新，助力减缓气候变化》（腾讯中文官网，2023）	340	Tencent launches the CarbonX Program to advance technology innovation to mitigate climate change （腾讯英文官网，2023）
合计		2006

	源语文本		参考译文
文本类型	标题与出处	词数	标题与出处
小说	《围城》（节选）（钱钟书，1991）	334	Fortress Besieged（excerpt）（Jeanne Kelly & Nathan K. Mao译，2003）
散文	《匆匆》（朱自清，1996）	386	Rush （张培基译，《散文佳作108篇》，2011）
学术著作	《转型中的地方政府官员激励与治理》（节选）（周黎安，2021）	321	The Transformation of Local Governments（excerpt）（李梅译，待出版）^②
法律文件	《中华人民共和国海洋环境保护法》（中国人大网，2023）	277	Marine Environment Protection Law of the People’s Republic of China （中国人大网，2023）
新闻报道	《宏观政策为经济保驾护航》（中国日报网双语财讯栏目，2023）	348	Experts see macro policy shield for economy （中国日报网双语财讯栏目，2023）
科普文章	《腾讯启动碳寻计划，推动技术创新，助力减缓气候变化》（腾讯中文官网，2023）	340	Tencent launches the CarbonX Program to advance technology innovation to mitigate climate change （腾讯英文官网，2023）
合计		2006

错误类型		大错计5分	小错计1分
准确性 Accuracy	增译（Addition）：译文中出现原文中没有且不必要的元素	产生严重后果（如损害原文语义、误导读者、使读者产生理解障碍等）	不产生严重后果（如不损害原文语义、不误导读者、不造成理解障碍等）
	有歧义（Ambiguity）：原文中意义明确但译文有歧义的片段
	错译（Mistranslation）：错误理解原文导致翻译错误
	漏译（Omission）：原文的重要信息在译文中缺失
	重复（Repetition）：译文中出现不正常的重复现象
语言 Language	语法（Grammar）：出现语法错误	产生严重后果（如使读者产生理解障碍、使译文不通顺等）	不产生严重后果（例如不影响理解的时态错译、单复数错译等）
语言 Language	拼写（Spelling）：出现拼写错误	产生严重后果（如使读者产生理解障碍、使译文不通顺等）	不产生严重后果（例如不影响理解的拼写错误）
风格 Style	不符合目的语表达习惯（Unidiomatic usage）：未采用目的语的惯用表达方式	产生严重后果（如损害原文语义、误导读者、使读者产生理解障碍等）	不产生严重后果（如不损害原文语义、不误导读者、不造成理解障碍等）
	风格不一致（Style inconsistency）：译文与全文风格不一致，或者译文不符合目的语中该文本类型的风格要求
	死译（Overly literal）：译文生硬，字对字翻译特征明显
	语言环境公约（Locale convention）：译文没有遵从目的语的文体和格式约定，如没有使用适当的数字格式或者没有使用正确的标点等	产生严重后果（例如使读者产生理解障碍、使译文不通顺等）	不产生严重后果（如不损害原文语义、不误导读者、不造成理解障碍等）
术语 Terminology	术语不一致（Terminology inconsistency）：术语表述前后不一致	产生严重后果（如损害原文语义、误导读者、使读者产生理解障碍等）	不产生严重后果（如不损害原文语义、不误导读者、不造成理解障碍等）
术语 Terminology	规范性（Standardization）：与官方或大众普遍认可的术语不一致，包括术语错译、术语漏译、自创术语等	产生严重后果（如损害原文语义、误导读者、使读者产生理解障碍等）	不产生严重后果（如不损害原文语义、不误导读者、不造成理解障碍等）
文化 Culture	译文包含的源语文化令读者无法理解	文化类均计为大错	无