北京第二外国语学院学报  2017, Vol. 39 Issue (3): 12-30
言语行为理论与多模态研究——兼论多模态(语料库)语用学的逻辑    [PDF全文]
黄立鹤    
摘要:人们在日常交际中实施的是一个个“鲜活”的言语行为,研究者应当从人类普通行为的视角看待言语行为,在社会场景观照下对其进行考察。多模态研究拓展了学者们对包括言语行为在内语用课题的考察视野和方法,为从结构形式、韵律特征、体貌动作等多个维度研究言语行为提供了可能。个案研究显示:说话人的话语内容、韵律特征、体貌表现等资源都为其言语行为的实施作出了贡献。研究者基于多模态语料库开展言语行为研究,是以新的研究范式重新检视语用学经典课题,拓展了言语行为的研究视野,对语力、语力显示项等概念、范畴进行了发展,尤其为间接言语行为的考察提供了新路径,能够深刻揭示言语行为的本质和特点。这启示研究者应当重视运用多模态方法考察语用问题,关注多模态(语料库)语用学的兴起。运用多模态方法研究语用问题,可在研究方法上对语用学研究进行升级,从而对相关语用学理论进行拓展、修正。
关键词 言语行为      多模态      语料库      语用学      范式创新     
Speech Act Theory and Multimodal Analysis: the Logic in Multimodal (Corpus) Pragmatics
HUANG Lihe    
Tongji University, Shanghai 200092, China
Abstract: Live speech acts in situated discourse are performed by live "whole persons" who interact with the environment in a multimodal way. In this sense, speech acts are suggested to be studied in the perspective of human behavior and in the framework of social situation. With the help of Corpus Linguistics and multimodal approach to language study, researchers are able to further investigate pragmatic issues to develop a better understanding on human interaction and refne traditional pragmatic theories or concepts. Adopting the method of Multimodal Corpus Linguistics and the basic thought of Simulative Modeling, the pilot study in this paper shows that the live illocutionary act is rooted in the whole multimodal interaction of speakers, thus the illocutionary force is multimodal in nature. Illocutionary Force Indicating Devices range in its scope from language structures, prosodic features to non-verbal gestures, etc. All these resources, which are impacted by speakers' occurrent emotions and other factors, work in a collaborative way to help speakers to perform illocutionary acts. These fndings are in compliance with Austin's observation on the accompaniments of the utterance when a speaker performs an illocutionary act. The fndings extend the inquiry of Speech Act Theory and develop the concept of Illocutionary Force Indicating Device by using the novel method and new linguistic data. This paper provides a reference for further study of pragmatic issues based on multimodal corpus, multimodal approach to pragmatic study, or even Multimodal (Corpus) Pragmatics, therefore, should receive due attention.
Key words: speech acts      multimodal      corpus      pragmatics      paradigm innovation     
引言

言语行为研究是语用学领域的核心话题之一。在初始阶段及之后较长一段时间内,语言哲学意味浓重,相关研究多关注语用逻辑及形式化方法,青睐施事行为分类与施事动词研究;在语力表达手段的研究上,多从语言内部结构(如词汇、句法)入手,较少考虑其它因素,语力显示项研究视野相对局限;在研究方法和语料上,多集中于句子层面而较少进入话语层面。虽然Austin(1962)等学者指出,除施事动词或其它词句结构外,包括语调、节奏和重音等在内的韵律特征,以及伴随话语出现的姿态等都是实现言语行为的手段,但其后学者少有对韵律、表情、动作等自然会话中出现的其它手段进行系统考察;将结构形式、韵律特征、体貌动作等多种手段置于一个框架内进行研究的成果更是鲜见。

本文首先回顾言语行为研究的历时发展过程,特别是研究语料从单模态到多模态的演变;随后介绍现场即席话语中言语行为的多模态分析方法,并举例予以说明。在此基础上,介绍基于多模态语料对语用课题进行研究的思路。

一、言语行为研究的历时发展:从单模态到多模态

言语行为研究历史较长、成果丰硕。从历时发展角度看,言语行为研究大致经历了以下三个阶段:(1)言语行为理论的建立及分析哲学家的早期研究;(2)言语行为研究中语言学家的加盟;(3)基于语料库的言语行为研究。黄立鹤(2014)梳理了言语行为研究中形式逻辑的研究传统,并分析了相应特点及其成因。本文对言语行为的早期研究不作详细介绍,而从研究中语料的变化谈起。

1. 基于文本语料库的言语行为研究

随着语用学自身发展和研究范式的多样化,言语行为研究呈现出新的研究取向,研究界面得以拓展。20世纪80年代起,国外基于语料库的语言研究开始蓬勃发展。在该背景下,语用学研究也逐步开始借助语料库方法开展起来。在基于语料库的语用学研究中,言语行为研究是一个重要话题(钱永红、陈新仁,2014)。Aijmer(1996)对若干英语言语行为的考察当属开拓;Cutting(2001)探讨了自然会话中说话人不同态度下言语行为的实施规律;Kohnen(2000),Adolphs(2008),Rühlemann(2010),Archer,Aijmer & Wichmann(2012)以及McAllister(2015)等都探讨了语料库方法在包括言语行为在内的语用研究中的应用问题;国内研究包括向娟(2007)从语义韵入手评价英语承诺类言语行为的特征、匡川(2013)对汉语感谢言语行为的研究、刘陈艳(2013)对中国大学生实施英语请求言语行为的特征分析等。

使用语料库方法进行言语行为研究,困难之一是对言语行为类别的确定及标注。其难点在于并非所有言语行为都有规约化、相对固定的句法形式,Rühlemann(2010:290)将此情况称为没有“词汇标记”(lexical hook)。相关标注除了要考虑词汇、短语等,还涉及语境信息(Weisser,2015:84)。目前对言语行为的标注主要有两种:一是为某个具体研究任务设计的标注方法,二是旨在研发覆盖范围更广的、一般意义上的言语行为标注体系(Leech & Weisser,2003)。较为常用的方法是对所有语料文本进行逐一分析(line-by-line analysis),即对每一个话语单位(utterance)标注一个合适的言语行为类型,随后再使用语料库工具对已经初步标注的语料进行其它信息的加注(McAllister,2015)。该方法对言语行为的判断、标注相对准确,但面对较大规模的语料时则耗时耗力。一些学者开发了用于语用研究的标注框架(包含言语行为标注),如DAMSL、SWBDD以及DART等(Weisser,2015),建设了一些言语行为标注语料库(Maynard & Leicher,2007),提供了言语行为标注的实践案例(Rühlemann & Aijmer,2014)。在自然语言处理领域,研究者还研发了言语行为自动标注及加工方案(Georgila,Lemon,Henderson & Moore,2009;Leech & Weisser,2013等),相关软件工具得以开发(Weisser,2003),但汉语言语行为的语料库标注十分鲜见。

基于语料库进行的言语行为研究从整体上看有以下几个特点或不足:一是研究中涉及的语料库均为文本语料库,即使是研究自然口语中的言语行为,也建立在转写文字的基础上。

二是一些研究把对施事动词的标注、检索、统计与分析等同于对言语行为的研究。虽然不少研究者已将其它语言形式及前后文语境纳入对言语行为的判断和研究中,但对语言形式本身(如施事动词、约定俗成的形式标记等)的标注、检索和分析仍是第一位的。尤其是早期基于语料库的言语行为研究,主要着眼于具有固定形式或规约化了的言语行为(如Aijmer,1996等)。

三是多数研究将一个个话语单位(utterance)等同于一个个独立的言语行为(speech act)。但在自然会话中,言语行为完全是功能意义上的,一个speech act可能由多个utterance承担,两者之间并没有严格的一一对应关系。

2. 多模态语言研究的兴起与言语行为研究

Searle(1969:30)、Searle & Vanderveken(1985:1~2)曾指出:在英语中,言语行为的语力显示项除施事动词外,还包括语气(mood)、标号(punctuation)、语序(word-order)、语调(intonation contour)和重音(stress)等。之后,部分学者考察了语音、韵律与言语行为之间的关系。例如,Fónagy,Bérard & Fónagy(1983)分析了法语语调与语力表达之间的关系;Wennerstrom(2001)探讨了英语韵律对判断语力的作用;Meyer & Mleinek(2006)考察了俄语中韵律对于说话人不同语力表达的作用;de Moraes & Rilliard(2014)则引入了情感维度,讨论了巴西葡萄牙语情感韵律、脸部表情与语力表达之间的关系。

近十年来,多模态语料库语言学(Multimodal Corpus Linguistics)逐步兴起。多模态研究拓展了学者们对包括言语行为在内语用课题的考察视野和方法,如Kendon(1995)利用视频语料分析了在意大利南部现场即席话语中四个常用手势作为语力标记的意义,认为这四个手势可以明确地指示不同的言语行为;Mubenga(2008/2009)以电影为语料,对比了翻译中英语、法语言语行为的异同,并以Halliday的系统功能语法及符号学理论为基础提出了多模态语用分析方法(Multimodal Pragmatic Analysis)。但总体而言,运用多模态语料库语言学方法研究言语行为仍为鲜见。

① 不同学者对多模态语料库语言学(Multimodal Corpus Linguistics)背后的思想方法阐述不同,可参考Baldary & Thibault(2006)、顾曰国(2013)等。

Gu(2013)基于对多模态语料库中的个案语料分析,构建了一个用以分析施事行为的概念模型,探讨了现场即席话语中语力、情感及韵律之间的关系。该项研究为考察现场即席话语中的鲜活语力提供了分析思路,但仍需要进一步拓展和深入。例如该研究主要讨论语力及韵律、情感之间的互动关系,没有涉及说话人的表情、动作和体态等体貌表现。顾曰国(2013)在多模态语料库语言学基本方法、贴真建模、言思情貌整一原则等方面的系列论述,为运用多模态语料库研究言语行为提供了理论架构和分析方法。总体而言,运用多模态语料库方法对包括言语行为在内的语用问题进行研究仍处起步阶段,尤其是国内,仅有的研究也是理论探讨。该研究方法在语用学界虽是少数派,但代表了最新的研究方向,需要实证研究对其拓展、细化。

二、普遍行为视角下的言语行为

言语行为理论原本看到了语言与行为、社会的交融:Austin(1962)的“以言行事”告诉我们很多话语具有人类行为的特质,语言是一种特殊的人类行为;Levinson(1983:246)也曾指出,语力属于行为范畴,对其分析的合适工具应当在行为理论而非意义理论中寻求;Searle(1969)等将言语行为视为“语言交际的基本单位”,且坚称“语言理论是行为理论的一部分”(Searle,2001)。但诸多过往研究并没有真正将言语行为当作行为理论的一部分来处理,学者们主要从语言内部入手对其进行阐释分析。受此影响,相关研究对言语行为所在的情境等社会性因素关注不够。Searle后期改变其早期著作中将语言与行为、语言与社会融为一体的主线,开始从大脑的意向性(intentionality)寻求言语行为研究的突破口,走向将语言与大脑机制融为一体的轨道,把言语行为理论

② Searle所说的“意向性”不是单指意图或目的,而是对大脑所具有的信念、愿望、五官感受等心理活动能力的概括,相关探讨涉及语言哲学问题,可参考顾曰国(2017)。根植到心智哲学(顾曰国,1994),研究语言的取向也从行为学走向了生物学(顾曰国,2017)。

人们在日常交际中进行的是一个个“鲜活”的言语行为,因此黄立鹤(2014)提出要面向现场即席话语进行言语行为研究,其本质是从人类普通行为的视角看待言语行为。这一点与Austin建立言语行为理论的初衷是一致的。虽然现象学派哲学家Brentano、Husserl、Reinach以及Daubert对言中有行的现象早有论述(顾曰国,1994:2),但Austin把言语行为视为人类行为且提供这样一个分析单位,对语言学研究而言具有重要启示意义。Austin(1962)还指出,话语所在的环境(the circumstances of the utterance)是判断语力的重要参照。之后,Mey(2001:206~235)也认为有效的言语行为是存在于一定语境中的;Searle & Vanderveken(1985:27)将施事行为所在环境称为“话语语境”(the context of utterance),并指出:同一话语在不同语境中可以形成各不相同的施事行为,因此语境是决定施事行为的要素之一;McAllister(2015:45)也通过一定规模的语料库研究证实,情景类型(situation type)对于确定言语行为类型具有作用。这些论述虽然考虑到了话语环境在言语行为研究中的重要地位,较其前的研究更加贴近Austin言语行为理论的初衷,但仍然只是将语言使用问题过滤为单纯的信息交流问题。顾曰国(2010:xvi)提出,要用普通行为理论的基本架构处理语言使用问题,因为语言使用和社会活动是交织在一起的。

既然“鲜活”的言语行为是由一个个声情并茂、体貌丰富的人在日常活动中实施的,那么面向现场即席话语的言语行为研究就要从会话人的整个行为入手,从言语行为的主体、活动、系统等多个视角进行考察,其实质是秉承“语言理论是行为理论的一部分”(Searle,2001)的理念。人类互动行为是“在一定时空中发生的社会行动”(social action over space and time)(Gu,2006:133)。作为人类互动的一种,现场即席会话显然也是基于一定时空的,面向现场即席话语的言语行为研究就要从基于一定时空的社会活动入手。从这个意义上说,话语所在的社会场景(social situation)不能视作传统意义上的语境(context)作为言语背景加以分析,而是其本身可以成为最高一层的分析对象(Gu,2006:201)。同样的,社会场景往下的不同层级也可成为分析对象。

那么,如何对社会场景及其包含的各层结构加以切分呢?我们可以借用社会情景的结构分析方法(Argyle,Furnham & Graham,1981)。日常生活(social life)是由一个个社会场景(social situation)组成的,现场即席话语是在社会场景中产生的。社会场景是连接社会与个体的交互点(Gu,2006)。当我们使用音视频流将会话参与者的话语活动记录下来时,就是在对连绵不断的话语活动流进行取段,形成一个个有意义的片段(chunk)。从研究的角度来说,我们可以把用音视频流采录的多模态文本视为一个个社会场景(Gu,2006)。

片段是可以结构化的。如何结构化涉及研究者从哪些视角看待现场即席话语,或者说从哪些视角进行建模。从理论上说,建模的视角可以无限,其选择取决于实际研究需要。Gu(2009)列举了参与者、活动和系统这三个面向话语活动的建模视角,研究者可根据研究需要选取视角:从参与者视角可对一定时限中的个体行为(time-bound behavior)建模;从活动视角可对活动模式与结构建模,也可对角色、关系建模;从系统视角可对行为场景建模。在研究现场即席话语中的言语行为时,Gu(2013)采用的是从参与者视角进行建模,从参与者的“言思情貌”四个视角入手分析(顾曰国,2013),本文对言语行为进行描写与分析时采用的也是从参与者视角建模。

我们如果从活动建模视角来看,就可以将一个个社会场景进行结构化分析。与社会场景相关的概念是Levinson(1992:69)提出的活动类型(activity type)。Argyle,Furnham & Graham(1981)提出的社会场景(social situation)和Levinson的活动类型(activity type)既有联系,又有区别。活动类型在本质上与社会场景相似(Gu,2006:127~167),但两者亦有区别:社会场景是话语发生的大环境,可以包含一个或多个活动类型。如Gu(2006)曾举例,在考古发掘现场这一大的社会场景中,可同时发生四个下属的活动类型:工作人员发掘文物,记者采访专业人士,摄影师采录现场以及保安人员维护现场秩序。在作者自行构建的多模态语料库中,也发现了同一社会场景包含多个活动类型的语料

③ 例如,在“拼装汽车”这一大的社会场景中,包含发音人与他人合作拼装一辆儿童玩具汽车、母亲哄小孩并制止其捣乱、周围同事谈论玩具汽车三个活动类型。

再往下,活动类型由一系列任务(task)或花絮(episode)组成;活动类型的目的决定具体行动的性质是任务还是花絮:任务是实现活动类型核心目的的行动,花絮是与活动类型主体目的并行的、边缘性的行动(Gu,2006:142)。如在开会时,主持人介绍嘉宾是一个任务,而与此同时进行的服务员倒茶就是一个花絮。从整体上看,一个社会场景及下辖的活动类型,是由一个个任务及花絮组合而成的追求目的的过程。

若从人类社会互动分层的角度来看,以上这些单位构成了社会心理层(socio-psychological layer)。任务或花絮的下一层级结构是个体行为,属于个体行为层(individual behavior layer),包括一系列的言(talking)、行(doing)、言语行为(act)以及语力的韵律单位(prosodic unit)等。图 1为社会场景的分层结构。

图 1 (Gu,2006:132)

本文所讨论的就是社会场景观照下个体行为层中的言语行为研究。

三、现场即席话语中言语行为的多模态分析 1. 言语行为多模态分析的理据及研究准备

在现场即席话语中进行话语活动的主体是一个个声情并茂、体貌丰富的鲜活的、完整的人,顾曰国(2013)将其称为“鲜活整人”(the whole person)。同样地,本研究面对的言语行为实施主体是一个个“鲜活整人”,而不是只能通过语言进行信息交流的、经过理想化过滤的“说话人”(the talking person)。言语行为的实施,语力的形成、传递与接收均是多模态交互过程。如果使用贴真建模的方法、从参与者视角对现场即席话语进行研究,那么一个个在话语活动中声情并茂的“整人”就是研究者贴真建模的对象(顾曰国,2013:6);如果使用贴真建模的方法对现场即席话语中的言语行为进行研究,那么一个个由“鲜活整人”实施的言语行为就是研究者贴真建模的对象。

④ 这种思想可追溯至Firth(1957:19)的论述,参见黄立鹤(2016)的介绍。

在“鲜活整人”的现场即席话语中,包括体貌、韵律等都是一个个鲜活的、完整的人在现场即席话语中“以言行事”的组成部分,因此从普通行为角度研究言语行为,就要将会话参与者的表情、动作、姿态等体貌表现纳入研究视野之中,它们是与话语内容、韵律特征等具有同等地位的分析对象。这一点与过去语用研究中将表情、动作、体态等视为副语言信息或非语言信息的做法在理论上有着根本不同。

Austin(1979:237)曾明确指出,有很多非言语信息也可以帮助我们完成言语行为。他当时提及的动作包括眨眼、指点、耸肩、皱眉等,认为即使在没有话语出现的情况下,这些动作对于语用意义的传递也是至关重要的(Austin,1962:76)。因此,包括语气、语调、节奏、重音(tone of voice,cadence,emphasis)以及伴随的姿态(如眨眼、指点、耸肩、皱眉等)都是实现施事行为的替代手段。有时,一些动作信息还可以帮助消除语力的歧义,如Austin(1979:245~246)曾举了这样的例子:设想一个人在你面前弯下腰,这个动作有很多目的或含义,可以是观察你面前地上的植物、系鞋带或者其它,也可能是对你表示尊敬。其它显示项的出现,如“脱帽并说问候语”则可以帮助交际者消除这样的歧义。因此,这些动作也是构成“以言行事”的内涵之一。日常经验告诉我们,同一句话语内容配合不同的韵律、表情或动作,往往传递着不同的语力。例如,“你真聪明”配合升扬语调、微笑扬眉的表情,甚至手舞足蹈,表现的也许是说话人高兴、兴奋的情感,是对听话人由衷的赞扬;同样这句话,说话人若是使用降调,语气不温不火,配合着皱眉眯眼,甚至歪头斜视,听话人则能感到说话人的不满情绪以及充满“讽刺”意味的语力。这些就是我们平时所说“听话听音”“察言观色”的含义。这就提示我们要从形式结构、韵律特征、体貌动作等多个维度考察言语行为。

本研究以“以言行事”的说话人为建模视角,从多个维度对言语行为进行分析。笔者分析的基本框架修正于Gu(2013)提出的“八位集组”方法(octet scheme)。该方法借用集合理论(Set Theory)的形式化手段,在考虑了语力的本身基本构成,以及其所处的现场即席话语相关特征和影响因素的基础上,进行开放式的形式化归纳。在此基础上,笔者设计了一套现场即席话语言语行为的发现程序。所谓“发现程序”,是指一种对语言某个层面进行分析的技术过程,我们借用结构主义“发现程序”的基本理念,在构建多模态语料库的基础上,观察、描写现场即席话语中的鲜活语力,这是与描写语言学(Descriptive Linguistics)研究传统保持一致的。该发现程序包括:概念模型、情境因素、情感状态、韵律特征、体貌表现。具体见图 2

⑤ 顾曰国、张永伟(2013:225~226)就采用集合论作为概念建模方法的原因进行了说明。

⑥ 概念模型中8个子集的内涵、情感状态的区分与内涵,可参见Gu(2013)。

图 2  

随后,按照发现程序这一框架,设计现场即席话语中言语行为的切分与标注方案。从发现程序的设计到多模态语料切分与标注方案的设计,涉及一系列理论和实践的问题,本文不作详细论述。我们采用语料库语言学的基本方法,通过构建文本层、音频层、视频层集成的多模态语料库(黄立鹤,2015a),研究汉语说话人如何在多个界面中调用多种表达手段实施言语行为,揭示说话人在特定情境、意图和情感下,各种语力表达手段在多界面中的互动规律及其影响因素。

限于篇幅,这里仅从笔者自建的多模态语料库中选取一个“满意”言语行为实例,演示对其进行多模态分析的基本过程。

2. 言语行为的多模态分析:以“满意”为例

首先对“满意”言语行为进行概念分析。

(1)说话人角色

在“满意”言语行为中,说话人角色既可以是单个个体,如某个说话人对某件事物、状态或人表示满意,也可以是两人或集体共同表示满意。

(2)听话人角色

在“满意”言语行为中,听话人角色可以是单个个体,也可以是两个个体或集体。

(3)施事性

说话人在向听话人表达“满意”语力时,既可以使用诸如“我对+具体内容+感到满意”等显性话语结构,也可以通过隐性方式表达满意,即直接说出符合自己愿望或心意的具体内容。

(4)核心内容

“满意”语力的核心内容是符合说话人愿望或心意的具体内容或发生原因,即令说话人“满意”的对象或缘由。

(5)意图状态

说话人确实认为某个事物、经历、状态或人符合自己的真实愿望和心意。

(6)情感状态

“背景情感”受到说话人身体状况的影响,而“满意”语力的“基本情感”和“社会情感”通常是正面、积极的。这是因为话语内容通常是符合说话人真实愿望或心意的事物、经历、状态或人,在通常情况下是正面、积极情感的诱发条件。

(7)情境

“满意”语力实例可以发生于各种情境中,要结合具体情况分析说话人的“满意”语力是否符合情境因素、说话人是否具有合适身份、内容是否符合公序良俗等一系列情况。

(8)依存性

现实关系:确实发生或存在符合说话人真实愿望或心意,并按常规逻辑会令人“满意”的客观事物、经历、状态或人。这些客观事实的时间指向性既可以指向过去,即在过去经历中存在值得“满意”的事物经历、状态或人;也可以指向现在、当下;亦或是指向将来,即对某事物或人的发展趋势或前景感到满意。

言行关系:可以在说话时单独表达“满意”,也可以边做其它事边表达与之相关的“满意”语力。

前后关系:要根据语境分析,其前可能是对某个客观状态或事件的陈述,其后可能是对该状态或事件的进一步讨论。

综上所述,“满意”语力类型的本体分析可以通过图 3中的集合形式表示。“满意”语力

图 3  

接下来,选取一个“满意”言语行为的实例进行多模态分析。

⑦ 笔者在采集语料时已获得发音人允许,可因学术需要公开包含其影像的多模态语料。

实例语料转写:

现在可以了//就是以前//那现在我们几乎天天都有荤菜//哎对了//现在生活条件又好了以后//我也不抠了//就一个媳妇娶上来了//怎么讲啊//反正也不背账//哎//都快有孙子了//快要有孙子了//哎对呀//嗯对//女儿呢//反正她自己//以后自己陪嫁也够了//反正她自己也忙个//七八万//呵呵

本语力实例中,说话人为一名四十多岁的校园清洁工张某,在一天工作后,傍晚时分在学校提供的宿舍里边捡菜边与笔者交谈,谈话内容是该女工的打工情况和生活状态。该女工坐在板凳上,面向笔者,女工右侧是其外甥,正在进行语料录制,整个过程没有参与会话。因此,说话人仅有清洁女工一人;听话人有两名,分别是参与会话的笔者,以及未参与会话的语料录制人员。

说话人并没有使用“满意”或其它施事动词,但通过话语内容、韵律特征和表情等模态信息,可以判定说话人对目前的生活状态表示满意。该语力的核心内容是该清洁女工通过打工,经济状况有所提升,生活质量不断提高。具体表现为:以前因为收入捉襟见肘而不舍得吃荤菜,但现在每顿饭都吃得上荤菜,并且儿子已成家、即将生育,女儿自己准备了陪嫁,没有外债等。这些内容都是值得说话人满意的事物,伴随着该女工积极向上的态度、信念,以及相应的情感状态。

⑧ 如何根据多模态线索对说话人的情感、意图进行判断、分析,以及运用多模态方法对意图进行实证研究,涉及一系列其它问题,这里不予展开。

(9)情感状态

背景情感:与说话人身体状况相关,对韵律基调产生直接的影响。说话人只有四十多岁,身体仍然康健。由于该谈话是在其结束一天较高强度的工作(室外扫地)后进行的,从笔者平时对其说话常态的了解以及此时神态上可以判断,该说话人已经显露疲态,因此标注为“ 疲惫”。

基本情感:说话人认为自己目前的生活状态和经济状况较以往有了较大改善,且儿子已经结婚并即将生育下一代,女儿也有了一定经济基础,因此感到“ 高兴”。社会情感:由于是对本人生活状态的态度评价,因此情感指向性均是“ 对己”,情感性质属于“ 正面”,具有“ 得意”的情感因素,从诸多线索可以判断,说话人张某对目前通过自己打拼获得幸福生活而感到得意。说话人“满意”语力的话语中有明确提示,如“现在可以了”“现在我们几乎天天都有荤菜”等。

(10)韵律特征

通过Praat参数分析,该说话人表达该语力时以中语阶为主,同时出现了多次高语阶,升调、降调、平调均有出现。

虽然该女工刚完成一天的户外高强度工作,已经很疲惫,但仍然出现了多次中高语阶的情况,说明她兴致很高;联系该语力实例核心内容,即对目前生活状态的态度表现来看,说话人的确对目前生活很满意,流露了较为明显的愉悦情感。比较该说话人在中性类语力中的调模来看(语阶在180至190Hz左右),此处语阶整体至少在200Hz以上,高语阶处在300Hz以上,如图 4所示。

图 4  

该女工在整个语力表达时,共出现重音5次、笑声1次。通过观察发现,这些重音是在说话人强调令人满意的情况时出现的。第一个重音出现在“现在”上,第二个重音出现在“天天”上,且配合的是高语阶、降调的调型、调模,表示说话人的满意态度。这两个重音的位置均是分句的句首位置,与刘艳(2011:61)关于高兴情感韵律重音位置出现概率的统计一致。

(11)体貌表现

任务行为:该说话人一开始坐着边捡菜边谈话,后来说到兴致处则停下了手中的捡菜,与听话人进行交谈。

非言语行为:本语力实例中,说话人出现了3次较为明显的微笑表情,分别出现在谈及自己快有孙子了,话题转到女儿,以及女儿存款达到七八万3处,从表情上显露了说话人谈及相关话题时的愉悦、高兴之情。如图 5所示。

图 5  

(12)语力表达手段的动态呈现过程

在现场即席话语中,说话人运用多种语力表达手段、呈现多种语力显示项是一种复杂的动态过程,不同表达手段和语力显示项之间出现的先后顺序、起讫过程在每一个语力实例中都是不尽相同的,需要在各自社会场景中结合不同说话人进行具体分析。从前述的分析框架来看,我们主要通过依存性分析中的言行关系,以及韵律特征、体貌表现等层面加以体现。

依存性分析中的言行关系主要是指说话人在进行施事行为时,行为与说话之间相互依赖、互相依存的关系(doing-and-talking interdependency)。言行关系的分析需要结合特定情境下说话人的言、貌线索进行,我们采用的是Gu(2006)提出的共现组合(confguration)分析方法,该方法可以对会话参与人的任务、花絮、言语(talk)等行为的先后顺序、起讫时间、组合关系等进行描写、分析,从而真正从普通行为的视角分析说话人的言语行为。

上述分析需要多模态语料的支撑。在数据层面,我们在Elan的语力实例标注中设置“依存性”这一层级,用以分析该语力实例的依存性关系。在此基础上,分析说话人言行关系的动态情况。从本例看,说话人在整个过程中保持着各种动作(包括注视听话人、摆头、旁视、微笑以及挠脖子等);有些动作(如微笑、摆头)显示了说话人对所说内容尤其高兴、满意,在说“几乎天天都有荤菜”“快要有孙子了”以及(女儿陪嫁)“七八万”等时出现;说话人说话时停时续,共有6个话轮,当中有多个不同时长的停延,有些是自然停顿,有些是等待听话人反应。

可以看到,说话人表达语力时各种手段的先后顺序、起讫过程都是动态过程,言和行通常是交叠共现的。只有从言语行为所在的活动类型、社会场景入手,进行综合性的分析,才可确定说话人的语力。

(13)讨论

通过上述分析可见,“满意”言语行为在说话人角色、听话人角色、施事性、核心内容、意图状态、情感状态、情境、依存性8个方面均有自己的本体特征;显性施事动词或语言形式标记虽是常用语力表达手段,但在本实例中没有出现。通过对实例的多模态分析可知,说话人以中语阶为主,多次出现高语阶,另外出现重音、笑声等,这些均与说话人因对某个方面感到满意而产生的积极情感有关,包括微笑等在内的体貌表现也在“满意”言语行为中出现。

上述主要对一个“满意”言语行为的个案进行定性考察,限于篇幅,这里无法对笔者自建的多模态语料库中所有“满意”言语行为实例进行定量分析。在建设多模态语料库的基础上,还可对鲜活的言语行为进行如下考察:以频数统计方法分析不同类别语力表达手段的多维性,并在此基础上构建语力表达手段及语力显示项的资源系统;语言结构、韵律特征与体貌表现在言语行为实施中的各自功能承载规律;不同类别语力中各表达手段的相关与协同、显现的影响因素等。作者基于一定量语料,通过初步因子分析得知:与包括“满意”在内的受益类言语行为显著相关的情感主要是正面、积极的,基本情感主要是高兴,社会情感包括满意/认可、兴致/积极/热情、得意/自豪、期待、感谢/感激、尊敬/佩服和赞赏等;(中)高语阶、重音、笑声是常见的韵律特征;在体貌表现方面,除(微)笑作为正面社会情感较为显著相关的线索外,其它动作并不具有典型性。语料库中没有检索到显性施事动词或其它形式标记。

可见,言语行为的实施涉及“语力表达手段及语力显示项资源系统”,结构形式、韵律特征与体貌动作在言语行为的实施中具有不同的功能承载,会话参与人调用多种资源,在各类语力显示项的协同作用下,言语行为得以实施,语力得以表达。

四、言语行为多模态分析的启示:多模态(语料库)语用学的逻辑

言语行为作为一个功能单位,上接语篇、话语,下接词汇、句法,是研究人类互动交际中话语功能与句法结构的理想连接点。结合语料库语言学定量分析与个案定性分析,通过创新研究方法重新检视语用学的经典课题,可以拓展言语行为的研究视野,对语力、语力显示项等概念和范畴进行发展,尤其为间接言语行为的考察提供了新路径,能够深刻揭示言语行为的本质和特点。

我们应当认识到,使用多模态研究方法拓展了对包括言语行为在内的语用研究视野。国内已有学者认识到多模态语料在语用分析中的重要意义,在符号学属性的多模态研究路径下提出了一个多模态语用分析框架(陈新仁、钱永红,2011)。无论是基于部分多模态语料,还是建设成多模态语料库,都为研究者从韵律、表情、动作、姿态等多个角度考察语用意义表达规律拓展了空间。多模态语料不仅可以体现诸多原先未能记录的信息,而且可以呈现语言与语境或其它因素之间的关系,对研究者从人们普通行为的高度更为全面、准确地解读语言使用意义十分关键。另外,使用多模态研究方法对自然会话中言语行为(语力)的研究可以为各类人机对话系统研发提供语言学理据,尤其对多模态融合(包括语音、表情、身姿等)的对话框架研发具有启示意义。

目前,基于一定量语料并建设成多模态语料库的语用学研究,已逐渐成为学者们关注的新领域(Romero-Trillo,2008),有学者甚至提出多模态语料库语用学(Multimodal Corpus Pragmatics)的概念(Knight & Adolphs,2008)。鉴于其不可替代的优势,有学者还认为基于多模态语料库的研究将成为未来基于语料库语用研究的主流(Rühlemann,2010)。

运用多模态语料库语言学方法对语用课题进行研究,既可以为语用研究增加定量分析的客观性,从较大程度上弥补传统语用研究的不足,也能借助多模态语料库语言学强劲发展的推力,避免传统文本语料库无法体现诸多重要言语交际信息的不足,在研究方法上对语用学研究进行升级,从而对相关语用学理论进行拓展、修正,这正是构建多模态(语料库)语用学的逻辑。运用多模态方法研究语用问题,绝不仅限于言语行为,还可对语用标记、语用身份构建、权力运作、礼貌问题、会话含义、预设等一系列课题进行新的考察,为从认知、社会和文化等视角考察语言使用提供了新的有力路径。当然,随着研究者认识到多模态语料库语言学范式的重要价值,其基本方法还可运用于修辞学(黄立鹤,2015b;2017)、会话分析等其它领域,甚至是其它人文社科研究。期待国内有更多语言学者关注并参与多模态语用学、多模态修辞学等领域的研究。

参考文献
[1] Adolphs S. Corpus and Context: Investigating Pragmatic Functions in Spoken Discourse[M].Amsterdam: John Benjamins Publishing Company, 2008.
[2] Aijmer K. Conversational Routines in English[M].London: Longman, 1996.
[3] Archer D, Aijmer K & Wichmann A. Pragmatics : An Advanced Resource Book for Students[M].London: Routledge, 2012.
[4] Argyle M, Furnham A & Graham J A. Social Situations[M].Cambridge: Cambridge University Press, 1981.
[5] Austin J L. How to Do Things with Words[M].London: Oxford University Press, 1962.
[6] Austin J L. Performative Utterance[A]. In Austin J L(Ed.). Philosophical Papers(3rd edition)[C]. Oxford : Oxford University Press, 1979.
[7] Baldary A & Thibault P. Multimodal corpus linguistics[A]. In Thompson G & Hunston S(Eds.). System and Corpus : Exploring Connections[C]. Sheffield : Equinox Publishing Ltd., 2006: 164~183.
[8] Cutting J. The speech acts of the in-group[J].Journal of Pragmatics, 2001, 33(8): 1207–1233. doi:10.1016/S0378-2166(00)00056-4
[9] de Moraes J A & Rilliard A. Illocution, attitudes and prosody[A]. In Raso T & Mello H(Eds.). Spoken Corpora and Linguistic Studies[C]. Philidelphia, PA : John Benjamins Publishing Company, 2014: 233~270.
[10] Firth J R. Papers in Linguistics 1934-1951[C]. London : Oxford University Press, 1957.
[11] Fónagy I, Bérard E & Fónagy J. Clichés mélodiques[J].Folia Linguistica, 1983, 17(1-4): 153–186.
[12] Georgila K, Lemon O, Henderson J & Moore J D. Automatic annotation of context and speech acts for dialogue corpora[J].Natural Language Engineering, 2009, 15(3): 315–353. doi:10.1017/S1351324909005105
[13] Gu Y. Multimodal text analysis -a corpus linguistic approach to situated discourse[J].Text and Talk, 2006, 26(2): 127–167. doi:10.1515/TEXT.2006.007
[14] Gu Y. From real-life situated discourse to video-stream data-mining[J].International Journal of Corpus Linguistics, 2009, 14(4): 433–466. doi:10.1075/ijcl.14.4
[15] Gu Y. A conceptual model of Chinese illocution, emotion and prosody[A]. In Tseng Chiu-yu(Ed.). Human Language Resources and Linguistic Typology[C]. Taipei : Academia Sinica, 2013: 309~362.
[16] Kendon A. Gestures as illocutionary and discourse structure markers in Southern Italian conversation[J].Journal of Pragmatics, 1995, 23(3): 247–279. doi:10.1016/0378-2166(94)00037-F
[17] Knight D & Adolphs S. Multi-model corpus pragmatics : the case of active listenership[A]. In Romero-Trillo J(Ed.). Pragmatics and Corpus Linguistics[C]. Berlin : Walter de Gruyter, 2008: 175~190.
[18] Kohnen T. Corpora and speech acts : the study of performatives[A]. In Mair C & Hundt M(Eds.). Corpus Linguistics and Linguistic Theory(Papers from the Twentieth International Conference on English Language Research on Computerized Corpora, ICAME 20)[C]. Freiburg im Breisgau 1999. Amsterdam : Rodopi, 2000: 177~186.
[19] Leech G & Weisser M. Generic speech act annotation for task-oriented dialogues[A]. In Archer D, Rayson P, Wilson A & McEnery T(Eds.). Proceedings of the Corpus Linguistics 2003 Conference(Vol.16)[C]. Lancaster University : UCREL Technical Papers, 2003.
[20] Leech G & Weisser M. The SPAADIA Annotation Scheme[O/L]. http://martinweisser.org/publications/SPAADIA_Annotation_Scheme.pdf, 2015-08-19.
[21] Levinson S C. Activity types and language[A]. In Drew P & Heritage J(Eds.). Talk at Work : Interaction in Institutional Settings[C]. Cambridge : Cambridge University Press, 1992: 66~100.
[22] Levinson S C. Pragmatics[M].Cambridge: Cambridge University Press, 1983.
[23] Maynard C & Leicher S. Pragmatic annotation of an academic spoken corpus for pedagogical purposes[A]. In Fitzpatrick E(Ed.). Corpus Linguistic beyond the Word: Corpus Research from Phrase to Discourse[C]. Amsterdam : Rodopi, 2007: 107~115.
[24] McAllister P G. Speech acts : a synchronic perspective[A]. In Aijmer K & Rühlemann C(Eds.). Corpus Pragmatics : A Handbook[C]. Cambridge : Cambridge University Press, 2015: 29~51.
[25] Mey J L. Pragmatics : An Introduction(2nd edition)[M].Oxford: Blackwell, 2001.
[26] Meyer R & Mleinek I. How prosody signals force and focus -a study of pitch accents in Russian yes-no questions[J].Journal of Pragmatics, 2006, 8(10): 1615–1635.
[27] Mubenga K S. Film Discourse and Pragmatics in Screen Translation : A Contrastive Analysis of Speech Acts in French and English[D]. Ph.D. Thesis, University of the Witwatersrand, Johannesburg, 2008.
[28] Mubenga K S. Towards a multimodal pragmatic analysis of flm discourse in audiovisual translation[J].Meta : Journal des Traducteurs, 2009, 54(3): 466–484. doi:10.7202/038309ar
[29] Romero-Trillo J. Pragmatics and Corpus Linguistics[C]. Berlin : Walter de Gruyter, 2008.
[30] Rühlemann C. What can a corpus tell us about pragmatics?[A]. In O'Keeffe A & McCarthy M(Eds). The Routledge Handbook of Corpus Linguistics[C]. London : Routledge, 2010: 288~301.
[31] Rühlemann C & Aijmer K. Corpus pragmatics : laying the foundations[A]. In Aijmer K & Rühlemann C(Eds.). Corpus Pragmatics : A Handbook[C]. Cambridge University Press, 2014: 1~26.
[32] Searle J R. Speech Acts : An Essay in the Philosophy of Language[M].London: Cambridge University Press, 1969.
[33] Searle J R. Expression & Meaning : Studies in the Theory of Speech Act[M].Beijing: Foreign Language Teaching & Research Press, 2001.
[34] Searle J R & Vanderveken D. Foundations of Illocutionary Logic[M].Cambridge: Cambridge University Press, 1985.
[35] Weisser M. SPAACy : a semi-automate tool for annotating dialogue acts[A]. In Institute of Language and Information Studies(Ed.). Language, Information and Lexicography(Vols 12/13)[C]. Seoul : Yonsei University, 2003: 131~156.
[36] Weisser M. Speech act annotation[A]. In Aijmer K & Rühlemann C(Eds.). Corpus Pragmatics : A Handbook[C]. Cambridge : Cambridge University Press, 2015: 84~110.
[37] Wennerstrom A. The Music of Everyday Speech: Prosody and Discourse Analysis[M].Oxford: Oxford University Press, 2001.
[38] 陈新仁, 钱永红. 多模态分析法在语用学研究中的应用[J]. 中国外语, 2011(5): 89–93.
[39] 顾曰国. John Searle的言语行为理论与心智哲学[J]. 国外语言学, 1994(2): 1–8.
[40] 顾曰国. 语言学海外自选集[M].北京: 外语教学与研究出版社, 2010.
[41] 顾曰国. 论言思情貌整一原则与鲜活话语研究[J]. 当代修辞学, 2013(6): 1–19.
[42] 顾曰国. 意向性、意识、意图、目的(标)与言语行为--从心智哲学到语言哲学[J]. 当代语言学, 2017(3): .
[43] 顾曰国, 张永伟. 静态图像库的信息检索与知识本体[J]. 当代语言学, 2013(2): 214–229.
[44] 黄立鹤. 言语行为研究的另一个界面:现场即席话语视角[J]. 浙江外国语学院学报, 2014(3): 45–53.
[45] 黄立鹤. 语料库4.0:多模态语料库建设及其应用[J]. 解放军外国语学院学报, 2015a(3): 1–7, 48.
[46] 黄立鹤. 通感、隐喻与多模态隐喻[J]. 语文与国际研究(中国台湾), 2015b(13): 1–13.
[47] 黄立鹤. 现场即席话语与多模态研究:意义、理论与方法[J]. 北京科技大学学报(社会科学版), 2016(5): 29–36.
[48] 黄立鹤. 多模态修辞学的构建与研究:兼论修辞学与语用学的连接[J]. 当代语言学, 2017(3): .
[49] 匡川. 基于语料库的汉语感谢言语行为研究[D]. 成都: 电子科技大学硕士学位论文, 2013.
[50] 刘陈艳. 情态序列作为言语行为套语的习得研究--用基于语料库的方法[J]. 解放军外国语学院学报, 2013(1): 62–66.
[51] 刘艳. 普通话的情感语音韵律分析[D]. 南京师范大学硕士学位论文, 2011.
[52] 钱永红, 陈新仁. 语料库方法在语用学研究中的运用[J]. 外语教学理论与实践, 2014(2): 15–20.
[53] 向娟. 承诺类言语行为中的语义韵和被承诺者角色--基于语料库的承诺类言语行为的言后效果研究[D]. 上海交通大学硕士学位论文, 2007.