北京第二外国语学院学报  2017, Vol. 39 Issue (3): 31-45
基于会话分析的多模态交际研究探索——论序列分析在CA多模态交际研究中的应用    [PDF全文]
郭恩华, 张德禄    
摘要:会话分析(CA)将会话视为一种社会行为。这种社会学研究取向决定了CA从发轫之始便没有将非语言交际行为排除在研究视野之外。本文讨论了从民俗方法学到CA再到基于CA的多模态交际研究奠基阶段的学理传承和发展,着重探讨序列分析在多模态交际研究中的优势、问题以及未来的发展方向。序列组织是会话组织的核心原则。在基于会话分析的多模态交际研究中,序列分析的优势在于它为研究者理解和处理交际行为提供了一套实用方法和一种基于语料本身的验证程序。存在的问题是:不同于会话组织中相对严格的序列性,多模态交际中除了序列性外还有共时性,这给序列中交际行为起始点的切分造成了一定难度。此外,本文还探讨了CA多模态交际学者处理语料的方法。CA多模态交际转写沿续了CA转写的严格性、精细性和清晰度,其中Christian Heath的转写体例最为典型。最后,我们提出,Charles Goodwin的具身参与框架和Sigrid Norris的模态密度的概念有利于解决序列分析的共时性问题。
关键词 会话分析      民俗方法学      序列组织      多模态交际     
Reflections on CA-based Multimodal Interaction Research: The Application of Sequential Analysis in Multimodal Interaction Research
GUO Enhua, ZHANG Delu    
School of Foreign Languages, Tongji University, Shanghai 200092, China
Abstract: Conversation analysts treat conversation as social action; this sociological orientation of CA has an implication that it does not exclude non-verbal actions from CA's remit since its foundation. This article discusses the theoretical and methodological succession from ethnomethodology, through CA to CA-based multimodal interaction research and their interrelationships, focusing on strengths and issues in applying sequential analysis to multimodal interaction research. On the positive side, as a fundamental procedure and method in CA, sequential analysis provides a way of identifying the participants' treatment and understanding of each other's actions, a proof procedure intrinsic to the data. It thus enables in-depth, fine-grained investigations into the miscroscopic interactional processes between co-present participants on a moment-by-moment basis. Besides, this article reviews the ways CA-based multimodal interaction analysts deal with their data, using Christian Heath's transcription scheme as a typical example. Following CA's strict and clearly-articulated transciption tradition, CA-based multimodal transcription practice inherits every bit of these merits. One problem associated with sequential analysis in multimodal interaction research, especially during data transcription, is that it sometimes poses a challenge to analysts in terms of how to identify clear-cut actions within multimodal sequences, due to the complexities arising from simultaneity in multimodal interactions. Some solutions such as Charles Goodwin's conceptualization on embodied participation framework or suggestions such as Sigrid Norris' notions of modal density, etc., have been mentioned as a way out or possible solutions for further research.
Key words: conversation analysis      ethnomethodology      sequence organization      multimodal interaction     
引言

会话分析(Conversation Analysis,以下简称CA)作为一种研究言谈应对(talk-in-interaction)且具有自身独立理论和方法的学术体系,产生于20世纪60年代,主要的创始人物包括Harvey Sacks、Emanuel Schegloff、David Sudnow、Gail Jefferson等(Jewitt,et al.,2016:87)。它以人类的言语交际作为出发点,探讨人类言语交际背后的社会秩序(于国栋,2008/2012)。需要指出,会话分析从发轫之始便没有将非语言交际行为排除在研究视野之外。尽管在CA领域,“ multimodal”这个术语在Goodwin(2000)的具身(embodiment)交际研究中才正式出现,但在这之前的CA研究成果中已经有大量的针对眼神、手势、肢体等交际行为的研究(Goodwin,1979/1980/1981/1984;Heath,1982/1984a/1984b/1985/1986;Schegloff,1984/2007)。这些研究虽然较少使用“多模态”这个术语,但实质上已经初具多模态研究的特征。总的来说,在这一阶段(20世纪60至80年代),CA主流研究对象还是言谈应对本身,注重对会话的规则、技术、程序等进行系统研究,包括伴语言资源如韵律特征等。进入21世纪后,随着其它社会科学领域多模态研究的日渐兴盛,CA学派开始系统地反思非语言交际行为的重要性,越来越多的CA学者开始注重多模态交际研究,比如具身交际研究。主要进展体现在:2005年Semiotica发表专栏,关注多模态在会话分析中的应用(Stivers & Sidnell,2005);2010年的国际会话分析大会主题定为“多模态交际研究”;2011年,Streeck,Goodwin & LeBaron(2011)出版了《具身互动:物质世界的身体和语言》论文集,涉及大量CA视角的多模态具身研究;2013年Journal of Pragmatics也发表多模态专栏(Deppermann,2013),进一步推动了CA路径的多模态交际研究。虽不能据此得出CA的主流研究范式已经发生了多模态转向的结论,但是不可否认的是,多模态在CA学界中确已越来越受重视,CA多模态交际研究已经展现出强大的生命力,主要体现在:人们开始系统地考察非语言模态在自然交际中的组织程序;研究对象从言谈应对拓展为言身应对(talk-and-body-in-interaction);更加注重视频分析的价值等。

① 它们更倾向于使用“ action”“ activity”“ practice”等术语,这符合CA将言谈应对视为一种社会行为的基本观点。

② CA多模态交际研究与Norris(2004)的多模态互动分析有很大的差别。尽管两者都是“ multimodal interaction”,但是后者是结合了中介话语分析、社会符号学以及互动语言学等领域的成果(详见Jewitt,et al.,2016:13~118;张德禄、王正,2016),是一种典型的混合型多模态互动研究(Jewitt,et al.,2016)。为了区别起见,本文统一用“ CA多模态交际研究”这一术语来特指基于会话分析的多模态交际研究。

在我国,多模态研究正如火如荼地展开,然而CA路径的多模态交际研究却还是一个盲点。本文旨在梳理CA多模态交际研究的民俗方法学渊源和CA研究范式,着重探讨CA的序列组织理论应用于多模态交际研究中存在的优势、问题以及发展方向,以期推动国内CA多模态交际研究。从历时角度看,CA多模态交际研究大致可分为两个阶段:奠基阶段和崛起阶段。前者主要包括Goodwin和Heath等在20世纪七八十年代对眼神和身动的研究(Goodwin,1979/1980/1981/1984;Heath,1982/1984a/1984b/1985/1986);后者主要是指2000年以来不断增多、更加全面的多模态交际研究,包括工作场所交际和行为组织研究等(Luff,et al.,2000;Hindmarsh & Pilnick,2002;Heath & Luff,2007/2017;Bezemer,2011;Mondada,2011/2014;Scott,2011)。篇幅所限,本文的讨论以奠基阶段的多模态交际研究为主。

一、CA多模态交际研究的学理基础和研究范式——民俗方法学和会话分析

准确说来,CA主要是社会学的一个分支(Heritage,1984:241),同时,它和语言学、人类学、心理学等学科存在交叉。简言之,其理论旨趣是研究言谈应对作为一种社会行为的本质及其背后的社会秩序和社会组织结构(于国栋、李枫,2009;于国栋,2012;赵万里、范宏雅,2012)。正如Simmel(1950:21~22)所说:“如果将社会视为个体交际的产物,那么对交际形式的研究应该是社会学最严肃最核心的内容。” CA的学理渊源主要是社会学中的民俗方法学研究,其代表人物是Harold Garfnkel和Aaron Circourel等。此外,Goffman的互动秩序理论、维特根斯坦的语言游戏思想以及言语行为理论等也对CA的产生和发展产生了重要影响。

民俗方法学延续现象主义社会学重视生活世界和常识知识的基本观点,关注人类如何使用共享的实用推理方法(practical reasoning)来分析、理解和影响日常生活世界,并解决实际问题(practical problems)。“ Garfnkel强调行为是一种回应性可释(reflexively accountable)的时序事件,这使得行为和认知连为一体。行为主体发出的每一个行为都处于持续的时间链条上;下一行为在时间上紧接之前的行为序列,后者为前者提供行为语境,前者对这一语境作出分析和介入……只有将实用推理方法和行为的时间先后组织联系到一起,社会行为的方方面面才变得可以被理解。”(Heritage,1984:308)这一观点有效地概括了CA中最核心的会话组织程序——话轮的序列组织(turn-in-sequence)。民俗方法学还认为,通过审视日常生活中的直接经验,并对不言而喻和习以为常的现象进行反思性说明,可以揭示行动者日常交际中的潜在社会现实(赵万里、范宏雅,2012)。为达到这一目的,民俗方法学采用的方法通常有破坏性试验、变成陌生人等(Garfnkel,1967;刘运同,2007)。

会话分析作为民俗方法学发展的一个分支,其研究对象进一步细化为生活世界中的言谈应对,并将其视为人们建构社会秩序、实现交互主体性的载体。CA的中心任务是描写和解释普通说话者参与可理解的、有着社会结构的交际所依赖的能力(Artkinson & Heritage,1984:1;Heritage,1984:241)。它秉持民俗方法学的基本立场,认为日常行为的制造和理解遵循一套共享的、可解释的方法和程序。CA强调使用自然发生的交际语料,这是因为自然交际语料具备一种内在秩序性,它首先对交际参与者有意义,“允许交际参与者向彼此展示(display)自身行为的有序性,同时允许自己展示对对方行为有序性的分析、理解和使用”(Schegloff & Sacks,1973:290)。此外,它也对分析者有意义,使得分析者能够客观地分析和解释自然语料中的组织秩序,而无需依赖其它外在因素或者交际参与者的心理因素。但是,会话的秩序性并不总是直接体现出来的,因此CA学者十分注重在语料中寻找偏常案例(deviant cases)并对其作出分析解释(Heritage,1984:244),“目的是为了深化原初研究,使其不仅能解释话语的常规模式,还能解释与之偏离的个别孤例”(范宏雅、赵万里,2012:61)。

民俗方法学和CA一脉相承、密不可分。从实用性推理到话轮序列组织,从破坏性试验到偏常案例分析,都体现了两者之间的传承和关联。虽然民俗方法学关注的范围更加广泛,涉及日常生活的方方面面,但Garfnkel(1967)强调,社会交际才是执行实用推理方法的核心场域,而CA在研究对象上恰恰突出了这一点,即言谈应对。另一方面,CA为民俗方法学提供了更加深入、系统和实质性的研究程序、方法和工具(Goodwin & Heritage,1990)。在CA多模态交际研究中,虽然研究对象的范围从言谈应对扩大到多模态交际,但是CA的许多基本理论和方法依旧适用,如话轮设计、话轮建构单位、序列组织等。其中,谈话行为的序列组织是会话组织最核心的内容,因此下文将重点介绍序列组织分析在(奠基阶段)CA多模态交际研究中的应用。

二、序列组织分析与CA多模态交际研究的奠基阶段

CA多模态交际研究起源于20世纪70年代,其技术背景是60年代末录像技术的出现以及录像带的普及(Sacks & Schegloff,2002)。越来越多的学者开始关注交际中的空间视觉行为(Goodwin,1979/1980/1981/1984;Heath,1982/1984a/1984b/1985/1986;Schegloff,1984/2007)。因为CA强调对自然发生的语料进行精细深入的分析和描写,录音和录像便成了CA获取语料的唯一途径。任何基于想象、实验、回忆以及观察的语料都被CA所排斥。尤其是对于视觉空间行为的研究而言,录像便成了语料的唯一来源。

CA多模态交际研究的奠基阶段主要关注眼神、手势、肢体等具身资源与会话交际程序的相互影响。其中两个核心人物分别是Charles Goodwin和Christian Health,他们的研究有效地贯彻和拓展了民俗方法学中的实用性推理以及CA中的序列组织分析在多模态交际研究中的应用,为后期CA多模态交际的崛起阶段奠定了基础。在CA多模态研究崛起阶段,序列组织分析依旧是核心的分析方法之一。

1. 序列组织作为会话组织的基本程序

序列组织是CA理论中最基本、最核心的部分。CA将序列中的位置(positioning)视为交际参与者设计、实施和理解交际行为的根本资源(Schegloff,1984)。序列组织同话轮转换一样,都属于言谈应对的基本组织方法,适用于言谈应对的任何场合(Schegloff,1988)。但是话轮转换突出的是时间上的先后关系,即每次只能一个人讲话,重合(overlapping)的情况极少,一旦出现,一方会尽快退出或极力独占。因此,话轮转换很大程度上是一种声学事实(Schegloff,1988);而序列组织在声觉层面的时间先后基础上附加了一种序列相关性(sequential implicativeness),因此是一种社会事实(Schegloff,1988)。这种序列相关性体现了话轮的双重语境特征(Heritage,1984:22;Heritage,1989:242):任何当前话轮既由之前的语境塑造,又为后面的话轮创造新的语境。需要指出,CA的语境是一种内生性、动态建构的语境,指的是当前话轮之前的话轮序列,尤其是前紧邻(immediately preceding)话轮。一方面,当前话轮的设计受之前话轮(尤其是前紧邻话轮)的影响;另一方面,当前话轮会对下一个相关话轮作出预测(Schegloff,1972)。任何当前话轮,既是对之前话轮序列的理解与回应,同时又为之后的话轮序列塑造新的语境框架。它是交际双方实现并展示交互主体性从而有效指导交际参与者执行下一步交际行为的核心组织方式。

③ CA拒绝一切外在的、宏观的社会语境概念,这一点同批评性话语分析、语用学、社会语言学以及功能语言学等的语境观有着本质的区别。

CA中最能体现这一组织模式的概念是相邻对(adjacency pair),它是序列组织的基本形式(详见Schegloff,1968/1972/2007;Schegloff & Sacks,1973)。相邻对是一种规约性结构(normative structure),包含前件(如提问)和后件(如回答)。通过前件,当前说话者投射出一定范围的具有条件相关性(conditional relevance)的后件;通过后件,当前说话者展示出对前件的理解并作出合适的回应。即前后件之间的关系是双向的:既有前相关(prospective)性又有后相关(retrospective)性。后件所展现出的对前件的理解对交际双方都可及(publicly accessible),这使得前件发出者能够通过后件判断其后件发出者对前件的理解是否正确。这种通过下一话轮验证交际对象对前一话轮理解程度的方法被称为下一话轮验证程序(next turn proof procedure)(Sacks,et al.,1974:728)。换言之,前一话轮(第一话轮)发出者可以通过当前话轮(第二话轮)评估其发出者是否准确理解自己的意思,并在此基础上通过下一话轮(第三话轮)向当前话轮发出者展示他对当前话轮(第二话轮)的理解和评估。如此循环更迭,形成了一话轮又一话论(turn-by-turn)的序列相关,有效地保证了双方的交互主体性(Heritage,1989:25)。下一话轮验证程序是会话序列组织自带的交互主体性手段,它首先对会话参与者有意义;同时,它也对会话分析者有意义,为后者提供了一套完全基于会话语料的分析工具,其自观逻辑可以有效地克服会话分析的主观性(Sacks,et al.,1974:729;Li,2014:29)。然而,这并不意味着当前话轮总能对前件话轮作出准确解读,期待的后件可能没有出现或者后件不具备前件所期待的条件相关性,这两种情况都属于偏常案例。CA十分重视偏常案例的分析价值。CA研究实践表明,偏常案例非但不会威胁相邻对,反而使相邻对结构更加“全面地、确定无疑地被执行,为其归约性结构提供了强有力的证据”(Heritage,1984:248)。具体说来,因为以上两种偏常案例对交际双方都可及,所以遇到这种情况,前件发话者通常会向受话者继续索取期待的后件,而后件发出者一般需要解释其后件缺失或不相关的原因。这时,往往会出现会话的自我修正或者他者修正(Sacks,et al.,1974:727~728;Schegloff,1992;Schegloff,et al.,1977)等。

④ CA称之为显性缺失(noticeably absent or offcially absent),详见Schegloff(1972)。

综上,序列组织是会话组织的基本程序,它确保了会话的推进以及会话参与者的交互主体性理解;同时,它又是会话分析的基本单位,维持了会话分析的语料驱动(data-driven)特征并保证了分析的客观性。

2. 序列分析在CA多模态交际中的应用

尽管相邻对概念在最初提出(Schegloff & Sacks,1973:295~296)时主要用于分析会话,但其应用范围不局限于话轮组织(Heritage,1989:25),它还可以用来分析多模态交际行。这体现了CA将会话视为一种社会行为的基本观点。

⑤ 也有会话分析学者用相邻行为(paired action)这个术语,详见Heritage(1984:245),Heritage & Clayman(2010:23)。

事实上,很多相邻对是以多模态形式或者非语言模态形式出现的。它们的序列关系都是基于时间性。Schegloff(2007:10~11)举过一个多模态相邻对的例子,前件中Mic说“ Butter please”,但是后件则是由肢体行为实现,即有人把黄油递给了Mic。该例前件完整,后件缺失,仅从纯会话分析意义上讲,构不成会话相邻对。但是如果我们将相邻对放到社会行为的广角镜下,就不难视其为一种多模态相邻对(Jewitt,et al.,2016)。CA创始人Sacks & Schegloff(2002)在Gesture发表的论文“ Home position”尽管在2002年才见刊,但早在1975年就已经写就。他们同样关注手势在交际中的序列组织。

以上两例多模态序列组织研究相对单一、松散,真正将序列分析(sequential analysis)系统地运用到其它交际行为(如身动)上的是Christian Heath。Heath(1986:11)认为身动(body movement)的交际价值体现在它所处的持续展开的行为序列中的位置(place),它一方面与之前的交际行为相关,另一方面又为后面的交际行为提供基础。

同会话表达一样,人类的身体活动同样执行社会活动和行为。在面对面交际中,一个身体活动,无论是手势、体势,还是点头、眼神都可能被用于执行某个目的。身体活动总是局部运作,其意义是从其所参与持续进行的行为(行为序列)中获得的,不管是声音行为,还是视觉行为,抑或两者的结合。(Heath,1986:10)

在Heath看来,交际中的身体动作可能不像会话那样严格的按照一轮接一轮的程序运作,但是“只要是互动中存在一个行为接一个行为(action-by-action)的序列组织,研究者就可以把它视为一种分析交际的资源”(1986:14)。

3. 序列组织与CA多模态交际转写

将会话分析中的序列分析应用于CA多模态交际研究,首先要解决多模态交际转写的问题。和纯会话分析一样,CA多模态交际研究也是基于对单个交际案例的质性转写。CA有着比较严格的转写体系:它反对预设某些会话细节与谈话不相关(Liddicoat,2007:14),如停顿、重音等。CA在转写过程中总是既关注会话内容,又关注会话形式(ten Have,1999:94),尤其是声音细节和会话的序列组织特征(Artkinson & Heritage,1984:12)。CA多模态交际转写延续CA转写的基本思路,力求尽可能准确地把握交际的全貌和细节,其核心目标是呈现(多模态)交际行为的序列组织。在CA多模态交际转写中,“一个显著的特征就是对非语言交际行为的序列呈现”(Artkinson & Heritage,1984:224)。

⑥ 实际上,任何转写都是选择性(selective)的,都带有转写者的理论主观性(theory-laden)(ten Have,1999:95;Liddicoat,2007:13),是一种现实的二次映射(倪梁康,2007),不能完全替代录音或录像,而录音录像本身也不能替代客观世界,是客观世界的一次映射。

在CA多模态交际研究奠基阶段,Goodwin和Heath在多模态转写上作出了重要贡献。Goodwin(1979/1980/1981)将眼神纳入会话分析,并在Jefferson(2004)的会话标注体例的基础上增加了眼神交际标注系统(由于篇幅所限无法展开论述,详见Goodwin,1981:46~53)。Heath(1982/1984/1985/1986)在Jefferson(2004)和Goodwin(1979/1980/1981)的基础上进一步完善了多模态交际转写系统,增加了身动这一广义的描写范畴,比如身姿(body posture)以及其它情景化、动态化的具身活动;此外,还在必要的位置增加了交际者的线描画或者视频抓图。这种转写模式有利于把握交际的全局性和动态性,也有助于读者更好地理解转写内容。与Goodwin相比,Heath主要的改进有:带空格的连接符串“ ----”表示眼神发出者注视的是物(包括人的肢体)而不是被注视者的眼睛。不带空格的链接符“ ----”有两种情况:如果与转写文字同行,则表示无声间隙(silent gaps);如果与转写文字不同行则表示正在进行的身体动作。一般情况下,需要用文字标注该身动的类型和特征,如例(1)所示(见图 1),P在对应“ m:-I’ve got these::”这一会话部分,有两个身体动作1和2,这两个动作分别标注为“ raise hand”。此外,Heath还注重用文字标注眼神活动的起始点,这样更有利于读者理解转写内容。

⑦ CA多模态交际转写不像CA那样有相对统一完整的转写体例。由于多模态交际存在着模态的多样化和复杂性,因此其转写体例也往往根据具体关注的问题不一而足。CA多模态奠基阶段的转写体例,除了Goodwin和Heath之外,比较有影响力的还有Schegloff(1984)。

图 1 (选自Heath,1986:Ⅻ)

从转写步骤上看,Heath的多模态交际转写一般分两步:第1步是基于Jefferson(2004)对录像进行会话转写,第2步是根据研究兴趣或者待考察问题选取录像片段进行深度、精细的多模态转写,从而揭示其中的交际细节。第1部分可以为第2部分提供更大范围的序列组织语境。Heath(1986)转写体例的最大亮点,也是与Goodwin(1981)最大的不同点在于:前者的第2步转写总是从左到右以时间为轴横向排列,以页面横向长度为限隔行,而Goodwin则是以话轮为单位隔行。Heath转写模式的最大优势是更好地呈现多模态交际的序列组织细节。如例(1)所示,D(doctor)先说“ morning”,D说话过程中P(patient)一直注视D,之后是0.6秒(箭头3所示)的间隙,然后P开始话轮。Heath的标注中最中间两行是会话转写,往外依次分别是眼神、身动如身体朝向、四肢活动以及其它具身活动(见图 1)。

⑧ 以时间为轴的横向转写方式是现阶段多模态转写的主流模式,详见Bezemer(2011)。随着转写软件如ELAN等的发展,出现了更加精密准确的转写方式,详见Mondada(2011/2014)。但是ELAN同样是以时间为轴。

4. 案例分析

下文以Heath的医患场所研究为例,详述序列分析在CA多模态交际中的优势和问题。

按照Heath的“两步走”转写模式,第1步(Step 1)是呈现整体的会话序列组织,并在此基础上介绍相关第2步(Step 2)多模态分析的交际语境。如例(2)(Step1)所示(见图 2),人物分别是患者(一位父亲F带着两个女儿,其中一位叫A)和医生Dr。Dr刚接到电话,暂时离开了诊疗室。因此互动主要在F和A父女之间展开。在等待医生的时候,A注意到诊疗室侧边的摄像头,当她喊出“ Camera”的时候,她希望F也能关注到这个摄像头。Heath的研究问题是A采用何种手段吸引F对摄像头的关注。这是一种典型的民俗方法学关注的实际问题。第2步(Step 2)(见图 3)则是根据确定的研究问题从Step 1中截取视频片段进行深度转写。在转写讨论中,研究者要介绍视频转写内容的起始点并将其同之前的交际序列语境联系。例(2)(Step2)选取的片段是以“ Camera”的结束(也就是F开始“ uh”之前0.5秒)为起点,以A的“ kuhhhheh”结束后0.5秒为终点。根据例(2)(Step2)的转写,当A先后喊出“ Daddy”和“ Camera”后过了0.1秒,F目光开始转向A,在0.5秒时,F做出了口头回应,并把眼神落在了A身上;A在喊出“ Camera”之后过0.2秒就已经把目光落到F身上。因此当F目光落到A上时,二者成功实现了眼神交接,这印证了Goodwin(1979)眼神互动规则:在讲话者讲话的过程中,其目光抵达受话者时,期待得到受话者的眼神交接。

⑨ 例(2)线描图详见Heath(1986:12)。

图 2 (Step 1:选自Heath,1986:11)

图 3 (Step 2:选自Heath,1986:12)

前文提到,F对A的前件的理解也对A可及,这使得A能够通过下一话轮验证程序判断F对A的理解是否正确。若正确,则交际成功;若不正确,往往引起他者修正。因为A的最终目的是让F看摄像头,而不是看她,所以在下一个位置(第三位置)A对F的回应进行了他者修正:A迅速把目光从F身上移走,并伴以手指摄像头,以此引导F关注摄像头而非自己。作为回应,F在0.1秒后从A身上转移到了摄像头,从而展示了自己(F)对他者(A)修正的理解。对此,A在下一个交际序列位置用积极反馈(acknowledge token)标记“ kuhhhheh”予以确认。至此,交际任务顺利达成。

三、讨论

从例(2)中我们不难看出,在CA多模态交际研究中,序列分析的最大优势在于对CA的语料驱动原则的遵守。CA反对将外在的社会文化因素及宏观语境范畴先入为主地强加到会话分析中去,强调任何分析必须从语料本身入手,而不依赖任何外来因素。这种研究之所以可行是因为自然交际语料的序列组织含有内在的交互主体性架构(Heritage,1984:254),如下一话轮验证程序。这使得研究者可以不依赖其它任何外在手段或者理论模型,有效地从录音和录像本身研究交际。

因此互动的序列特征为研究互动行为提供了方法论资源,不管这种行为是听觉的、视觉的还是两者的混合。它(为研究者)提供了一种理解和处理交际参与者交际行为的方式,一种内在于语料本身的验证程序。(Heath,1986:14)

此外,基于CA多模态交际转写的序列分析可以帮助研究者更加深入地揭示多模态交际中不易察觉、习以为常的细节以及隐藏在这些交际细节背后的社会互动秩序,从而有效地描写和解释普通说话者参与具有社会组织性的交际所依赖的能力。这一点体现了CA多模态交际研究的民俗方法学取向以及CA的中心任务。

另一方面,序列分析在CA多模态交际研究中也存在不少问题。首先,多模态交际不只是序列性这一时间维度,还有共时性这一空间维度,后者包括两个方面:(1)交际行为往往是由不同模态资源共时建构的,比如表达索取的时候,有时是由语言、眼神和手势等共同建构;(2)多模态交际中,交际行为发出者和接受者共同构建当前交际行为,如讲话者执行话轮的时候,听话者往往同时采用各种非言语模态参与讲话者话轮的建构(详见Goodwin,1980)。以上两种共时性带来一个问题:互补的模态资源在共时建构交际行为时,在起始点上往往不是同步地占据交际序列组织中的某一个位置。比如例(2)(Step2)中,A对F的注意力索取是由眼神和语言“ Camera”共同开启的,语言索取结束后,眼神索取依旧维持,而此时F眼神回应已经开启。这给转写者带来的一个挑战是:如何切分交际序列中不同参与者交际行为的起始点(Depperman,2013)。这个问题在纯会话分析中不存在,因为话轮的序列性特征在会话组织中清晰可辨,但在多模态交际场合,则是一种常见的问题。其次,该阶段的CA多模态交际序列分析往往更加关注经验意义的交互主体性,较少关注情感、立场以及道德评价领域的交互主体性研究。最后,多模态交际研究往往不止涉及交际参与者双方,同时也涉及物质环境,这些物质环境和多模态交际行为形成语境共现(contextual confguration),是交际的重要组成部分。

序列分析的以上局限为下一步的CA多模态交际研究指明了新的方向。主要的进展包括:(1)随着技术的发展,出现了更准确、更直观的转写软件,如ELAN等,这些软件很大程度上缓解了交际行为切分的问题,使得多模态转写更容易被CA领域之外的受众接受。(2)Goodwin(2000)提出了具身参与框架(embodied participation framework)的理论,它可以有效地解决交际行为的共时性以及其它复杂交际因素给序列分析带来的难题:它将不同交际参与者的共时多模态行为、同一参与者的多模态交际行为以及具有交际相关性的物质语境(如工具)纳入同一参与框架。这样,参与框架在不同的时间截点就形成了不同符号资源共时建构的交际截面,不同符号资源之间存在模态互补(mutual elaboration)。因为参与框架是动态建构的,具有序列组织特征,所以它可以解决序列分析的共时性问题,做到了共时与序列的结合。此外,通过分析参与者如何动态地建构、抵制或顺从参与框架,研究者可以更有效地把握交际双方在立场、情感、道德评价等人际意义的交互主体性过程(详见Goodwin,2007)。但是,总的来说,围绕具身参与框架的研究数量较少,无论是在深度上还是广度上,都有很大的提升空间。(3)Norris(2004)多模态交际分析理论中有许多概念对处理共时交际有借鉴意义,比如模态密度、注意度、高层活动和低层活动等(详见张德禄、王正,2016)。这些概念完全可以放到CA的框架里探讨,是未来研究的一个方向。

结语

本文讨论了CA多模态互动研究的民俗方法学渊源和会话分析取向,并着重探讨了序列分析在CA多模态互动研究中的重要地位、优势以及问题。奠基阶段的CA多模态交际序列分析对后期具身互动研究产生了重要影响。进入21世纪后,大量基于民俗方法学和CA的工作场所研究都涉及序列分析。比如,在手术互动研究(详见Bezemer,et al.,2011;Mondada,2011/2014)中,主刀医师同手术助理医师的很多配合是由身动实现的,而身动的序列组织则是保证手术交际顺利完成的核心资源。

总的来说,会话分析为多模态交际研究提供了重要的理论和方法,越来越多的研究者将会话组织的程序、规则、方法运用到多模态交际(包括具身交际)研究中,比如多模态话语修正、多模态优选序列等。虽然CA多模态交际研究在国际上有较长的历史,但在国内,相关研究几乎为零,因此开展相关理论探讨和实证研究是下一步多模态研究的迫切任务。

参考文献
[1] Atkinson M & Heritage J. Introduction[A]. In Atkinson M & Heritage J(Eds.). Structures of Social Action[C]. Cambridge : Cambridge University Press, 1984.
[2] Bezemer J, Murtagh G, Cope A, Kress G & Kneebone R. " Scissors, please": the practical accomplishment of surgical work in the operating theater[J].Symbolic Interaction, 2011, 34: 398–414. doi:10.1525/si.2011.34.3.398
[3] Deppermann A. Introduction : multimodal interaction from a conversation analytic perspective[J].Journal of Pragmatics, 2013, 46: 1–7. doi:10.1016/j.pragma.2012.11.014
[4] Garfnkel H. Studies in Ethnomethodology[M].Englewood Cliffs, NJ: Prentice-Hall, 1967.
[5] Goodwin C. The interactive construction of a sentence in natural conversation[A]. In Psathas G(Ed.). Everyday Language : Studies in Ethnomethodology[C]. New York : Irvington Publishers, 1979: 97~121.
[6] Goodwin C. Restarts, pauses, and the achievement of mutual gaze at turn-beginning[J].Sociological Inquiry, 1980, 50: 272–302. doi:10.1111/soin.1980.50.issue-3-4
[7] Goodwin C. Conversational Organization : Interaction between Speakers and Hearers[M].New York: Academic Press, 1981.
[8] Goodwin C. Notes on story structure and the organization of participation[A]. In Atkinson M & Heritage J(Eds.). Structures of Social Action[C]. Cambridge : Cambridge University Press, 1984: 225~246.
[9] Goodwin C & Heritage J. Conversation analysis[J].Annual Review of Anthropology, 1990, 19: 283–307. doi:10.1146/annurev.an.19.100190.001435
[10] Goodwin C. Professional vision[J].American Anthropologist, 1994, 96: 606–633. doi:10.1525/aa.1994.96.issue-3
[11] Goodwin C. Action and embodiment within situated human interaction[J].Journal of Pragmatics, 2000, 32: 1489–1522. doi:10.1016/S0378-2166(99)00096-X
[12] Goodwin C. Participation, stance and affect in the organization of activities[J].Discourse & Society, 2007, 18: 53–73.
[13] Goodwin C. Embodied interaction in the material world : an introduction[A]. In Streeck J, Goodwin C & LeBaron C(Eds.). Embodied Interaction, Language and Body in the Material World[C]. Cambridge : Cambridge University Press, 2011: 1~26.
[14] Heath C. The display of recipiency : an instance of sequential relationship between speech and body movement[J].Semiotica, 1982, 42: 147–161.
[15] Heath C. Participation in the medical consultation : the co-ordination of verbal and nonverbal behaviour between the doctor and patient[J].Sociology of Health & Illness, 1984a, 6: 311–388.
[16] Heath C. Talk and recipiency : sequential organization in speech and body movement[A]. In Atkinson M & Heritage J(Eds.). Structures of Social Action[C]. Cambridge : Cambridge University Press, 1984b : 247~265.
[17] Heath C. The consultations end : the coordination of speech and body movement[J].International Journal of the Sociology of Language, 1985, 51: 27–42.
[18] Heath C. Body Movement and Speech in Medical Interaction[M].Cambridge: Cambridge University Press, 1986.
[19] Heath C & Luff P. Gesture and institutional interaction : fguring bids in auctions of fne art and antiques[J].Gesture, 2007(2): 215–240.
[20] Heath C & Luff P. The naturalistic experiment : video & the interactional organization of workplace activities[J].Organizational Research, 2017: .
[21] Heath C, Hindmarsh J & Luff P. Video in Qualitative Research : Analyzing Social Interaction in Everyday Life[M].London: Sage, 2010.
[22] Heritage J. Garfnkel and Ethnomethodology[M].Cambridge: Polity Press, 1984.
[23] Heritage J. Current developments in conversation analysis[A]. In Roger D & Peter B(Eds.). Conversation : An Interdisciplinary Perspective[C]. Clevedon, Philadelphia : Multilingual Matters, Ltd., 1989: 21~47.
[24] Heritage J & Clayman S. Conversation analysis : some theoretical background[A]. In Heritage J & Clayman S(Eds.). Talk in Action : Interactions, Identities, and Institutions[C]. Malden, Massachusetts : Wiley-Blackwell, 2010: 7~19.
[25] Hindmarsh J & Pilnick A. The tacit order of teamwork : collaboration and embodied conduct in anesthesia[J].Sociological Quarterly, 2002, 43(2): 139–164. doi:10.1111/tsq.2002.43.issue-2
[26] Jefferson G. Glossary of transcript symbols with an introduction[A]. In Lerner G H (Ed.). Conversation Analysis : Studies from the First Generation[C]. Amsterdam : John Benjamins, 2004: 13~31.
[27] Jewitt C, Bezemer J & O'Halloran K. Introducing Multimodality[M].London and New York: Routledge, 2016.
[28] Liddicoat A. An Introduction to Conversation Analysis[M].New York: Continuum, 2007.
[29] Li Xiaoting(李晓婷). Multimodality, Interaction and Turn-taking in Mandarin Conversation[M]. Amsterdam / Philadelphia : John Benjamins Publishing Company, 2014.
[30] Luff P, Hindmarsh J, Heath C(Eds.). Workplace Studies: Recovering Work Practice and Informing Systems Design[C]. Cambridge : Cambridge University Press, 2000.
[31] Mondada L. The organisation of concurrent courses of action surgical demonstrations[A]. In Streeck J, Goodwin C & LeBaron C(Eds.). Embodied Interaction : Language and Body in the Material World[C]. Cambridge : Cambridge University Press, 2011: 207~226.
[32] Mondada L. Instructions in the operating room : how the surgeon directs their assistant's hands[J].Discourse Studies, 2014, 16: 131–161. doi:10.1177/1461445613515325
[33] Norris S. Analyzing Multimodal Interaction: A Methodological Framework[M].New York and London: Routledge, 2004.
[34] Sacks H & Schegloff E. Home position[J].Gesture, 2002(2): 133–146.
[35] Sacks H, Schegloff E & Jefferson G. A simplest systematics for the organization of turn-taking for conversation[J].Language, 1974, 50: 696–735. doi:10.1353/lan.1974.0010
[36] Schegloff E A. Sequencing in conversational openings[J].American Anthropology, 1968, 70: 1075–1095. doi:10.1525/aa.1968.70.issue-6
[37] Schegloff E A. Notes on conversational practice : formulating place[A]. In Sudnow D(Ed.). Studies in Social Interaction[C]. New York : Free Press, 1972: 75~119.
[38] Schegloff E A. On some gestures' relation to talk[A]. In Atkinson M & Heritage J (Eds.).Structures of Social Action[C]. Cambridge : Cambridge University Press, 1984: 266~296.
[39] Schegloff E A. Goffman and the analysis of conversation[A]. In Drew P & Wootton T(Eds.).Erving Goffman : Exploring the Interaction Order[C]. Cambridge : Polity Press, 1988: 9~135.
[40] Schegloff E A. Repair after next turn : the last structurally provided defense of intersubjectivity in conversation[J].American Journal of Sociology, 1992, 97: 1295–1345. doi:10.1086/229903
[41] Schegloff E A. Sequence Organization in Interaction : A Primer in Conversation Analysis[M].Cambridge: Cambridge Press, 2007.
[42] Schegloff E A & Sacks H. Opening up closings[J].Semiotica, 1973(7): 289–327.
[43] Schegloff E A, Jefferson G & Sacks H. The preference for self-correction in the organization of repair in conversation[J].Language, 1977, 53: 361–82. doi:10.1353/lan.1977.0041
[44] Scott P. Facilitating tool use in the photography studio[A]. In Streeck J, Goodwin C & LeBaron C(Eds.) Embodied Interaction, Language and Body in the Material World[C]. Cambridge : Cambridge University Press, 2011: 264~275.
[45] Simmel G. The Sociology of George Simmel[M]. Wolff K(Trans.). Glencoe, IL : Free Press, 1950.
[46] ten Have P. Doing Conversation Analysis : A Practical Guide[M].London: Sage, 1999.
[47] Stivers T & Sidnell J. Introduction : multimodal interaction[J].Semiotica, 2005(4): 1–20.
[48] 范宏雅, 赵万里. 谈话分析与常人方法论的质性研究[J]. 山西大学学报(哲学社会科学版), 2012, 35(2): 60–64.
[49] 刘运同. 会话分析概要[M].上海: 学林出版社, 2007.
[50] 倪梁康. 胡塞尔现象学概念通释(修订版)(精)[M].北京: 三联出版社, 2007.
[51] 于国栋. 会话分析[M].上海: 上海外语教育出版社, 2008.
[52] 于国栋. 会话分析:探讨言语交际背后的社会秩序[J]. 中国社会科学报, 2012: .
[53] 于国栋, 李枫. 会话分析:尊重语言事实的社会学研究方法[J]. 科学技术哲学研究, 2009, 26(2): 14–17.
[54] 张德禄, 王正. 多模态互动分析框架探索[J]. 中国外语, 2016(2): 54–61.
[55] 赵万里, 范宏雅. 常人方法论的谈话分析:理论旨趣与研究取向[J]. 广东社会科学, 2012(4): 197–208.