肉機械のパーツ収納

雑記(中国語)

マンガ表現の連続的空間 ~私的漫画表現論~

一开始是看了伊藤刚的《手冢已死》有些想法想写写,结果越想越多,把最新最in的漫画表现论大概扫了一遍,变成了一篇庞大的读后感。限于篇幅写的着实粗糙,对认知心理学的引用也可能有错误的地方,建议不要太在意而当作漫画论中的相似概念来看待。(当然如果指正非常感谢)

暧昧的格子

四方田犬彦在「漫画原論」中,将コマ(本文译为“格子”)称为使漫画得以存在的第一要素,并将格子定义为被框线框出的部分 (1)。夏目房之介在其漫画表现论中,试图将格子与框线进行区分 (2),然而其定义却存在混乱 。井上康在「何がマンガ言語世界に於ける〈言葉〉であるか 」在中批判道,夏目既将格子定义为“机能”——「コマは目にみえるものとしては枠線ですが,マンガを時間的・空間的に分節する抽象的な機能です。」,有时又比较符合直观地将其定义为框线所包围的区域;同时格子若被定义为“机能”就会与并称为漫画三要素的另外两者(实在的「絵」「言葉」)不在同一个相位上 (3)。

产生这一混乱的原因问题或许在于,难以找到机能的“格子”所对应的实在的“格子”,以至于夏目尝试采用前者去隐式地含糊地指涉后者。而实在的“格子”的困难、或者说被含糊定义的原因则在于:一方面,它很大程度上是”自明“的——除去少女漫画,从手冢到现在的绝大多数漫画都利用相对规整的框线对纸面进行相对明确的区域划分,形成格子。在欧美更是如此,如 Thierry Groensteen 把格子 (panel) 作为论述漫画的基本单位时给出的理由便是,“The panel is presented as a portion of space isolated by blank spaces and enclosed by a frame that insures its integrity.” (4)。另一方面,少女漫画对格子形式的大幅扩张,很难被“格子”这一词汇格纳,“格子”概念的境界线变得暧昧。即便作为机能的定义具有一定合理性,随处可见的「コマ割り」「4コマ」「コマの大きさ」等词汇却在告示着实在的“格子”才符合普遍直觉。

在夏目的「コマの基本原理を読み解く」的第一节“什么是格子?”中,夏目将「どろろん忍者」的一页去掉所有框线后难以阅读来说明格子的必要作用;而在对少女漫画的分析中,又出现了“无框线格子”这一概念 (5)。可是,前者的人物为何不能作为“无框线格子”成立?格子是什么这个问题问的不是一个客观存在的概念有什么样的属性,而是问要如何去定义格子更加合理。作为一个抽象的中间概念,它并没有 Thierry Groensteen 所认为的 integrity。于是从“格子”本身出发的讨论很容易陷入混乱,例如上述字面的自明性与模糊的境界线之间的冲突。因此本文将从更基本的且更明确的形式出发,借用认知心理学的相关概念,自下而上地构建一种漫画表现的模型。

空间不连续性

如夏目所述,格子有对空间进行分割的机能。这句话中的“格子”和“空间”都比较含糊,不妨首先抽取出最确定的一点——框线对读者心理上感知到的纸面空间有分割的功能。本文把这种心理上的效果称为“空间不连续性”。框线以及其他各种不同的产生“空间不连续性”的形式可以大致分为 (平面的,纵深的) x (图形的,语义的) 的4类,其中语义的2类因为主观性较强故合并为1节作简单的提及。相对自动化的知觉过程称作“图形的”,而相对滞后的在知觉的基础上的过程称作“语义的”。

平面的x图形的

f:id:NikuKikai:20210926014415p:plain

图 2.1

如果漫画的一页中出现了图 2.1 的画面,观者会如何理解角色所在的物理空间呢。一般来说可能会倾向于被当作一整幅画来看待——2个角色并排站在一起,这意味着整个物理空间是连续的。如果如图 2.2 所示,给2个角色分别加上框线,恐怕很多观者会将其看作一组正反打的镜头。是否具体到“正反打”可能取决于内容上的因素(2个角色神情的关联性)和观者关于漫画形式的经验,涉及到“同一化”、“发达”的相关主题。但图 2.1 也具有相同的因素却更倾向于被认为是连续的物理空间,可以说框线发挥了某些形式上的作用,使得“同一化”、“发达”等形式之上的要素才得以可能。这个作用即是分割“空间”。当将图 2.2 看作一组正反打时,两个框线内的物理空间已经成为镜像,不再是一整个连续的物理空间。(语义上两个角色仍然处于同一个“空间”中,这里的指的是相对于纸面的角色所处空间的坐标系已然不同。)观者在“两个角色处在不同的物理空间中”这一信息的前提下,根据经验和内容倾向于得到“正反打”的判断。

f:id:NikuKikai:20210926015632p:plain

图 2.2

而物理空间的分割的前提是,框线作为不具备“物质性”(表象角色世界的物质的性质)的符号对心理上的纸面空间的分割作用,也就是本章开头所定义的“空间不连续性”。框线的分割作用不是漫画形式对观者教化出的独有经验,而是人类原始普遍的知觉规律。夏目在「『表現論』から二十年」中考据了1666年中村惕斎的博物图「訓蒙図彙」里出现的“格子” (6) ,这个简单的例子便可以说明用无“物质性”的线条分割纸面从而形成多个具有各自时间空间的区域是“原始的”。或者可以以一种更形象地方式理解,假设人可以阅读一页又一页的图像,那么把比较小的几页图像攒进一页里再用线划开也不难理解,这时候线所切割出的区域可以说实际上就是页面。那么方形的框线又何尝不可能是一种页面的象形,一张张地贴在更大的纸面上(在下一节会提到相关的“贴纸”概念)。象形并非是说创作者画框线的时候意图把它画成页面的样子,而是观者对图形的联想可能产生知觉的类似——页面所具有的“单独画面”的意义。

框线可以是不完整的,例如可以缩减到仅和人物相割的部分,如图 2.3。通过格式塔的 closure 原则可以理解不完整框线的机能方式:一方面,对框线进行了完形,这其中或许有阅读了大量完整格子的经验的帮助,使得不完整的框线也发挥完整框线的效果;另一方面,对被框线截取的部分人物进行了完形,反过来强调了框线的切割空间的效果。即观者预期角色拥有的完整身体被框线截断,意味着框线内与外不是连续的物理空间。同时对这两方面来说,框线线条与人物线条的知觉差异都十分重要,例如粗细区别。同样可以利用格式塔的 Similarity 原则进行解释,线分的粗细的相似性促使人物的线条和框线的线条被分为2组。这一分离使得对框线本身的认知保持为清晰的空间分割“符号”;反之假如相似的粗细导致框线一定程度上能被认知为人物的一部分,其产生的物质性与符号性并存,框线本应有的效果便因这种二义性而模糊了。

f:id:NikuKikai:20210926015652p:plain

图 2.3

这种模糊不仅可以是上述这样的被动的,也可以是主动的。例如常被引用的手冢漫画中的角色越过框线进入另一个格子的表现方式。夏目曰く「線とは本来多義的なものだ。(中略)ただ読みの形式であるコマは、それを一義的に抑制することで秩序としての役目を果たすのである」(7)。换言之通过赋予线多义性即可扰乱这一秩序。更具体地说,被冲破扭曲的框线不仅 closure 作用被削弱,同时也被赋予了物质性而模糊了符号性。框线符号性的削弱,意味着空间不连续性的削弱,原本明确被分割的两个空间便逐渐接近于一整个连续的空间。这样的变化过程预示着图 2.2 至图 2.1 之间展开的一片连续的表现空间,图 2.3 只是其中一个可能的中间节点。问题是,图 2.1 是这片空间的端“点”吗,它对应的空间不连续性是“0”吗?

并非如此。想象把图 2.1 中的2个角色图像分别往画面的左右端分离的情形,与把它们拉得更近以至于无法用1条竖线来分隔的情形,后者应该更加容易被认为是连续的空间。对于前者,极端而言,如果2个角色图像远到观者很难同时看到,那么它们与在不同的页面上是差不多的(想象一种横向滑动的条漫),而这样的分离便使得它们有了更多被认为是“正反打”的可能——空间不连续性的增强。(图形上的说明稍显抽象,在语义的章节会有更明白的例子。)也就是说,除了框线这样的符号显式地产生空间不连续性,图形上的特征也能隐式地发挥影响。这与格式塔的 Proximity 原则或有所相通。因此,图 2.1 这样完全不包含分割“符号”的情形并非收束在空间不连续性的表现空间的一个点上,而是一片空间,且与图 2.2 至图 2.1 之间展开的空间(含有某些程度分割“符号”的空间)是交错的。因为图形上的特征,如这里讨论的距离,同样作用于框线与框线、框线与无框线人物等等之上。于是同样的,图 2.2 这样使用完整框线的情形也并非端“点”。

以上可以说是非符号的图形特征与符号的一种(框线)作为基底展开的表现空间,在水平方向上存在的形式自然不只有框线,比如人物背后整块的深色的方块、装饰性元素构成的区域等这些同样可以利用格式塔来解释为在心理上形成了假想的“框线”来起作用。甚至在彩色漫画中,可以利用半透明的颜色来在近乎连续的物理空间上制造不连续,如 Richard McGuire 的作品 Here (图 2.4)。

f:id:NikuKikai:20210926014616p:plain

图 2.4 Here. 每一个框的左上角标注了不同的年份 (8)

另外需要借用这个例子强调的一点是,前面的例子中所描述的不连续的空间,都是角色所处世界的物理空间。而“空间不连续性”所定义的空间是心理上的纸面空间,前者是后者的形成条件之一但非必要条件。Here 便是在几近连续的物理空间上,利用颜色分割了纸面空间。

纵深的x图形的=图层

「アニメのセルのように重層する少女マンガ型コマ構造」——夏目将少女漫画的「コマ割り」比作了动画的“图层”,并且将其作为少女漫画首的代表性特征。可以引出2个问题:在平面的纸面上图层是否“真实”存在?它是一种特殊的存在吗?如果2个格子没有水平方向上的差距,那么“下层”的格子也不能被看到——纵深的差距是依赖于水平方向上的差距的。事实上,Thierry Groensteen 在分析背景图像上的小格子时,通过将小格子的外边框认作为背景图像的内边框,来把这种“重叠”构造投影到他在前面提出的格子的水平布局模型中 (9)。西方的漫画表现论的另一部名著麦克劳德的《理解漫画》更是没有提到这类结构。而在日本方面,则基本上作为日本少女漫画的一种独特表现方式,以一种扩展性的、特殊的形式被提及——即假定了这种表现方式是独立于一般的格子布局方式的一种新的形态。

对于第一个问题,从格式塔的 Figure/Background 与 Closure 原理考虑,心理上的纵深是存在的。从图形上,背景图像与小格子首先就会被区别为 Figure 和 Background(meta地说,Groensteen 把背景图像称为“背景图像”的时候已经承认了两者的前后关系)。另外,背景图像在 Closure 原则下,在小格子覆盖的位置会产生完形效果,这意味着小格子所处的水平空间中有着重叠的两幅图像(深度知觉的单眼线索中的“遮挡”),而肉眼实际看到的必然在前。虽然纸面在双眼线索、动眼线索中都只是一个平面,深度线索处理的选择策略让平面图形的深度知觉成为可能 (10) 。与水平的情形一样,框线在这里并非必要要素,框线与框线的重叠、框线与无框线图像的重叠、乃至无框线图像与无框线图像之间都同样可以形成图层结构。

中田健太郎用贴纸(シール)来比喻重叠的图像,认为这种结构非三次元性而是多重的二次元性 (11)。中田没有对非三次元性做更详细的说明,但纸面在物理空间的非三次元性是毋庸置疑的。此外,心理上形成的重叠结构也与三次元有所不同——有上下关系但没有距离(又或者想象几个空间上的平面叠在一起,它们的厚度之和仍然为 0,那么也就没有在第三个次元上的延展)。

中田引用了大量的例子来说明“贴纸”带来的平面多重性,不过所有的例子中“贴纸”都处于图像与图像重叠的情形上,例如「聲の形」中主角石田眼中陌生人的脸上覆盖的叉形。同时中田还将“贴纸”(=“溢出的frame”)产生的图层化(layering)视为与巴赞在绘画与电影比较中根据内部与外部的相对性有无提出而德勒兹则认为都具有与外部的相对性而实为一体的 mask/frame 不同的形式(后者以中田所述的“截取的frame”的形式在漫画中存在)(12)。然而并非只有“溢出的frame”才能产生图层的作用,框线或者“截取的frame”也可能产生图层。借用《理解漫画》中的一个例子 (图 2.5 上),如果把纸面的空白部分看做前景(为了帮助产生这样的认知,图 2.5 下加了一些修改),那么成为后景的3个画面的空间反而因为完形作用而倾向于连接在一起。这种情况下框线不是其内部画面的边缘,而是前景的边缘,因此便不再具有切断其内部画面空间的作用,这时的框线即是“截取的frame”。回到原图上,格式塔的 Figure/Ground 原则一般来说更倾向于将3个框线中的画面认知为前景,此时框线成为了前景画面的边缘,于是才能够切断3个画面的空间,成为“贴纸”。当然将这些图像看成是前景、后景还是平面的倾向是因人、因状态而异,这个例子说明的是,中田所述的2种frame(具体为框线),都不同程度的可以产生图形化的作用。延续上一节将框线泛化的路线,这一结论可以推至任意的图像,而其中比较容易被忽视的即是,空白的纸面同样可以被看作“贴纸”。

f:id:NikuKikai:20210926014744p:plain

图 2.5

有2种特殊情形值得一提。一是,用单线条切分纸面的情形,如果图像严格地呆在每块区域里面的话,便只有1个图层(而如上所述,大部分漫画因为有“格子”所以有2个以上的图层);二是,有些比较复杂的漫画如果仔细观察,会发现上下关系如同彭罗斯阶梯一般存在“矛盾”。这里所分析的图层结构的含义并非纵深方向上的位置关系,而是“不连续性”——在纵深方向上分割心理上的纸面空间。

语义的

这一节讨论图像的”语义”所引起空间不连续性,来看2种常见的情形。

多个内容所表现的物理空间投射在纸面空间上的不连续。即便弱化图形上的不连续性(例如没有框线,也没有重叠),如果把一个俯拍全身像和一张面部特写放在一起,知觉上对这两者的划分是很清晰的。一个思想实验:如果请一位漫画读者给没有框线的图 2.1 加上合适的框线,结果可能是一个大的框线也可能是两个小的框线;而如果是一个半身像与一个头部排放在一起,结果恐怕都会是两个小的框线。框线是空间分割的标识,因此漫画读者添加框线的方式就反映出他心理上形成的对纸面空间形成的分割方式。于是与控制组的前者比较,可以说后者的2副图像隐含的空间尺度信息之间的区别造成了更多的空间不连续性。当然并非所有图像都能直接表现出空间坐标系,可以是光照状况的区别,可以是被风吹起的头发的方向的区别等等。

另一种常见的情形是,连续的物理空间中具有同一性的内容的重复造成的不连续。如图 2.6 左,所有人物图像都处于同一个物理空间中,从文脉以及人物图像的特征可以知道除了弹钢琴的人物以外的所有人物图像都指向同一个角色,它们好比处在同一个空间的不同位面中,这种状态也被包括在“空间不连续性”中。这与所有人物图像都非同一个人物时产生的单纯图形上的不连续性的区别在于,在已知是同一人物的情况下,观者或许会更倾向于一个接一个地去观看(将在后面的章节讨论时间相关的问题)。再次进行前述的思想实验便很容易理解其中区别,先忽视现有的框线,接着若这些人物图像都是不同的角色,那么多数人会用一个大框框住这一整幅群像的画面;反之,恐怕会有更多人(尤其是熟悉漫画的的人)会利用层叠小框去构造一些有张弛的景别序列,虽然在这个例子上有点难操作。

f:id:NikuKikai:20210926014832p:plain

图 2.6 博「明日ちゃんのセーラ服3」、「明日ちゃんのセーラ服1」

物理空间连续,只由内容的重复产生空间不连续性的例子不多,大部分兼有两者。例如图 2.6 右(博「明日ちゃんのセーラ服1」)初看两个人像的透视有点错开但仍然仿佛是处在同一个物理空间里的两个人,但马上观者就会觉察到这两个人像是同一角色,进而将两个人物图像所占有的纸面空间在心理上切分开。操作步骤的示意图往往是这种类型。回到图 2.5 下,左边和中间的格子容易被知觉成被遮挡的1张图像,而中间和右边的格子由于人物的重复,仍然是被分割的2个空间。同样可以进行加框线的思想实验,不再赘述。

“语义的不连续性”这一划分虽然暧昧,但从这些情形的分析中可以反过来归纳出一些轮廓。不连续性在所有情形中形成过程的起点,都是图像所对应的物体知觉的产生。在物体知觉产生后根据既有知识 top-down 地察觉到图像间的某种冲突,从而在脑中不自觉地将这些物体放进不同的“框线”中。而在图形部分介绍的框线上的格式塔作用,以及图 2.3 中被截断的人物图像形成的对象永续性虽然也具有 top-down 过程,但图形的不连续性发生的位置正是物体知觉过程本身。

空间结构与注意

上一节所用的思想实验试图通过添加框线的行为暴露观者脑内纸面空间的不连续性。而添加框线的行为本身仿佛是观者作为摄影师在整幅图像上进行取景,落在取景框内的图像成为自成一体的一幅画并被注视。统观空间不连续性的几种不同形式,心理上对图像的分割意味着子图像的独立性的赋予,它们可能被作为一个单位来注视。本文将其命名为“注意单位”。人的视觉信息输入是序列的——眼动是跳跃的(fixation - saccade),注意是有选择性(selective attention)且范围可变的(attention scaling)。注意不一定等同于视线 (covert attention),但在漫画阅读的情形下,不妨将它们考虑为一致的。虽然在思想实验中用了添加的框线来表征注意单位,但这只是一种简化的方式,选择性注意顾名思义在于对特定信息的筛选,而非有固定的形状。在 Daniel Simons 的著名选择性注意实验中,即使猩猩与被注视的传球者在画面上重叠交错,半数被试仍然对猩猩视而不见 (inattentional blindness) (13)。

与“注意单位”相近的(实际上“注意单位”的出发点)是,伊藤刚在「テヅカ・イズ・デッド」中,由电影与漫画的区别问题出发而提出了「フレームの不確定性」的概念 (14)。这里转引岩下朋世的概括,Frame 即为「マンガにおいて『画面』と認識されるもの」,不确定性即为「『コマ』と『紙面』のどちらに属するものか、一義的に決定できない」 (15)。例如手冢漫画等中出现的角色越过框线的情形,伊藤认为 Frame 处于可以是格子也可以是纸面的不确定状态。然而 “frame是格子或纸面” 的二元论显然有很大的局限性。 三輪引用手塚「エンゼルの丘」中的一幅只有一个格子的跨页对伊藤进行批判:由于格子=纸面,那么按照伊藤的论述 frame 既等于格子也等于纸面,于是 frame 的不确定性不应存在,但实际上由于前文的诱导(“画面里有多少海龟呀?”),读者会在这个跨页中反复来回观察 (16)。伊藤对 frame 的说明与其定义自相矛盾。同样在图 2.5 中,左中两幅图像有较大可能构成一个 frame,并不局限于格子或纸面。

野田謙介以框线所规定的格子为基础,提出了“上位的格子集合”、“下位的格子集合”的概念 (17),但并未对其形成过程进行说明。之后伊藤在2017年的「マンガ視覚文化論」中,在三輪和野田论的基础上,将二元化的 frame 不确定性模型扩展为了「多段階フレーム」,在声明 frame 是非静态的同时,具体地以“光-瞳-目-格子-纸面”为主轴对「多段階フレーム」进行了构建 (18)。从眼动实验中可以看到角色的面部、眼睛对人的注意确实具有很大的引力 (19),因此可以说伊藤的模型的着眼点与本文的注意单位是通底的,从以下他对 frame 的再定义可以看到。

『ひとつは言うまでもなく「線で枠どられた領域」であり、もうひとつは「線で枠どられていないが、ある境界があると認識され、その境界の『内』と『外』が分かたれると認識されるもの」』 (20)

野田的集合构造与伊藤的多层级构造都倾向于将 frame 间的关系认为是明确的包含/被包含关系(即树结构),至少框线所产生的格子仍被作为特权化的存在——要么frame完整的被包含于一个格子,要么格子完整的被包含于一个frame。然而 frame 与框线是可以部分相交的,例如一些漫画中会出现利用框线框取两个角色相互接近的部分(如手)进行强调,图 3.1 给出了一个简易的示例。frame 不仅可以是框线或纸面,也可以是某一个角色。后者的 frame 便与框线部分相交,既不是将多个格子组合而成的“上位的格子”,也不是格子所包含的“下位的格子”。又或者一个人物图像被切分在2个格子中的情形,甚至是相邻框线中2条线条正好对齐而由格式塔作用产生的完整图像的错觉,这类与框线部分相交的 frame 或强或弱地普遍存在。关键在于,形成 frame 的因素既然并非只有框线,那么两种因素的错位必然导致 frame 间的交错,使得单纯的树结构无法实现。

f:id:NikuKikai:20210926014912p:plain

图 3.1

frame 这个概念本身也有待商榷。一是其非实在性导致定义难以明确,野田所使用的 frame 将时间的分节作用作为条件之一,与单纯的空间上的 frame 并不完全一致(将在下一章说明);二是其具有强烈的长方形的固有印象,对于重叠结构长方形的 frame 会同时框入多层的图像,这一点未见到有学者提及。因此使用明确且非固定形状的“注意单位”代替 frame 是一个更好的选择。(或者可以将本文的 frame 定义为注意单位,但使用起来不免有点混乱。)

读者落在纸面上的注意显然有无数的可能,其影响因素也不限于框线。空间不连续性正是解析这一复杂状态的一种尝试,它描述了纸面上图像之间被知觉进行分离的倾向性。不连续性与其反面的连续性是表里一体的,目前为止的例子都是默认为整体的人物图像与其他图像间的不连续性,即人物图像本身被默认为了连续。相对的,语义上认为是不同物体的图像由于图形上的相似、关联性产生作为整体的“错觉”,即空间连续性,同时这一整体与周围图像间的空间不连续性也便出现了。内部相对的空间连续性、与外部的相对的空间不连续性,形成了注意单位。并且前后两者共同决定了注意单位的强度,于是可以得到纸面上无数注意单位的 heatmap。一个类似的例子是人工智能中 Object Detection 和 Instance Segmentation 模型的输出形式 (图 3.2),大量可能的范围被划分并标注了可信度,并且实际上图中只筛选出了高可信度的结果。对于规整的布局,主要的注意单位或许能够呈现出严格的嵌套结构(树结构);而对于少女漫画般繁杂的布局,主要的注意单位则相互交错。

f:id:NikuKikai:20210926014949p:plain

图 3.2 Object Detection and Instance Segmentation (21)

现在可以回到“格子”的定义问题上了。野田提出“上位的格子集合”的出发点在于,框线之上的frame的存在。其“广义的格子”实际上与 frame 是密不可分的。本文对这种思路是基本赞同的。更进一步,“广义”的限定是不需要的。文首提到夏目对格子进行的从机能角度的定义已经说明了基于框线的格子定义是绝不完整的,此种“狭义”的定义无法成立,格子需要定义在更广泛的意义上,便也无需“广义”一说。其次,如果将格子定义为所有 frame 可能出现的地方,格子与 frame 的区别在哪里?假设将 frame 定义为本文的注意单位,这里给出一个可能比较合理的定义,格子与 frame 分别是动态变化的注意单位的不同时态。Frame 指的是阅读时的当前的注意单位,而格子是纸面上无数潜在的注意单位(或者更加方便地,一些主要的注意单位)。

“时间有序性”与注意迁移

人接受的信息呈时间序列。从这一简单的前提出发,需要考虑的问题有三个:序列的元素是什么?序列如何形成?故事的时间如何形成?

本文的前两章所论述的空间不连续性和注意单位 heatmap 已经对第一个问题进行了回答——序列的元素是空间不连续性形成的无数潜在的注意单位。鈴木雅雄针对“静止的画真的能产生时间吗?”这一问题,考察了单个框线内部的时间的多重性 ,如图4.1是多个瞬间共存的一个例子,除此之外也有不同时间尺度的、时间区间交叠的画面元素并存的情况 (22)。暂且搁置铃木给出的解释,其问题意识本身似乎有将框线特权化的倾向——将框线内部当作一整张图像来看待才会产生“异时同图”的问题。野田则利用其格子的集合构造,将各个“下位的格子”的时间自下而上地组织成“时间块”(かたまり)(23)。虽然其“格子”与本文的注意单位有所不同,但原子化时间的思路是相同的。

f:id:NikuKikai:20210926015158p:plain

图  4.1

阅读序列的形成也就是阅读顺序(読み順)的形成。而这与空间结构的建立是紧密相关的。野田建立了格子的树结构,因此他提出的阅读顺序便是树结构的一种遍历 (24)。事实上这种树结构的阅读顺序分析非常的常见,比如早在 2007年 Takamasa Tanaka 就提出了比野田更具体可量化的以正确顺序得到分割线(正确树结构)的方法 (25)。树结构具有的局限性已经在前一章讨论。此外视线诱导可能使阅读顺序脱离布局所规定的顺序。可以看到,阅读序列的形成也同样是一个多因素的复杂的过程,对此需要从人的注意的特性入手分析。

阅读序列的形成就是注意的动态变化过程。注意的scaling选取序列的元素,注意的转移(shifting)则产生序列。影响注意转移的因素可以分为内源性注意引起的 voluntary shifts 与外源性注意引起的 automatic shifts。在漫画语境下,内源性注意主要为诸如“从右至左从上至下”的规则(z-path),也有可能是文脉等引起的动机,例如“数海龟”;外源性注意由视线被某些强烈的视觉刺激引起。

由规则引起的内源性注意转移与在空间不连续性基础上形成的纸面空间结构有关。在规整布局的情况下,类似野田或 Tanaka 的树结构形成方法是有效的,这里给出一个合并而不是分割的形成方法。首先把每个框线都当作单独的格子,然后试图把格子进行合并,被合并的2个格子要尽量接近且合并后的大格子仍然是方形。重复这一过程,且在同一层级的节点按照从右至左从上至下的顺序排列,就可以从下至上得到一棵树,而从左至右的叶节点序列就是规则下的阅读序列。

从空间不连续性和注意单位的角度看,合并操作实际上是在找不连续性最小的2个格子,也即是找纸面上强度最高的上一层级的注意单位。通过抽取出这条抽象的原则,这个形成方法便可以推广到不规整的情形去了,例如框线之间互相不对齐、倾斜、重叠等等,又或者没有框线的多个图像组成的页面。于是树结构自然具有了不确定性。这种不确定性体现在生成过程中使用到的2条规则。一是“根据空间不连续性进行合并”的规则,诸如框线间相互不对齐的情况下很难去判断哪两个格子间的空间连续性是最小而可以合并的;二是“同一级节点按方位排列”的规则,方位关系的不明确,比如倾斜便会产生不确定性。

以上的分析有一个前提,即读者统观整个页面才能形成一整个的全局的树结构。当然在眼动实验中可以看到阅读的开始阶段扫视全页的倾向 (19),但这始终因人而异且不可能在阅读过程中仍然起绝对作用。从经验来说,对纸面空间结构的知觉是随着阅读动态且局部进行的。例如有时框线的布置容易产生歧义,读者并不会在展开页面的时候就察觉到,而是在阅读到相应位置时产生不确定接下去要往那边看的犹豫。这种逐步的动态过程,类似于采用贪婪算法的局部决策过程,最后形成的阅读序列与上述全局的树结构产生的阅读序列不一定是相同的。例如,线条趋势的衔接、气泡的跨越等将视线诱导至不合全局规则的格子中的手法非常常见,相互重叠的注意单位相互衔接,其整体成为局部视野内最强的注意单位,达到诱导视线的效果。除了 z-path 规则之外,文脉、习惯、角色动作、角色视线方向、连绵的漂浮物、抽象的箭头指示等各种线索也能影响注意转移而产生视线诱导,也可能与 z-path 规则相冲突。

同样在阅读的动态过程中,以脸部为代表的某些图像可以产生外源性注意,使读者的视线跳出 z-path (19)。此时如果视线落到前面提到的视线诱导中,视线可能会继续脱离 z-path;反之便可能回到原来的 z-path 中。阅读序列形成的主要过程如图 4.2 所示,内源性注意主要为Top-Down作用,而外源性注意主要为Bottom-Up作用,同时注意转移又获取新的图像,形成一个循环往复的动态过程。

f:id:NikuKikai:20210926015224p:plain

图 4.2

这里可以定义另一个指标“时间有序性”,在阅读规则的引导下,阅读摄入的图像序列在空间不连续性所产生的空间结构上的有序性——多大程度上符合z-path。由于上面分析的序列形成过程的几种不确定性,和空间不连续性一样,时间有序性也是一个连续量。强的空间不连续性加上合理规整的框线布局,可以得到强的时间有序性。

最后,阅读序列如何产生对故事中时间的认知。竹内提出漫画阅读过程中存在3种时间(1.自然时间=物理的時間、2.人的时间=意識の上の時間(为直观称为“意识时间”)、3.故事时间=マンガ表現の時間),并指出「マンガの時間(中略)1と2の時間にもとづき形づくられたものであることは疑いない。」 (26)。虽然这么说确实没有疑问,但仍有一些需要辨明的地方。一是故事时间作为存在于人意识之中的时间直接依存于意识时间,因此1←3的关系式是可以排除在考虑之外的。二是故事时间并非只有一种,正如现实中存在自然时间和意识时间一样,故事世界中也存在这两种时间。例如我们经常会看完一场战斗,觉得故事世界中的时间只经过了2个小时,而旁白却说这场大战持续了三天三夜。这其中由作者这一故事世界的神所给定,不受读者主观影响的时间可以称为“故事自然时间”;而读者主观感觉的故事世界经过的时间可称为“故事意识时间”。通过营造故事自然时间与故事意识时间的正负差,在故事世界中唤起读者现实的”光阴似箭/度日如年“的体验。而不论是哪种体验,现实的意识时间则是类似1小时自然时间之上的半小时——与故事意识时间是完全不同的东西。从形成过程上考虑,故事意识时间相对直觉、局部,且与位于现实意识时间层面上的阅读时间有紧密联系,例如格子的长度,画面信息量的安排等形式要素会影响阅读时间进而影响故事意识时间;而故事自然时间需要相对高级、大域的文本、文脉理解,在没有相关线索时则依附于故事意识时间之上,就像现实中人看不到钟表时利用意识时间预测自然时间一样。这一关系形成了一种对称结构,仿佛现实与故事通过意识相连一般:现实自然时间 —— 现实意识时间 —— 故事意识时间 —— 故事自然时间。

在这框架下,读者知觉的图像序列是在现实意识时间上展开的,而读者理解的故事世界中的运动则是在故事意识时间展开的。和自然语言的语序类似,两者的关系不一定是单调增的。例如图4.1 中,读者或许会先看到「にー」再看到「いちィ」或者任何其他顺序,但读者所理解的故事世界中事件的顺序会被再组织成1、2、3、4的顺序。所以阅读过程中,阅读序列的形成和故事意识时间的形成是两个阶段,且后者与文本、文脉的理解有很大的关系。“瞬间”与“持续”的变换、序列到并行的变换都会发生在现实意识时间到故事意识时间的再组织过程中。虽然前面批判了鈴木的框线特权化的倾向,但其结论却敏锐地指出了“格子”对时间的调整作用。

「コマは瞬間を切り取るのでなく、人物や事物おのおのが生きている時間どうしの前後関係や長短、重なりあいなどを示し、また調整するために存在するにすぎないのではないか。」 (27)

而野田似乎是发展了这一思路,通过其“广义的格子”这一媒介将这种调整具体化为了「瞬間と持続の往復」。以图 4.1 「よつばと!」的例子而言,人物表现出的时间与文字气泡表现出的时间,借由下位格子带来的同时性,整合为了新的持续的时间。读者观察到的各个图像、气泡的时间在认知过程中被重新组织这一点是共通的认识。然而这里将每一组人物+气泡构成的下位格子做为因,将同时性作为果,但实际上无法保证每个读者会事前地认识到这一个下位格子,因而这里对格子的定义是事后的、从机能面出发的,与本文思路不同。例如以笔者个人习惯而言,很可能会先阅读4个文字气泡再扫视4个人物图像,这种情况下野田所期望的下位格子并不存在,但这不影响笔者理解故事中人物说话产生的时间持续。如同自然语言一般,不论语序如何,通过不同的时间连词以及事件本身的逻辑,总能是读者组织出正确的故事时间。图 4.3 粗略地展示了故事意识时间被组织起来的过程。其中实线的箭头表示将图像表现的时间重新定位,而虚线箭头则表示根据图像的瞬间补完的时间持续,或许相当于鈴木的“动起来的图像”。而在现实意识时间中呈序列的台词与图像,在故事意识时间中被组织为并列,这即为野田所言的同时性。不同在于,大脑发挥了更多的作用,而非依赖于格子的结构。

f:id:NikuKikai:20210926015251p:plain

图 4.3

漫画连续体

前文将漫画表现形式分解为了2个维度——空间不连续性和时间有序性,在这个模型的基础上可以对“漫画”这一概念的边界,与其他媒介的关系进行再考。这里忽略文字、形喻、符号化图像等要素。极端的说,即便没有文字且极度写实,只要有“格子”的划分一样能被接受为“漫画”,所以它们并非“漫画”的决定性因素。

漫画与电影的比较是贯穿漫画表现论发展的一个主题。相较于深入这个主题,不妨后退一步:为何电影会成为主要的比较对象?答案或许还是在于深入人心的规整明确的“格子”形象上,它意味着漫画是一个确定的图像序列,与电影非常相似。伊藤剛提出的不确定性便打破了这种相似性从而将漫画形式独立出来。更进一步地从注意转移动态生成图像序列的模型来看,不确定性事实上将漫画拉向了另一种媒介,绘画。

相较于亚文化的漫画,绘画得到了更多认知心理学学界的关注。绘画的认知过程与本文的模型有类似的基本特征。低级的图像要素以自下而上的方式吸引注意 (28),而文脉的理解以及目的性则自上而下地影响注意的转移 (29)。直观的从几个典型的眼动实验结果(图 5.1)上来看,绘画的scanpath不论是具象还是抽象都呈现反复来回游走的相对不规则的形态 (30) ;而在图 5.2 中,常规规整布局的漫画则大致呈现出线性的形态——时间有序性,但非常规布局的漫画的 scanpath 也可以相当不规则。(在这个具体的例子中并非完全不规则,一方面局部-全局的结构比较明显,另一方面可以看到左下和右下之间并无saccade,意味着 z-path 仍然在起作用,只不过左上部分的出血导致了一定程度不符合 z-path 的左上-右上的saccade。)

f:id:NikuKikai:20210926015333p:plain

图 5.1 绘画中的 scanpath (30)

f:id:NikuKikai:20210926015352p:plain

图 5.2 漫画中的 scanpath (19)

伊藤剛在「消える男/帰ってくる男」中对于《新聞を読む男》与「BUGがでる」为何分属于绘画与漫画的问题,首先指出观看“方向性”的有无这一直接的区别。但对于方向性的来源,伊藤反驳了 Groensteen 所认为的单纯来源于纸面结构的观点(笔者注:毕竟这里的两个例子都是非常规整的方格布局),因而认为「BUGがでる」中最后回归的人物图像与开头人物图像产生的因果关系强化了方向性,成为划分两个例子的决定性因素。伊藤假设道《新聞を読む男》的右下的窗外如果出现男人的背影,便可能从绘画变成漫画。(31)

f:id:NikuKikai:20210926015427p:plain

图 5.3

“回来的男人”对方向性的事后强化不可否认,但若把这作为漫画与否的决定性因素,就会导致读者阅读到最后一格之前都不认为「BUGがでる」是漫画,都不知道如何阅读的诡异状况。如果「BUGがでる」只有最初的4格,它会同《新聞を読む男》一样被看作为平行的没有方向性的4副图像吗?笔者主观上并不认为。也就是说即便没有“回来的男人”,两者的方向性仍然会有明显的差别。当然这并不来源于 Groensteen 所说的结构(前一章已经讨论过这种绝对的结构否定了读者的主动性),而是 z-path 规则。换言之,读者是在知道作品是漫画或绘画的前提下选择了不同的观看方式。再假设有4个格子画的是同一个人物的4种表情,画在油画布上和画在漫画书里被观看的方式会是一样的吗?更有趣的是,同一个人物的反复出现,直接带来了因果关系吗,还是说至少在这个假设里,正是方向性的成立才带来了因果关系(蒙太奇)?

不论是伊藤的例子还是前面眼动的例子,绘画和漫画观看的时间有序性的不同来自于,不同语境、预设动机下的,不同的内因性注意转移方式。往往是单幅的绘画作品,其观看的目的更可能是从对整体的综合中得到某种意义或感受,于是需要视线的来回反复游走;而漫画则是“按照 z-path 观看来获取故事世界的时间”。这个动机一定程度上来自作品的外部(如上面的例子,作品的表现形式本身接近但被放在不同的媒介上时),一定程度上来自于作品本身(如果是把古典绘画和一般漫画放在相同的媒介上,读者的判断便来自于作品本身的表现形式)。结果是,对于类似《新聞を読む男》或者三輪提到的「エンゼルの丘」这样处于漫画与绘画境界线上的作品,读者若判断它为漫画→以漫画的方式去读→它成为了漫画,若判断它为绘画→以绘画的方式去读→它成为了绘画,存在一种自我论证的结构。不论是哪边都取决于读者的不连续的主观判断,那么在这个意义上“漫画”与“绘画”的概念也不会是连续的——但反过来说,只要转变这种不连续的判断,这个结论便不会成立。所以,以上两条动机的来源都可以放到讨论之外,而不影响本章要说明的“连续体”。换言之,只要其他方面说明了漫画与绘画的连续性,那么上述“读者的不连续的主观判断”产生的不连续性就不成立,所以没有必要进行后者的讨论。

回到绘画与漫画的区别问题上,实际上“时间有序性”及作为其基础的“空间不连续性”已经给出了一个连续的2维空间将不同风格的漫画和绘画甚至其他媒介容纳在其中,构成“漫画连续体”。图 5.4 给出了一个粗略的展示,其中电影与连环画实际上包含2个截然不同的阶段,每一帧/页一般来说与普通的绘画相近,而以序列来考虑则具有最高的时间有序性与空间不连续性。若读者能把思维方式转换为这一连续的模型,而非漫画/绘画的二元判断,阅读的方向性也将获得连续性。

 

f:id:NikuKikai:20210926015450p:plain

图 5.4

不过也有另一种思路:同样为“动机”本身所内含的方向性建立一条坐标轴。z-path 和 漫无目的地观看绘画 这两种动机位于两端的话,网页则处于中间了。这类网页从本身的形式以及内容的连贯性(比如商品介绍等)来说,具有一个从上到下从左到右的规则,但与漫画的叙事需要相比,规则的限制并不严格,观者可以选择直接跳到自己想要获取信息的部分。例如乐队羊文学的主页(图 5.5),与漫画的视线诱导如出一辙,通过重叠的注意单位使视线不断得到接续,而从由上至下的方向来考虑,可以说和条漫十分相似了。更有趣的是,html 的 <div> 等标识符构成的阶层状结构也和“多阶层frame模型”很相似,不过虽然 html 本身是确定的树结构,但其呈现出的网页(图像)会具有怎样的空间结构又是另一回事了。

 

f:id:NikuKikai:20210926015506p:plain

图 5.5 羊文学主页局部 (2021.09.26) https://www.hitsujibungaku.info/

除网页之外,众多的媒体都可以在这个框架下重新被考察。McGuire 的漫画 Here 的创作灵感来源于当时新兴的微软 Windows 系统 (32)。

后记

试图用离散的定义解释连续的世界或许是不可实现的。反之作为一种思维方式,当在两个离散的概念之间划出一条连续的坐标轴时,不仅可能获得更统一的理解,还可能在轴上发现世界上还不存在的形式。同样面对离散的一个个的例子时,评论者或许倾向于找一种方式去划分它们,但笔者认为不如去连接它们,从而设想出仍然不存在的可能的作品。否则,评论者建立的模型将会是既存作品们的一个过拟合,跟在不断探索表现形式边界的创作者身后,而无法提示出新的形式。而要这样做则需要后退一步,从更基本的层级上去考察。在这样一种思考方式下写下了本文。

是本文的模型十分粗糙,限于篇幅很多需要通过例子详细展开的地方都点到即止,另外借用认知心理学的概念又无法使用其方法论进行验证,很有民科味。如果要进行验证的话,每一段仿佛都能成为一个课题,着实看不到实现的可能。因此本文不是作为学术论文而是单纯希望从“人”出发的分析角度能够对漫画的理解思路带来一点启发。

“空间不连续性”和“时间有序性”都具有量化的可能。例如,AI 通过逆强化学习学习预测人观看图像时的 scanpath (33) 后,便可以将大量绘画/漫画等不同视觉媒介的样本输入得到 scanpath ,提取 scanpath 的特征并将其分布可视化,或许便能看到媒介的光谱。

参考文献

(1) 四方田犬彦 「漫画原論」 P35

(2) 夏目房之介 「マンガはなぜ面白いのか」 

(3) 井上康 「何がマンガ言語世界に於ける〈言葉〉であるか―― 線の運動〈場〉の弁証法 ――」

(4) Thierry Groensteen. The System of COMICS. Chapter 1.1

(5) 夏目房之介 「コマの基本原理を読み解く」『別冊宝島EX マンガの読み方』 P169

(6) 夏目房之介 「『表現論』から二十年」『マンガ視覚文化論』 P56

(7) 夏目房之介 「「間白」という主張する無」『別冊宝島EX マンガの読み方』 P187

(8) Richard McGuire. Here. P175

(9) Thierry Groensteen. The System of COMICS. Chapter 1.10

(10) 梁宁建 《当代认知心理学》

(11) 中田健太郎 「切りとるフレームとあふれたフレーム」『マンガ視覚文化論』 P338

(12) 同上 P344

(13) SIMONS, Daniel J.; CHABRIS, Christopher F. Gorillas in our midst: Sustained inattentional blindness for dynamic events. perception, 1999, 28.9: 1059-1074. (Video)

(14) 伊藤剛テヅカ・イズ・デッド

(15) 岩下朋世 「少女マンガの表現機構」 P41

(16) 三輪健太朗 「マンガと映画」 P278

(17) 野田謙介「マンガにおけるフレームの複数性と同時性についえーーコマと時間をめぐる試論(一)」『マンガを「見る」という体験』 P100

(18) 伊藤剛「多段階フレーム試論」『マンガ視覚文化論』 P309

(19) Mikkonen, Kai, and Ollie Philippe Lautenbacher. "Global Attention in Reading Comics: Eye movement indications of interplay between narrative content and layout." ImageTexT 10.2 (2019).

(20) 伊藤剛「多段階フレーム試論」『マンガ視覚文化論』 P313

(21) Shaunak Halbe. Object Detection and Instance Segmentation: A detailed overview  (Link)

(22) 鈴木雅雄 「瞬間は存在しないーーマンガ的時間への問」『マンガを「見る」という体験』 P63

(23) 野田謙介「マンガにおけるフレームの複数性と同時性についえーーコマと時間をめぐる試論(一)」『マンガを「見る」という体験』 P113

(24) 同前 P110

(25) Takamasa Tanaka. Layout Analysis of Tree-Structured Scene Frames in Comic Images

(26) 竹内オサム「漫画表現学入門」178

(27) 鈴木雅雄 「瞬間は存在しないーーマンガ的時間への問」『マンガを「見る」という体験』 p67

(28) Relevance of a Feed-Forward Model of Visual Attention for Goal-Oriented and Free-Viewing Tasks

(29) Rothkopf CA, Ballard DH, Hayhoe MM (2007) Task and context determine where you look. Journal of Vision 7: 16.1–1620.

(30) How do we see art : an eye-tracker study

(31) 伊藤剛「消える男/帰ってくる男」『マンガを「見る」という体験』

(32) Jennifer Schuessler. Sharing a Sofa With Dinosaurs. The New York Times. 2014.  (Link)

(33) Yang, Zhibo, et al. Predicting goal-directed human attention using inverse reinforcement learning. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.

 

未引用但很有帮助

(i) Kootstra, Gert, Niklas Bergström, and Danica Kragic. "Gestalt principles for attention and segmentation in natural and artificial vision systems." ICRA 2011 Workshop on Semantic Perception, Mapping and Exploration (SPME), Shanghai, China. eSMCs, 2011.

(ii) Scott P. Johnson. Object Perception - Oxford Research Encyclopedia of Psychology. Jul 2018 (Link)

(iii) MASSARO, Davide, et al. When art moves the eyes: a behavioral and eye-tracking study. PloS one, 2012, 7.5: e37285.