利用深度学习和计算机视觉进行面部表情分析
19:33:11来源: 互联网 关键字：&&&&
识别和情绪是人类社交初期阶段的一项基本且非常重要的技能。人类可以观察一个人的面部，并且快速识别常见的情绪：怒、喜、惊、厌、悲、恐。将这一技能传达给机器是一项复杂的任务。研究人员通过几十年的工程设计，试图编写出能够准确识别一个特征的计算机程序，但不得不反复重新开始，以识别出只有细微差别的特征。 如果不对机器进行编程，而是教会机器精确识别情绪，这样会如何呢？技能对于降低识别和分类的错误率展现出了巨大的优势。在嵌入式系统中实施深度神经网络（见图1）有助于机器通过视觉解析面部表情，并达到类似人类的准确度。&图1. 深度神经网络的简单例子&神经网络可通过训练而识别出模式，而且如果它拥有输入输出层以及至少一个隐含的中间层，则被认为具有“深度”识别能力。每个节点从上一层中的多个节点的加权输入值而计算出来。这些加权值可经过调整而执行特别的图像识别任务。这称为神经网络训练过程。例如，为了训练深入神经网络识别出面带开心的照片，我们向其展示开心的图片作为输入层上的原始数据（图像像素）。由于知道结果是开心，网络会识别图片中的模式，并调整节点权重，最大限度减少开心类别图片的错误。每个显示出开心表情并带有注释的新图片都有助于优化图片权重。凭借充足输入信息的训练，网络可以摄入不带标记的图片，并且准确地分析和识别与开心表情相对应的模式。深度神经网络需要大量的计算能力，用于计算所有这些互连节点的权重值。此外，数据内存和高效的数据移动也很重要。卷积神经网络 (CNN)（见图2所示）是当前针对视觉的深度神经网络中实现效率最高的。CNN之所以效率更高，原因是这些网络能够重复使用图片间的大量权重数据。它们利用数据的二维输入结构减少重复计算。&图2. 用于面部分析的卷积神经网络架构（或示意图）举例&实施用于面部分析的CNN需要两个独特且互相独立的阶段。第一个是训练阶段。第二个是部署阶段。训练阶段（见图3所示）需要一个深度学习框架 – 例如Caffe或TensorFlow – 它采用CPU和GPU进行训练计算，并提供框架使用知识。这些框架通常提供可用作起点的CNN图形范例。深度学习框架可对图形进行微调。要实现尽可能最佳的精确度，可以增加、移除或修改层次。&图3. CNN训练阶段&在训练阶段的一个最大挑战是寻找标记正确的数据集，以对网络进行训练。深度网络的精确度非常依赖训练数据的分布和质量。面部分析需考虑的多个选项是来自面部表情识别挑战赛 (FREC) 的情感标注数据集和来自VicarVision (VV) 的多标注私有数据集。部署阶段（见图4所示）针对实时嵌入式设计，可在嵌入式视觉处理器上实施，例如带有可编程CNN引擎的Synopsys DesignWare(R) EV6x嵌入式视觉处理器。嵌入式视觉处理器是平衡性能和小面积及更低功耗关系的最佳选择。&图4. CNN部署阶段&标量单元和向量单元采用C和OpenCL C（用于实现向量化）进行编程，而CNN引擎不必手动编程。来自训练阶段的最终图形和权重（系数）可以传送到CNN映射工具中，而嵌入式视觉处理器的CNN引擎可以经过配置而随时用于执行面部分析。从摄像头和图像传感器捕捉的图像或视频帧被送入嵌入式视觉处理器。在照明条件或者面部姿态有显著变化的识别场景中，CNN比较难以处理，因此，图像的预处理可以使面部更加统一。先进的嵌入式视觉处理器和CNN和异构架构允许CNN引擎对图像进行分类，向量单元会对下一个图像进行预处理 – 光线校正、图像缩放、平面旋转等，而标量单元则处理决策（即如何处理CNN检测结果）。图像分辨率、帧率、图层数和预期精确度都要考虑所需的并行乘累加数量和性能要求。Synopsys带有CNN的EV6x嵌入式视觉处理器可采用28nm工艺技术以800MHz的速率运行，同时提供高达880 MAC的性能。一旦CNN经过配置和训练而具备检测情感的能力，它就可以更轻松地进行重新配置，进而处理面部分析任务，例如确定年龄范围、识别性别或种族，并且识别发型或是否戴眼镜。总结嵌入式视觉处理器上运行的CNN开辟了视觉处理的新领域。很快，我们周围能够解析情感的电子设备将很常见，例如检测开心情绪的玩具，以及能够通过识别面部表情而确定学生理解情况的电子教师。深度学习、嵌入式视觉处理和高性能CNN的结合将很快将这一愿景变为现实。
关键字：&&&&
编辑：鲁迪
引用地址：
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有，本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播，或不应无偿使用，请及时通过电子邮件或电话通知我们，以迅速采取适当措施，避免给双方造成不必要的经济损失。
关注eeworld公众号快捷获取更多信息
关注eeworld服务号享受更多官方福利
网友正在学习IC视频
EEWORLD网友正在观看&&视频
EEWORLD网友正在观看&&视频
EEWORLD网友正在观看&&视频
EEWORLD网友正在观看&&视频
EEWORLD网友正在观看&&视频
相关关键词
热门关键词
大学堂最新课程
汇总了TI汽车信息娱乐系统方案、优质音频解决方案、汽车娱乐系统和仪表盘参考设计相关的文档、视频等资源
热门资源推荐
频道白皮书百度知道 - 信息提示
知道宝贝找不到问题了&_&!!
该问题可能已经失效。
秒以后自动返回豆丁微信公众号
君，已阅读到文档的结尾了呢~~
基于自适应鲁棒在线度量学习的面部表情识别
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
基于自适应鲁棒在线度量学习的面部表情识别
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口当前位置： >>
健康受试者与重性抑郁症患者识别动态面部表情的功能核磁共振成像研究
分类号:
UDC:
南京医科大学
学位论文
杜经纶
指导教师
申请学位级别硕士专业名称
论文提交日期论文答辩日期
学位授予日期
答辩委员会主席
评阅人
日南京医科大学硕匕学位论文
目录
中文摘要...............................???????????……2
英文摘要.....................……，..............……7
前言.........................................……15
1.1情绪性刺激材料的目前现状...........................................................................................……，二巧
1.2功能影像学技术研究进展.............................................????????????????????????????????????????4???????????……17
1.3健康受试者识别面部表情的功能影像学研究..............................……，.............................……19
1.4抑郁症患者情绪障碍的功能影像学研究进展..................................................................……23
1.5存在问题及不足之处..........................................................................................................……25
1.5.1建立具有动态性且可应用于认知任务中的情绪性刺激材料...............................……25
1.5.2健康中国人识别动态面部表情的神经基础..........................................................……25
1.5.3抑郁症患者识别动态面部表情的神经基础..........................................................……25
1.6参考文献..................................................................................................……，.....................……26
试验部分，二，.....................................……33
2.1试验一:中国面部表情视频系统的初步建立..................................................................……33
2.1.1研究对象与方法…，...................................................................?????，?????????????????????????……33
2.1.2结果....................................................................................……，..............................……36
2.1.3讨论.，..................................................................................................................……，..…43
2.1.4参考文献...................................................................................................................……46
2.2试验二:中国健康女性识别动态面部表情的功能核磁共振成像研究.......................……，二48
2.2.1研究对象与方法..................................……，................................?..??????????????????????????……48
2.2.2结果..........................................................................................................................……53
2.2.3讨论..........................................................................................................................……63
2.1.4参考文献.............................................................................................................??..??……68
2.3试验三:重性抑郁症息者识别动态面部表情的功能核磁共振研究..............................……72
2.3.1研究对象与方法...........................................................???????????????????????????????????????????……72
2.3.2结果，.........................................................................................................................……73
2.3.3讨论..........................................................................................................................……81
2.3.4参考文献..................................................................................................................……85
全文小结.........................................……88
附录.........................................……90
致谢.........................................……93
尸卜八OO甘nU
J卫..
综述及参考文献.…
论文独创性声明.…南京医科大学硕士学位论文
中文摘要
第一部分中国面部表情视频系统的初步建立
目的:建立本土化的中国面部表情视频系统(CFEvS)以增加情绪
研究的取材范围。
方法:请专业摄影师录制专业演员表演的强度分为三等级的喜悦、
悲伤、惊奇、恐惧、愤怒、厌恶及中性(包括无表情及咀嚼动作两种)等
面部表情视频片段。经两轮粗选后，请50名中国大学生对剩余视频片段
的表情类型、愉悦度、唤醒度及表演者的长相进行自我报告式评定。将表
情类型、愉悦度、唤醒度一致性高且表情类型与愉悦度相一致的片段纳入
CFEVS，做分布分析，同时分析评测者性别、表演者长相对愉悦度、唤
醒度分值的影响。
结果:纳入CFEVS的喜悦表情男18女43共61个，悲伤表情男23
女28共51个，无表情中性男13女17共31个，咀嚼中性男7女17共
24个。散点图显示CFEVS在愉悦度及咦醒度上分布较为广泛。方差分析
表明评测者性别及表演者长相对视频片段的愉悦度、唤醒度的影响与其表
情类型有关。
结论:本研究初步建立了一个拥有喜悦、悲伤及中性表情的CFEVS，
并发现评测者的性别及表演者的长相可影响试验结果。
关健词:面部表情;情绪;中国面部表情视频系统;CFEvS;动态
刺激材料;南京医科大学硕士学位论文
第二部分健康女性受试者明确和不明确识别动态表情的舰RI研究
目的:牙!」用事件相关设计的功能核磁共振成像技术探讨健康汉族女
性明确和不明确识别动态面部表情情感的神经基J出。
方法:牙!」用 1.ST功能核磁共振成像系统检测26例健康汉族女性受试
者识别动态悲伤、喜悦及中性面孔的表情类型和性别时的脑部反应。图像
数据经SPMZ软件处理和统计分析，获得脑区激活图。
结果:
1.与识别十字架相比，中性表情情绪明确识别显著性激活右额中回
(BAg)、左中央前回(BA6)、左扣带回(BA24)以及左中央后回(BA2)
等脑区，而中性表情情绪不明确识别显著性激活额叶皮质(右中央前回，
BA4;)、边缘系统(右前楔叶，BA31;)、枕叶皮质(右楔叶，BA19;右
舌回，BA18;右枕中回，BA18;左前楔叶，BA31;)、顶叶皮质(左侧
顶下小叶，BA40;右侧顶下小叶，BA40;左侧楔前叶，BA39;右侧楔
前叶，BA7;)以及濒叶皮质(右侧颓下回，BA20;左侧濒中回，BA22
等;)等脑区。
2.与动态中性表情识别相比，动态喜悦表情的明确识别显著性激活
额叶皮质(左额中回，BAS和46)、枕叶皮质(右楔叶，BA7;左楔叶，
BA18;右枕下回，BA18:左舌回，BA18;)、濒叶皮质(右颗中回，BAZI:
左颜中回，BA39;左颜横回，BA41;)以及皮质下区(尾状核，壳核;)
等脑区，而动态喜悦表情的不明确识别显著性激活枕颗交界处(右侧颗下
回，BA37)以及右侧颗中回(BA22)等脑区。
3.与动态中性表情识别相比，动态悲伤表情明确识别显著性激活边南京医科大学硕士学位论文
缘系统(钩回，BA28;)、颗叶皮质(右侧梭状回，BA37;右侧颗下回，
BA20)等脑区，而动态悲伤表情的不明确识别显著性激活额叶皮质(左
额中回，BA10;右额中回，BA6;)、枕叶皮质(右楔前叶，BA31;)、顶
叶皮质(右顶下小叶，BA40;顶上小叶，BA7)、边缘系统(左扣带回，
BA31;右海马旁回，BA28;)、皮质下区(左尾状核;左豆状核;左侧丘
脑;)等脑区。
结论:本研究旨在通过功能核磁共振技术研究面部表情的明确和不
明确加工的相关脑区，进而探讨面部表情在无意识和有意识状态下加工的
神经基础，得出以下结论:
1.中性表情情绪的明确加工和不明确加工所激活的脑区与试验任务
有关。中性表情情绪不明确加工(识别性别)要求更多更广泛的脑区参与，
而明确加工(识别表情)主要激活一些与情绪相关的脑区。
2.动态喜悦表情情绪在明确加工条件下更能吸引注意而且激活的脑
区更为明显，参与的脑区涉及到皮质下区，而在不明确条件下主要激活负
责面孔动态特征加工的脑区。
3.悲伤表情情绪不明确加工可能由一个包括额顶皮质及皮质下(如
边缘叶、基底节和丘脑)等脑区的分布式神经网络所调控，而明确加工条
件所激活的脑区与中性表情激活的脑区差别不大，提示悲伤表情在不明确
加工条件下更容易被关注，激活的脑区更为广泛。
关健词:面孔;面部表情;视频刺激;功能核磁共振成像;神经影
像学;明确识别;不明确识别;南京医科大学硕士学位论文
第三部分女性抑郁症患者明确和不明确识别动态表情的仪租研究
目的:矛弓用事件相关设计的功能核磁共振成像技术探讨汉族女性抑
郁症患者明确和不明确识别动态面部表情情感的神经基础。
方法:利用 1.ST功能核磁共振成像系统检测巧例汉族重性女性抑郁
症患者和巧例性别、年龄及教育程度与患者组相匹配的正常对照组在明
确和不明确任务中识别动态悲伤、喜悦及中性面孔的脑部反应，并比较两
组间在明确和不明确识别时激活脑区的差异。图像数据经SPMZ软件处理
和统计分析，获得脑区激活图。
结果:
1.与健康受试者相比，抑郁症患者明确识别动态喜悦表情时活动增
高的脑区包括枕颗交界处(左颗中回，BA19)、顶叶皮质(右顶下小叶，
BA40;左中央后回，BA7和5;右中央前回，BA7和5;右前楔叶，BA7;)，
而活动降低的脑区包括顶叶皮质(右顶上小叶，BA7;左顶上小叶，BA7)
等脑区。另一方面，抑郁症患者不明确识别动态喜悦表情时活动增高的脑
区包括顶叶皮质(右顶下小叶，BA40)等，而活动降低的脑区包括枕叶
皮质(右楔叶，BA18;)、顶叶皮质(右中央后回，BA40;左顶上小叶，
BA7;)以及皮质下区(右侧岛叶，BA13)等。
2.与健康受试者相比，抑郁症患者明确识别动态悲伤表情时活动增
高的脑区包括枕叶皮质(右枕中回，BA18;)、顶叶皮质(左中央后回，
BAS;左楔前叶，BA7;)，而活动降低的脑区为额叶皮质(左额中回，
BA10;)。另一方面，抑郁症患者不明确识别动态悲伤表情时活动增高的
脑区包括枕叶皮质(左梭状回，BA19;)、顶叶皮质(右中央前回，BA2;南京医科大学硕士学位论文
右楔前叶，BA7;)、颗叶皮质(左颗上回，BA13;左缘上回，BA40;)、
边缘叶(左海马旁回，BA36;右海马旁回，BA30;左海马旁回，BA28;
左后扣带回，BA29;)、皮质下区(右豆状核，外侧苍白球;丘脑;)以及
中脑等，而活动降低的脑区包括顶叶皮质(右中央后回，BA40;)、颗叶
皮质(左颗中回，BA22;左颗上回，BA22;右颗上回，BA22;)等脑区。
结论:本研究旨在牙!!用功能核磁共振成像技术探讨抑郁症患者与正
常对照在明确和不明确两种任务状态下识别动态喜悦和悲伤表情的相关
脑区的差异，进一步探讨抑郁症患者在有意识和无意识状态下加工情绪性
刺激的神经基演出，得出以下结论:
1.无论是在明确加工或不明确加工条件下，抑郁症患者和正常对照
在加工正性情绪方面无明显差异，但在感知动态喜悦表情的面部运动方面
存在差异，表现为抑郁症患者在明确条件下感知面部运动能力降低，而在
不明确条件下感知能力增强。
2.无论是在明确加工条件或不明确加工条件下，抑郁症患者识别悲
伤表情时都表现为情绪产生相关脑区活动增强，而情绪调节相关脑区活动
减弱，这种异常在无意识状态下(不明确条件下)更为明显。
关健词:面孔;面部表情;视频刺激;功能核磁共振成像;神经影
像学;明确识别;不明确识别;抑郁症;南京医科大学硕七学位论文
TheexPlieitandimPlicitreeognitionofdynamiefaeialexPressions
inhealthyChineseHanfemalesandPatientsof
majordePression:AnfMRIstudy
Name:Dujing一lun
SuPervisor:Xieshi一Ping
ABSTRACT
ExPerimentl:ThePrimarydeveloPmentofChineseFacial
ExPressionVideoSystem
objeetive:TodeveloPtheChineseFaeialExPressionVideoSystem
(CFEVS)forfutureemotionreseareh
Methods:DifferentfacialexPressionvideoslieesofhaPPiness，sadness，
surprising，fear， anger，
disgustatthreelevelsofintensityandneutral
(includingnon一
emotionalandehewing)wererecorded.Aftertwice
Preliminarysereening，
50Chineseuniversitystudentswereaskedtoratethe
eategory， valenee，
arousaloftheresidualvideoslieesandtheaPPearanceof
aetorsandaetressesbyself-rePort.Thosevideoslieeswithhigheonsisteneyof
category， valence，
arousalandwithconeordaneeofeategoryandvaleneewere
colleetedtomakeuPofCFEVS.Theeffeetsofraters’
genderandPerformers’
aPPearaneeonvaleneeandarousalwereanalyzed.
Results:61haPPyfaees(18male’
and43female’)，
51sadfaees(23male’
and28female’)， 30non一
emotionalneutral(13male’
and17female’ )and24
chewingneutral(7male’
and17female’
)werereeruitedinCFEVS.Seatter南京医科大学硕士学位论文
Plotshowedthattheseoredistributiononthedimensionofvaleneeand
arousalwaswideinCFEVSandtheresultsofANOVAindieatedtheeffeetsof
raters’
genderandPerformers’
aPPearaneeontheseoresofvaleneeandarousal
wereeorrelatedwithexPressionaleategory.
Conelusion:TheChineseFaeialExPressionVideoSystemhasbeen
PreliminarilydeveloPedthoughneedtobeeonsummated，
andthegenderof
ratersandtheaPPearaneeofPerformersarePethaPsimPortantinflueneing
faetorstotheresultsofemotionalreseareh.
Keywords:faeialexPemotion:ChineseFaeialExPression
VideoSCFEVS:
J南京医科大学硕七学位论文
ExPerimentZ:NeuralsubstratesforexPlicitandimPlieit
recognitionofdynamiefacialexPressionsinChinesehealthyfemales:
afunctionalmagneticresonaneestudy
Objective:ToeXPloreneuraleorrelatesfortheexPlieitandimPlieit
reeognitionofdynamiefacialexPressionvideosusingevent一 relatedfunetional
magnetieresonaneeimaging.
Methods:FifteenChinesenationalityhealthyright一
handedadultfemale
volunteersunderwentbloodoxygenleveldependent(BOLD)介吐 Rlwhile
reeognizingtheemotionaltyPeandgenderofhaPP又sad， neutralemotional
facesandfixationerossvideos.
Results:
(l)IneomParisonwithfixationcross，
exPlieitreeognitionofneutral
facesactivatedrightmiddlefrontalgyrus(BAg)，
leftPrecentralgyrus(BA6)，
lefteingulatedgyrus(BA24)andleftPosteentralgyrus(BAZ)， andimPlicit
recognitionofneutralfacesaetivatedrightPrecentralgyrus(BA4)，right
cuneus(BA19)，
rightlingualgyrus(BA18)，
rightmiddleocciPitalgyrus(BA18)，
leftPreeuneus(BA31)，
bilateralinferiorParietallobule(BA40)，left
Preeuneus(BA39)， rightPrecuneus(BA7)，
rightinferiortemPoralgyrus(BA20)，
leftmiddletemPoralgyrus(BA22)andrightcingulatedgyrus.
(2)IneomParisonofneutralfaees，
eXPlieitreeognitionofhaPPyfaces
elieitedinereasedaetivationintheleftmiddlefrontalgyrus(BAS)， leftmiddle
gyrus(BA46)， rightcuneus(BA7)， leftcuneus(BA18)，
rightinferioroeeiPital
/_
j以
、侧产南京医科大学硕上学位论文
gyrus(BA18)，
leftlingualgyrus(BA18)，
rightmiddletemPoralgyrus(BAZI)，
middletemPoralgyrus(BA39)，
lefttransversetemPoralgyrus(BA41)and
Putamen，
andimPlieitrecognitionofhaPPyfaeesaetivatedrightinferior
ftfteC，...孟j..且
temPoralgyrus(BA37)andrightmiddletemPoralgyrus(BA22).
(3)IncomParisonofneutralfaces，
exPlieitrecognitionofsadfaees
elieitedinereasedaetivationintherightuneus(BA28)，right
and
fusifonll
gyrus(BA37)andrightinferiortemPoralgyrus(BA20)，imPlieit
recognitionofSadfacesactivatedleftmiddlefrontalgyrus(BA10)，right
middlefrontalgyrus(BA6)， rightPreeuneus(BA31)，
rightinferiorParietal
lobule(BA4O)，
leftsuPeriorParietallobule(BA7)，
rightmiddletemPoral
gyrus(BAZI)，
leftmiddletemPoralgyrus旧A22)，
leftcingulatedgyrus(BA31)，
rightParahiPPoeamPalgyrus(BA28)，
leftPutamenandleftthalamus.
Conelusion:
efrOa|
(l)Thebrainregionsaetivatedbyreeognitionofneutralfaces
eorrelatedwithexPerimentaltasks.IntheimPlieiteondition，Proeessing
neutralfacesneedmoreextensivebrainregions，
andintheexPliciteondition
Proeessingofneutralfaeesmostlyaetivatedsomebrainregionsassoeiated
withemotion.
(2)ExPlieitreeo助 itionofd”
amichappyfacescanoccupymore
attentionsourees，
aetivatedmoreinereasedbrainregionsandmoredeePbrain
regionsSuchassub一lobe，however，
imPlicitreeognitionofdynamichaPPy
faeesshowedinereasedaetivationinthebrainregionswhiehareeorrelated
l0南京医科大学硕士学位论文
withfaeialmotioneharaeterProeessing.
(3)ImPlieitProeessingofdynamiesadfacialexPressions15mediatedby
adistributedeortiealnetworkineludingfrontal一
Parietaleortexandsubeortex
(e.9.limbielobe，
basalgangliaandthalamus.)，however， exPlieitreeognition
ofdynamiesadfaees15notobviouslydifferentfromreeognitionofdynamie
neutralfaees，
whiehindieatesthatdynamicsadfaeesaremoreeasilynotieed
and50aetivatedmoreextensivebrainregions.
Keywords:faee， facialexPression， dynamieexPression，emotion，video，
且以租，Neuroimaging.南京医科大学硕士学位论文
ExPeriment3:NeuralsubstratesforexPlieitandimPlieit
recognitionofdynamicfacialexPressionsinfemalemajordePressed
Patients:afunetionalmagnetieresonaneestudy
Objeetive:ToeXPloreneuraleorrelatesfortheexPlieitandimPlieit
reeognitionofdynamicfacialexPressionvideosinfemalemajordePressed
Patientsusingevent一
relatedfunetionalmagnetieresonaneeimaging.
Methods:FifteenChinesenationalityright一
handedPatientswithmajor
dePressionandfifteenageandedueationallevelsmatchedhealthy
right一
handedadultfemalevolunteersunderwentbloodoxygenleveldePendent
(BOLD)D姓
RlwhilereeognizingtheemotionaltyPeandgenderofhaPPy， sad，
neutralemotionalfaeesandfixationerossvideos.
Results:
(l)IncomParisonwithhealthyeomParisonPartieiPants，major
dePressionshowedincreasedactivationinleftmiddletemPoralgyrus(BA19)，
rightinferiorParietallobule(BA40)，
leftPosteentralgyrus(BA7，BAS)，right
Postcentralgyrus(BA7，
BAS)andrightPreeuneus(BA7)， anddeereased
aetivationinbilateralsuPeriorParietallobule(BA7)whenexPlicitrecognition
ofhapPyfaces.Intheother，
whenimPlieitrecognitionofhaPPyfaees，in
eontrastwithhealthyeomParisonPartieiPants，
majordePressionshowed
increasedaetivationinrightinferiorParietallobule(BA4O)， anddeereased
activationinrightcuneus(BA18)，
rightPosteentralgyrus(BA40)， leftsuPerior
Parietallobule(BA7)andrightinsula(BA13).
l2南京医科大学硕士学位论文
(2)IneomParisonwithhealthycomParisonPartieiPants，major
dePressionshowedinereasedaetivationinrightmiddleoeeiPitalgyrus(BA18)，
leftPostcentralgyrus(BAS)，
leftPrecuneus(BA7)andrighthiPPocamPusand
deereasedaetivationinmiddlefrontalgyruswhenexPlieitreeognitionofsad
faees.Intheother，
whenimPlicitrecognitionofsadfaees，
ineontrastwith
healthycomParisonPartieiPants，
majordePressionshowedincreased
aetivationinleftfusiformgyrus(BA19)，
rightPosteentralgyrus(BAZ)，right
Preeuneus(BA7)，
leftsuPeriortemPoralgyrus(BA13)， leftsuPramarginal
gyrus(BA4O)，
leftParahiPPoeamPalgyrus(BA36，28)， rightParahiPPoeamPal
gyrus(BA30)，
leftPosterioreingulated(BA29)，
rightlentiformnucleus，right
thalamusanddeereasedaetivationinrightPosteentralgyrus(BA40)，left
middletemPoralgyrus(BA22)andbilateralsuPeriortemPoralgyrus(BA22).
Conelusion:
(1)WheneverintheexPlieitProeessingorintheimPlieitProcessing，
PatientswithmajordePressionarenotdifferentfromhealthycomParison
PartieiPantsinProcessingofPositiveemotion，
butdifferentinthePereePtion
offaeialmotionsofhaPPyexPressions.PatientswithmajordePressionshow
attenuatedabilitytoPereePtfaeialmotionintheexPlicitProcessing，but
increasedabilityintheimPlieitProeessing.
(2)WheneverintheexPlicitProeessingorintheimPlieitProcessing，
recognitionofsadfacesinPatientswithmajordePressionelieitsinereased
activationinemotionProduetion一
relatedbrainregionsanddecreased南京医科大学硕士学位论文
aetivationinemotionregulation一
relatedbrainregions，
whieh15moreobvious
intheimPlieiteonditionthanintheeXPlieiteondition.
Keywords:faeialexPdynamieexPression:
video:D姓 Rl;NmajordePression:
l4南京医科大学硕士学位论文
月lJ青
情绪是个体与环境意义事件之间关系的反映，包括生理成州如皮层、
皮层下神经活动)、主观体验(如喜悦、悲伤和愤怒)以及外在表现(面
部表情、身体姿势及动作)等三方面内容。20世纪70年代，Ekman和
Frisen提出六种基本面部表情，包括喜悦、惊奇、悲伤、恐俱、愤怒及厌
恶等。近年来，情绪及其脑机制的研究逐渐成为认知神经科学的研究热点。
该领域的研究不仅能够提供情绪的神经基础、情绪与其他认知活动的关系
以及情绪调节的机制，更重要的是有助于明确情绪障碍疾病(如抑郁症、
躁狂症、精神分裂症及孤独症等)的发生机制，为该类疾病的早期诊断、
早期治疗以及预后莫定基础。
1.1情绪性刺激材料的目前现状
情绪的认知研究常常需要采用含有情绪色彩的刺激材料，而刺激材料
的可靠性和通用性对研究结果有着重要影响[‘，2，3，’]，因此情绪研究中采用
标准化的刺激材料显得格外重要。目前用于情绪研究的刺激材料包括视
觉、听觉、触觉及嗅觉等材料，以视觉材料最为多见，包括情绪词、情绪
图片、面部表情图片及电影片断等。
目前，国际上比较盛行的是美国国立心理健康研究所(MMH)情绪
与注意研究中心与佛罗里达大学Lang等[s]编制的3套情绪材料系统，分
别为国际情感图片系统(IntemationalA价
ctivePieturesystem，IA卫s)、国
际情感数码声音系统
(IntemationalAffeetiveoigitalsoundsystem，I心s)
以及英语情感词系统 (AffectiveANEW)。除此之外，部分情绪词选自简
明心境量表(POMS)16]，部分由受试者自我提供从而获得自我相关性情南京医科大学硕士学位论文
绪词t71，而面部表情主要选自Ekinan等编制的面部表情图片系统l8]，部分
选自Gu:等编制的刺激系统[9]，部分选自Erwin等编制的刺激材料l’“l。
然而，这些国外刺激材料直接应用于国人研究时其通用性受到挑战。
神经心理学研究发现识别面部表情时会出现异族效应，即识别异族面孔要
比识别本族面孔困难[l’]。神经电生理学研究也证实了识别本族及异族面
孔时脑部E即成分有差异[’2】。I”S即使应用于西方其他国家时也进行了
本土化的评定工作[3，’l。而中国在政治、经济、文化、历史、教育及个性
特征等方面都与西方国家有明显差异，故在应用国外情绪刺激材料之前，
有必要做试用研究和本土化的修订工作，包括建立一套新的情绪刺激系
统。
值得欣喜的是，国内的一些情绪研究者已经对POMS及IAPS做了试
用研究〔’，2]。部分研究还编制了本土化的情绪刺激系统。如罗跃嘉教授课
题组编制的中国情感图片系统(ehineseA价
etivePieturesystem，e砂s)
[‘2]、中国人情感面孔图片，4.统
(ehineseAffeetiveFaeepietureSystem，
e舒Ps)[’‘]、中国情感数码声音系统(ehineseA价
etivenigitalsound
system，e心s)[‘’，’6]和汉语情感词系统
(ChineseAffeetiveWordsSystem，
cAWS)[l71，以及钟杰等2005年编制的中文情绪形容词检测表(chinese
MoodAdjeetiveeheekList，eMAeL)[’8]。部分研究还探讨了汉字的情绪
表达功能[’9，20]。
然而，情绪词引起的情感反应较弱，情绪性图片都是静态图像，与现
实刺激相差较大，难以生动鲜明的演绎某种情感。而且研究还发现与静态
性表情相比动态性表情能引起更强的情感反应[2’]，尽管也有研究发现两南京医科大学硕士学位论文
者引起的情感强度无差异，但却证实两者激活的脑区存在差异[22]。而电
影片断尽管具有动态特征却无法应用到具有认知任务的情绪研究中l23]，
故有必要建立一套具有动态性且可应用于认知任务中的情绪刺激系统。
1.2功能影像学技术研究进展
常用的功能影像学技术主要包括正电子发射扫描 (PositronEmission
TomograPhx， PET，主要测量局部血流变化或葡萄糖代谢)、单光子计算机
断层扫描
(SinglephotonEmissionComputedTomogr即h又SpECT，主要测
量血流变化的关系)以及功能核磁共振成像 (FunctionalMagnetic
ResonanceImaging，。姓Rl)等。D姓Rl技术因为具有非侵袭性、无放射性
以及较高空间分辫率(lmm)等特点，越来越广泛地应用于人类或动物
活体研究。
功能核磁共振成像技术(伽很1)的种类较多。其中，血氧水平依赖
。叮
Rl(BloodOxygenationDependent，BOLD一伽皿l)是目前最流行的。吐Rl
技术。其成像的原理是:去氧血红蛋白属顺磁性物质，可产生横向磁化弛
豫时间(TZ)缩短效应，引起TZ加权像信号减低，而氧合血红蛋白是抗
磁性物质，对质子弛豫时间无影响。当局部神经元活动时其引起的局部血
流量增加要大于局部氧消耗量的增加，结果导致局部血氧含量增高，氧合
/去氧血红蛋白的比例增加，减弱了去氧血红蛋白引起的横向磁化弛像时
间(TZ)缩短效应，表现为TZ延长，TZ加权像信号增强。而，BOLD刁涯Rl
正是通过采用成像的方法检测局部脑组织的血氧含量变化来反映局部神
经元活动情况。
目前，仓吐Rl最常用的实验设计范式主要包括组块设计 (Blockdesign)南京医科大学硕士学位论文
和事件相关设计(Event一 relateddesign)两种。
组块设计是一种传统的伽皿I实验设计方式。该设计是以组块的形式
呈现刺激，在每一个组块内同一类型的刺激连续、重复呈现，因此是基于
多次刺激的累计效应。其主要特点:①以组块形式呈现刺激，设计方便;
②至少需要两种类型的刺激，其中一类为任务刺激，一类为对照刺激;③
由于任务刺激的时间较长，故可诱发出较强的BOLD信号变化。任务刺
激和对照刺激对比时脑局部血氧反应明显，脑功能定位较准确可靠;但有
时会导致对成像数据的错误解释，如一些研究发现任务刺激和对照刺激的
激活期才时目似，但实际这些脑区明显与对照刺激不相关，只与任务刺激有
关[24〕。④刺激呈现方式随机化较差，同一类刺激连续、重复呈现，易导
致适应和期待效应。
Buckne:等
[25]1998年提出一种新的设计一事件相关设计。该设计一次
只给出一个刺激，经过一段时间间隔再进行下一次相同或不同的刺激。它
的核心是基于单次刺激或行为所引发的血氧反应。刺激呈现后，BOLD信
号逐渐增强，达到峰值后又缓慢地降到基线。刺激持续时间较短，而刺激
间隔时间较长，以利于BOLD信号降至基线水平。事件相关设计的特点在
于:①随机化设计，包括任务刺激的随机化和刺激间隔时间的随机化。
Dale等研究刺激间隔时间随机化的设计，发现其效率比刺激间隔时间固
定的设计高很多[26l，而且Burock等发现快速随机化设计也可获得明显的
激活图和血氧反应[2②可根据实验任务和被试反应对实验数据做选择
性处理，后者在组块设计中是无法实现的;③可提供局部脑活动的反应特
点。对于单个刺激的时间序列曲线，利用时间序列曲线的自相关函数可以南京医科大学硕士学位论文
有效去除周期性生理噪声的存在;④尽管事件相关设计具有很多优点，但
有些实验仍需要采用组块设计，而且刺激间隔较长可能导致受试者的注意
力下降。
从本质上说，组块设计是事件相关设计的特例。在事件相关设计中，
把任务刺激的刺激间隔时间减少到零，就成了组块设计。因此，事件相关
设计更具有一般性，应用更具有普遍性。
由上可得知，在情绪研究中，如果研究目的是探讨情绪感知的机制，
那么采用组块设计可引出与情绪相关的较强的脑血氧反应。如果研究目的
是探讨情绪识别的机制，那么采用事件相关设计更有利于认知任务的实
现，而且能够避免或减弱情绪适应现象及期待效应。
1.3健康受试者识别面部表情的功能影像学研究
面孔是一种蕴涵丰富信息的非语言自然的特殊视觉刺激，在信息传达
的人类社会生活中扮演着一个极其重要的角色。人脑通过对面孔的视觉感
知、认知与编码判断彼此的身份，判断他人年龄、性别、种族、社会地位
和情绪状态等。面孔的认知加工包括面孔身份加工和面部表情加工两种
[28]。Haxby等 [29]2000年提出面孔感知由脑内一个分布式神经网络所调控
(如图1一1所示)，认为该网络包括核心系统和扩展系统两部分。核心系
统包括枕下回、梭状回及颗上回等，其中腹侧脑区(枕下回和梭状回)负
责个体识别，而背侧脑区(颗上回)参与社会信息加工(如注视方向、言
语性唇动以及面部表情等)。扩展系统包括杏仁核和岛叶，两者负责面部
表情的感知，尤其是恐惧、愤怒及厌恶等。南京医科大学硕士学位论文
尸…
「石而山{
}~卿竺-__
黯器病石口
叠_呼一’州
蒸翼蕊一]
价或火洲夕
马叩即盼如确p时目tu阮仍
O洲，.脚。翻”心.夕肠，，-
p时.甲如，翻们户O‘，二盆脚“‘。、
翻侧勿州O叫价协川
...下
I
一-一~-一一‘.
.
I
，。.，一、{
些竺.―卜
/户\
如肠加时以如妇.翻尸.
佗铆p.伪户叭时
翻O目勺翻以.，
.
巨..........‘...........
E成喇阳翻闭，y，t侧m;
f矛，心尸少oc.‘卜勺，以”‘喇，
.仇。出.r月阿犷目‘y翻令，比
---、.----C份，、昨...、矿，..梦习丫‘s
l
........侧.，...侧...，....，.........侧.............................侧.侧.，..，.......门.......月......口
...-.……~.....-二~二~二二
田l一1:n苗出y面孔感知的分布式神经网络模型(习吮油 yet。1，2。。0)
乃91一1:neH田出
ymodelofa“
distributedhumanneur目
systemforfae。
pereeption”(厅 omHa劝 yetal，2000)
探讨面孔身份加工机制的研究发现，面孔识别过程在性质上不同于其
他非面孔的物体的识别过程.面孔识别更倾向于采用整体的或“格式塔”
式加工[30]，而物体的识别是基于部分加工13’】。早期的功能影像学研究发
现面孔识别可激活枕颜区1321，后有研究发现面孔身份识别由右舌回及梭
状回、右海马旁回及颜皮质前部等三个特定皮质区加工1331。
K~ishe:等
年采用功能核磁共振成
像技术做系列研究后发现，梭状回在面孔身份识别
中有重要作用，并将该脑区称为梭状面孔区
(FusiformFace户Jea，FFA).如图1一2所示。然而，
后期研究发现，梭状面孔区并不是面孔特异性脑
区，也可被其他非面孔物体(如房屋)激活1351。
目i?2(x~油heret已，一，97)
肠仁l?2伏双决K二二s比et吐199刀
面部表情是个体相应情感所表现出来的面部肌肉变化。 D~inCH
()指出准确识别面部表情并做出恰当反应对个体人际交往至
20南京医科大学硕士学位论文
关重要I36]。神经影像学研究发现【3刀，面部表情的加工可能存在两条通路，
一条负责对刺激的有意识加工，另一条负责对刺激的无意识加工。相关研
究发现杏仁核参与恐惧面孔的明确和不明确加工，而自中脑和丘脑到右侧
杏仁核的皮质下通路负责刺激的不明确加工，梭状回和眶额皮质区参与刺
激的明确识别【3刀。最近一项功能核磁共振研究也证实，面部表情的明确
加工激活颜叶皮质，而面部表情的不明确加工激活杏仁核[381。
phillips等I，912003
年总结前人研究后提
出(图1一3所示)，情
绪加工依靠两个神经
机能系统:一个是腹侧
系统，包括杏仁核
(Amygdala)、岛叶
(insula)、纹状体腹侧
(ven加 1striat切m)、丘
护产
DLPFC
田i一3:情绪加工的两个神经机能系统(p址
llip5et:1，2003)
及91一3尸I场one讲al，
ystemsforemotionProeessing.
脑(thalalnus)、前扣带回腹侧(ven枉 alACG)、前额皮质腹侧(VLPFC)
和眶额皮质(。 rbitofrontalcortex)等脑区，主要负责鉴别情绪意义和产生
情绪状态，以及非注意状态下的情绪调节;另一个是背侧系统包括海马
(HIPPoc别rnpus)、前扣带回背侧(D心 rsalAcG)及前额叶背侧(DLPFc
和 DN[PFC)，主要负责注意状态下的情绪调节，而且两种系统在功能上
可能存在交互关系。南京医科大学硕士学位论文
Phan等年对既往情绪研
究文献做7荟萃分析(见图1一4)，结
果发现，一些脑区如前额皮质参与所
有情绪的加工，而某些脑区与特定情
绪相关。如杏仁核可被恐惧情绪(包
括恐惧表情图片、恐惧场景图片以及
条件性恐俱)激活，扣带回膝下区可
被悲伤情绪激活，基底神经节可被喜
悦表情激活，以及岛叶可被厌恶刺激
激活。然而，后期研究发现，这些脑
区并不仅仅参与某种特定情绪，如杏
口一宜.、卜一Jlr一诵卜目-
IJ目一耳-一
.…
-‘月户一.肠.州月内U丫11一r州......一侧....
法及认知活动影响
Figl一:(Phan，2002)
仁核还参与悲伤、愤怒及喜悦表情的加工【401，甚至在陌生面孔分类任务
中也可被激活[4l]。因此，不少学者认为，杏仁核主要是评估刺激的威胁
程度，而与刺激的情绪效价无关。另外，研究还发现，扣带回不仅仅参与
悲伤情绪加工，也参与喜悦情绪的加工[42l。南京医科大学硕士学位论文
许多研究指出，除以上脑区外，情
绪加工如面部表情的识别还激活了其
他脑区如视觉相关皮层及躯体感觉皮
层等.Adolphs等14，]2002年对面部表隋
识别的研究做了综述(见图1一5)，发
现面部表情识别激活视觉皮质(枕颜叶
视觉皮质如枕下回、梭状回及颜上回
等)、杏仁核、基底神经节、眶额皮质
及躯体感觉相关皮质等。
除此之外，少量研究探讨了动态和
静态面部表情识别所激活的相关脑区
的差异，比较一致的发现，动态表情比
静态表情引起的脑区激活程度更强烈，
主要是杏仁核和校状回12’，22l。
二tl.几:‘冬O声甘!-
，::怕‘一s吧一勺
脚州冷公护的6洲兮
cf二右气，一，.门，
从杯J
甲，:m，幽U刊
‘t气to啥心r.
.两笼吮犷〕，跳，Or
尸勺目、怕t竹洲冲丫
卜〕沉尸s亡=r(帐吧沙
.r抽杖口一‘口‘-.
.，c，:户、‘，习“亡
七丫宁一伙-
二矛甲，，》伙了r、户矛自0峥
田l一5:情绪性面部表情加工(Ad。扮h:只.2002)
h仁1?5:Proees，
ingofemotlonalfac一 alexPres，一。ns
(fromAdo拓h，R.2002)
1.4抑郁症患者情绪阵碍的功能影像学研究进展
抑郁症是一种情感性疾病。随着人们对该疾病认识的加深及社会竞争
的加剧，该病的发病率、患病率呈逐渐上升趋势，因此造成的疾病负担也
日益加重。BeckA于 1976年提出1441，抑郁症患者存在负性认知模式
(negativerecognitionschedule)，表现为有意识和无意识地关注环境中负
性刺激事件，并对自我、他人以及整个世界做出负性评价。这种负性认知
常常导致较差的人际关系。后有研究发现抑郁症患者识别正性和负性刺激
均无异常[’5】或均有异常146]。近期研究提出，抑郁症患者主要表现为正性南京医科大学硕士学位论文
缺失，而不是负性偏移147，48l。因此，抑郁症情绪加工特点目前尚无定论。
随着功能影像学
技术的发展，越来越
多的研究开始采取特
定实验范式探讨抑郁
症情绪障碍产生的生
物学机制以及情绪加
工的特点。L扮evets
WC课题组在该方面
做了大量工作1491。相
lll’lll口口
}}}}}
:“，公食二‘，lr琳‘r出:‘:针
田l石:抑郁碑患者活动异常的脑区(Drevet:WC.ZOOI)
肠91一6:T五 eregio耐
abnormalitiesindePressedPatients
田 revetsWC，2001)
关研究发现，抑郁症患者前额皮质眶部及腹外侧部(0内八飞PFC)代谢及
血流量增加1401，而背外侧(DLPFC)及背内侧(DN田FC)代谢及血流量
减少[50]，在抑郁发作或识别负性情绪刺激时前扣带回(ACC)代谢及血
流量增加[49，5ll，在识别不同面部表情时，左侧杏仁核(Amyghala)活动
明显增加，右侧活动与正常人无差异[52l，而且杏仁核活动的持续时间明
显增长，且与前额皮质背外侧活动呈负相关[53】。另外，研究还发现[541，
抑郁症患者腹侧边缘系统如纹状体腹侧 (Vstrial”m)和岛叶(Insula)活
动增加，这与抑郁症患者面对环境刺激时容易采取退缩性行为并存在厌食
等自主神经反应相一致.南京医科大学硕士学位论文
5存在问题及不足之处
5.1建立具有动态性且可应用于认知任务中的情绪性刺激材料
如1.1中所说，尽管目前国际上已经存在多种刺激系统，但这些刺激
材料一方面因为文化、种族差异，直接应用于国人研究需做试用分析，另
一方面因为均为静态图片，不能反映现实中的情绪反应，而国内学者建立
的多种刺激材料系统虽消除了文化、种族差异，但同样是静态图片，因此
有必要建立一套中国人的视频格式的动态面部表情视频系统，增加情绪研
究的取材范围。
1.5.2健康中国人识别动态面部表情的神经基础
尽管国际上已有不少研究探讨健康受试者识别面部表情的神经基础，
但这些研究主要采用静态性情绪图片或表情图片作为刺激材料。国内罗跃
嘉教授课题组对面部表情加工做了系列研究，但主要采用事件相关电位，
且同样采用静态图片。因此，有必要采用具有较高空间分辫率的功能核磁
共振成像技术探讨中国健康受试者识别动态面部表情的神经基石出。
1.5.3抑郁症患者识别动态面部表情的神经基础
国外研究已经证实抑郁症患者识别面部表情时脑区活动异常，但这些
研究主要集中在静态性表情图片上。国内汤艳清博士曾进行首发重性抑郁
症患者面部表情认知的脑部结构和功能机制研究，同样采取的是静态面部
表情图片。因此，有必要采用功能核磁共振成像技术探讨抑郁症患者识别
动态面部表情的神经基础。南京医科大学硕士学位论文
1.6参考文献
【1].王建平，林文娟，陈仲庚，等.简明心境量表(PoMs)在中国的
试用报告.心理学报，2000， 32(l):110一 114.
[2].黄宇霞，罗跃嘉.国际情绪图片系统在中国的试用研究.中国心理
卫生杂志，):631一634.
【3」.VersehuereB，CrombezqKosterE.TheInternationalAffectivePieture
System:AFlemishvalidationstudy.PsyehologieaBeigiea，):
205一 217.
【4」.VilaJ，SanehezM，Ramirezl，etal.ThehiternationalAffeetivePieture
System(IAPS):SPanishadaPtation:11.RevistadePsieologiaGeneraly
APlieada，):635一657.
【5」? LangPJ， BradleyMM，
CuthbertBN.NIMHCenterforthestudyof
EmotionandAttention，
IntemationalAffeetivePietureSystem(IAPS):
InstmctionManualandAffeetiveRatings.出版地:出版社，2001.
【6』? MeNairDM，LorrM，
DroPPlemanLF.ManualfortheProfileofMood
States(POMS).SanDiego，
CA:EdueationalandIndustrialTesting
Services，.
【7」.ShestyukA又DeldinPJ，BrandJE，etal.ReducedsustainedBrain
AetivityDuringProeessingofPositiveEmotionalStimuliinMajor
DePression.BIOLPSYCHIAfRY， 9一1096.
[8].EkmanP.PieturesofFacialAffeet.PaloAlto，CA:Consulting
PsyehologistsPress，，1976.南京医科大学硕士学位论文
【91? GurRC，SehroederL，Turner工
etal.BrainAetivationduringFacial
Emotionproeessing.Neurolmage，一662.
[10].ErwinRJ，GurRC，GurRE，etal.Faeialemotiondiserimination:1.
TaskeonstructionandbehavioralfindingsinnormalPartieiPants.
PsyehiatryResearch， 一240.
【11」? MalPassRS，掩
avitzJ.Reeognitionforfaeeofownandotherraee.
JoumalofPersonalityandsoeialPsyehology， 一334.
【12}.彭小虎，罗跃嘉，卫星，等.东西方面孔异族效应机理的电生理学
证据.心理学报，):50一55.
[13].白露，马慧，黄宇霞，等.中国情绪图片系统的编制一在46名中
国大学生中的试用.中国心理卫生杂志，);719一722.
【14].王妍，罗跃嘉.大学生面孔表情材料的标准化及其评定.中国心理
卫生杂志，):396一398.
[15].刘涛生，罗跃嘉，马慧，黄宇霞.本土化情绪声音库的编制和评定.
，“理科学，):406一408.
[l6].刘涛生，马慧，黄宇霞，等.建立情绪声音刺激库的初步研究.中
国，衬理卫生杂志，):709一 712.
【17].罗跃嘉，黄宇霞，李新影，等.情绪对认知加工的影响:事件相关
脑电位系列研究.心理科学进展，):505一 510.
【18〕.钟杰，钱铭怡.中文情绪形容词检测表的编制与信效度研究.中国
，}台床心理学杂志，):8一 13.
【19].左衍涛，王登峰.汉语情绪词自评维度.心理学动态，):南京医科大学硕士学位论文
55一59.
[20].廖新玲.汉语词汇表情功能问题初探.泉州师范学院学报(社会科
学)，2001，19(l):92一94.
[21]
【22]
WeehslerT， KaiserS，
Sehmidt5etal.Studyingthedynamiesof
emotionaleXPressionusingsynthesizedfaeialmusclemovements.
JoumalofPersonalityandSoeialPsyehology.JoumalofPersonality
andSoeialPsychology， 2000， 78:105一
EganqGideonDAetal.DissoeiableNeuralPathwaysare
involvedinthereeognitionofEmotioninStatieandDynamieFaeial
ExPressions.Neuroimage，2003， 18:156一 168.
[23].Eug己neF，L己vesqueJ，MensourBetal.TheimPaetofindividual
differeneesontheneuraleircuitryunderlyingsadness.Neurolmage，
一364.
[24].贾富仓，翁旭初.事件相关功能磁共振成像.生理科学进展，2001
32:368一370.
【25].BuekerRL.Event一RelatedD吐Rlandthehemodynamicresponse?
HumanBrainMaPP， 一377.
[26].DaleAM.OPtimalexPerimentaldesignforeveni一relatedD涯刃?
Neurology，
1999， 8:109一
114.
【27」.MeintoshAR.Understandingneuralinteraetionsinleamingand
memoryusingfunetionalneuroimaging.AnnalsoftheNewYork
AcademyofScience，6一571.
28南京医科大学硕士学位论文
【28」.PosamentierMT，AbdiH.ProeessingfaeesandfaeialexPressions.
NeuropsycholRev， 2003， 13(3):113一143.
【29」.HaxbyJ从Hoff由anEA，GobbiniIM.Thedistributedhumanneural
systemforfaeePereePtion.TrendsCognSci，一233.
130」
.EimerM.Effectoffaeeinversiononthestrueturaleneodingan
reeognitionoffaeesevideneefromevent一
relatedbrainPotential.Brain
RegCog，一158.
【31」?GelderB，
RouwR.Beyondloealization:adynamiealdualroute
aeeountoffaeereeognition.AetaPsychol，3一207.
【32」? HaxbyJV，
GradyCL，HorwitzB，
etal.DissociationofsPatialas
visualProeessingPathwaysinthehumanextrastriateeortex.ProeNatl
AeadSciU.S.A，1一1625.
【33」?SergentJ，OthaS，
MaeDonaldB.Funetionalneuroanatomyoffaee
andobjeetProeessing.Brain， 1992， 115:15一36.
【34」?
KanwisherN.DomainsPeeifieityinfaeePereePtion.Nature
Neuroscience，一763.
【35」.IshaiA，SehmidtCF，BoesigerRFacePereePtionismediatedbya
distributedcorticalnetwork.BrainResearehBulletin，一93.
[36].narwineH.仆eexpressionoftheemotionsinManand劫imals，3rd
ed.London:HarperCollins..
【37」.MorrisJS，OhmanA，DolanRJ.AsubeortiealPathwaytotheright
amygdalalmediating‘unseen’ fear.Proc.Natl，Acad，Sei.USA，1999，
29南京医科大学硕士学位论文
96:.
【38」?CritehleyH，DalyE，PhilliPsM，
etal.ExPlieitandimPlieitneural
mechanismsforProeessingofsoeialinformationfromfacial
exPressions:afunetionalmagnetieresonaneeimagingstudy.Human
BrainMapP，2000， 9:93一105.
【39」.PhilliPsML，DrevetsWC，RauehSL，etal.NeurobiologyofEmotion
PercePtionl:TheNeuralBasisofNormalEmotionPereePtion.BIOL
PSCHIAI，R丫一 514.
【40」.PhanKL，认厄gerT，TaylorSF，etal.FunctionalNeuroanatomyof
Emotion:AMeta一
AnalysisofEmotionAetivationStudiesinPETand
D性租.Neurolmage，一348.
[41」.DuboisS，RossionB，SehiltZC，etal.Effeetoffamiliarityonthe
Proeessingofhumanfaees.Neuroimage，一289.
【42」.PhillipsML，BullmoreET，HowardR，etal.Investigationoffacial
recognitionmemoryandhaPPyandsadfaeialexPressionPereePtion:an
几吐
Rlstudy.PsychiatryResearch，一183.
【43」.AdolphsR.Neuralsystemsforreeo助izingemotion.Currentopinion
inNeurobiolog又2002， 12:169一 177
144].BeekA.CognitivetheraPyandtheemotionalDisorders.Madison，CT:
InternationalUniversitiesPress.1976.
[45].AsthanaHS，MandalMK，灿uranaHetal.Visuospatialandeffoet
reeognitiondeficitindePression.JAffectDisorde几 一62.
30南京医科大学硕士学位论文
【46」.FeinbergTE，几众inA，SehafferCetal.Faeialdiseriminationand
emotionalrecognitioninsehizoPhreniaandaffectivedisorders.Areh
GenPsyehiatry，
一279.
【47」? SuslowT， DannlowskiU，
JudithLMetal.SPatialProeessingoffaeial
emotioninPatieniswithuniPolardePression:alongitudinalstudy.
AffeetiveDisorders，一63.
【48].Su电uladzeSA，YoungAW，SeniorCetal.Reeognitionaecuracyand
resPonsebiastohaPPyandsadfaeialexPressionsinPatientswithmajor
dePression.NeuroPsyehology， 2004， 18:212一
218.
【49」
.DrevetsWC.NeuroimagingandneuroPathologiealstudiesof
dePression:imPlieationsforthecognitive一
emotionalfeaturesofmood
disorders.CurrentOPinioninNeurobiolog又一249.
【50」.SoaresJC，MannJJ.ThefunetionalneuroanatomyofmooddiSorderS?
JPsychiatRes.一432.
【51」.ElliottR，RubinszteinJS，SahakianBJ，etal.TheNeuralBasisof
Mood一
CongruentProeessingBiasesinDePression.AlehGenPsyehiatry.
一604
[52」.ShelineYI，BarehDM，DonnellyJM，etal.InereasedAmygdala
ResPonsetoMaskedEmotionalFaeesinDePressedSubjectsResolves
withAntidePressantTreatment:An伽很
1Study.BIOLPSYCHIATRY{
一658.
汇53].SiegleGJ，SteinhauerSR，ThaseME，etal.Can’tshakethatfeeling:
3l南京医科大学硕士学位论文
Event一Related伽皿
1AssessmentofSustainedAmygdalaAetivityin
ResPonsetoEmotionalInformationinDePressedIndividuals.BIOL
PSYCHIATR丫一707
【54」.MaybergHS，BrannanSK，TekellJLeta1.RegionalMetabolieEffeets
ofFluoxetineinMajorDePression:SerialChangesandRelationshiPto
ClinicalResPonse.BIOLPSYCHIATR丫一843.南京医科大学硕士学位论文
试验部分
2.1试验一:中国面部表情视频系统的初步建立
在第一章第一节 (l.1)，我们综述了目前国际国内常用的情绪刺激
材料。国外视觉刺激材料因为文化和种族等差异直接应用于国人研究时受
到一定限制，而国内视觉情绪性刺激材料虽然消除了文化和种族差异，但
与国外绝大多数刺激材料相似，均为静态性图片，与现实生活中具有动态
性的情绪刺激有一定差别。情绪性电影片段虽然具有动态特征，但其一方
面千扰因素太多，另一方面难以应用到含有认知任务的情绪研究中。
因此，本研究拟建立一套具有动态特征，且能应用于认知任务的视频
格式的动态面部表情库一中国面部表情视频系统(CFEvS)。
2.1.1研究对象与方法
2.1.1.1试验对象
2.1.1.1.1面部表情视频表演者:南京艺术学院表演系大学生男女各6
名，均为其带教老师推荐的品学兼优者，年龄18一23岁，汉族，身体健
康。表演前告知实验内容，并签署知情同意书，实验后付表演费。
2.1.1.1.2面部表情视频的评测者:南京高校非表演系大学生男26女24
共50名，汉族，年龄22一26岁，身体健康，无精神疾病史，视力或矫正
视力正常。评测前告知实验内容，并签署知情同意书，实验后付被试费。
2.1.1.2面部表情视频的制备
首先，12名演员分别表演出强度分为三等级的喜悦、悲伤、惊奇、
恐俱、厌恶、愤怒等6种面部表情。每类表情的每种等级均需表演10个
视频片断，且每个表情(无论何种等级)均要求在3秒内完成。除此之外，南京医科大学硕士学位论文
每个演员还需表演20个中性面部表情，包括咀嚼动作及无面部动作等各
10个。选取咀嚼动作作为中性表情，一方面是考虑其与其他类型表情一
样均有面部动作，另一方面考虑到无面部动作的中性表情常常被误认为是
其他情绪。录制前，请演员摘掉耳环、项链等首饰。录制时，仅录制面部
包括头发及颈上部等。录制完毕后，将摄影带资料转换成格式为MPEG
(720x576)的25帧/秒的视频材料，然后采用视频加工软件Ulead
videostudi。 9(uleadeo哪any，中国台湾)将其剪切成许多含有某一表情
的3秒片段。1名演员因为面部某种特征过于突出，故去掉了其表演的所
有视频片断，剩余共约2200个视频片段。
2.1.1.3评价手册的制备
国际情绪图片系统(I”S)的编制是采取自我评价模式(SAM)对
刺激材料的愉悦度、唤醒度和优势度三个维度进行1一9分的等级评定[’}。
与既往一些研究相似[2]，本研究的评价手册借用sAM中对愉悦度及唤醒
度的评定方法，同时要求对视频片段的表情类型、表演者的长相做评定。
基于Ekinan的情绪理论[s]，本研究的表情类型主要包括喜悦、悲伤、厌
恶、惊奇、恐惧、愤怒、中性及其他等8项，而长相分好、一般、差三等
级，分别用数字1、2、3来表示。愉悦度及唤醒度的指导语参照黄宇霞等
的相关文献间，同时附上SAM中评价愉悦度和唤醒度时所用的图(见图
2.1一l)，作为等级评价的参照点。愉悦度:看到这个表情视频觉得愉快或
不愉快，愉快程度越高，评分越接近9，越不愉快，评分越接近1。咦醒
度:看到表情视频觉得兴奋或提不起精神，兴奋程度越高，评分越接近9，
越不兴奋，评分越接近1。南京医科大学硕士学位论文
.愉.悦度
唤醒度
叠是悬优势度
图2.1一1:S人M中自我评价模式、
2.1.1.4试验程序
评测前计算机显示器亮度、对比度和色彩作同一设置。整个过程包括
四步。首先，本课题组4名成员对2200个表情视频片断做粗略筛选。接
着，请7名在校大学生对剩余表情视频片断做第二次粗略筛选。粗略筛选
的目的是排除那些明显不能表达出所要求表达的情感的视频片断以及在
规定时间内未能完整表达某种情感的视频片断。然后，对第二次粗选后的
表情视频片段做随机排序，并利用视频加工软件把排序后的视频片断依次
加工为多个较大的视频片段(每个片段包含60个表情)。请评测者依据评
价手册对呈现的表情视频的某一指标打分。原则上根据即时感受打分，不
做长时间思考，打分时间由本课题组成员控制。每一个较大的视频片断结
束后即每看完60个面部表情后休息一次。所有表情视频片断共呈现3轮，
表情类型和长相在同一轮中评测，愉悦度和唤醒度各需一轮，评测顺序在南京医科大学硕士学位论文
评测者间做了平衡。最后，把表情类型、愉悦度、唤醒度一致性均高且表
情类型与愉悦度相一致的表情视频片断纳入中国面部表情视频系统，对该
系统的视频片段做愉悦度及唤醒度的分布分析及相关分析，并了解评测者
性别、表演者长相对不同面部表情的愉悦度及唤醒度的影响。
2.1.1.5数据处理和统计分析
所有数据均采用 SPSSn.5统计分析。对于每个视频片段的评测结果，
首先做描述性分析了解不同表情类型出现的频率，然后采用卡方检验分析
频率最高的两种表情。出现频率大于70%且卡方值具有统计学意义
(P&O.05)的表情类型(除中性表情外)即可认为是该视频片段的真正表
情。频率大于70%的评定方法与既往研究一致[5]。鉴于中性表情常被误认
为是其他表情且其识别率常常为50%左右[6，7]，本研究要求中性表情出现
的频率大于60%且卡方值具有统计学意义。为了避免纳入具有不愉悦感
的喜悦表情以及具有愉悦感或好笑感的悲伤表情，本研究要求喜悦表情的
愉悦度大于5分的频率之和超过70%，悲伤表情的愉悦度小于5分的频
率之和超过70%。鉴于中性表情的特殊之处，要求中性表情的愉悦度为5
分的频率大于35%且愉悦度为1、2、3、7、8、及9的频率之和不超过
30%，目的是剔除那些可引出较强愉悦感或不愉悦感的中性表情。唤醒度
做描述性统计分析。愉悦度及唤醒度分值的分布做散点图及Spearson相
关分析。根据评测者性别和表演者长相，对同一类面部表情的愉悦度及唤
醒度评分结果进行分组，然后采用单因素方差分析检查组间是否有差异。
2.1.2结果
2.1.2.1筛选结果南京医科大学硕七学位论文
2.1.2.1.1二次粗略筛选结果
第一次粗选时发现，绝大多数不同等级的厌恶、惊奇、恐惧及愤怒等
面部表情均明显不能表达出相应情感，故忍痛舍弃该四类表情的所有视频
片断，而喜悦、悲伤以及中性面部表情多数符合我们的判断标准。筛选后
剩余580个表情视频片断。7名评测者做第二次粗选后，剩余378个表情
视频片断。
2.1.2.1.2内部一致性信度
另请50名评测者对两次粗选后余下的378个表情视频片段的一致性
进行评分。结果发现，表情类型、愉悦度、咦醒度一致性均高且表情类型
与愉悦度相一致的喜悦片段共61个(男18女43个)、悲伤片段共61个
(男23女38)及中性片段54个(无表情中性男13女17共30个，咀嚼
中性男7女17共24个)。
2.1.2.2评定结果
2.1.2.2.1对CFEvS进行描述性统计分析
分别对不同表情视频在愉悦度、唤醒度上得分进行描述性统计分析。
结果见表2.1一1。由表2.1一1可以看出，喜悦、悲伤及中性视频片段的愉悦
度、唤醒度评分与表情自身特点一致，说明刺激材料能引出相应的情感。
从标准差上看，中性表情优于喜悦和悲伤表情，但这是由于中性表情的分
值单一，而喜悦、悲伤表情分值值域较宽所致，并不能说明对中性的评判
更为一致。南京医科大学硕:t学位论文
表2.1一1不同表清愉悦度及唤醒度的描述统计结果
表情维度例数最小值最大值平均数标准差
喜悦
2.086
‘.土，.上尹O尹O
城，.人J
3Ij白勺件了7户11哎」
.67
.34
.09
.56
内、一、内、月/
愉悦度
唤醒度
悲伤
愉悦度
唤醒度
中性
愉悦度
唤醒度
3.62
，.工，.几尹O一‘U
543.795.454.510
542.226.002.960
2.1.2.2.2不同表情的愉悦度与唤醒度评分的散点图及相关分析结果
图 2.1一2表示喜悦表情的愉悦度及唤醒度分布情况。相关分析结果提
示两者正相关，有统计学显著性(;一0.485，介0.000)。
图 2.1一2:喜悦表情的愉悦度和唤醒度分布图
。日
口七
口口
。?口.
O
口
000
悦度愉
口
D
口口
O口.
O
目日
口O
D
口
aa钝“”
份口口
。
口
〕占月刀丘56习
唤酸度南京医科大学硕士学位论文
图2.1一3表示悲伤表情的愉悦度及唤醒度分布情况。相关分析结果提
示两者负相关，有统计学显著性(二一0.1巧，P=0.O00)a
图2.1一3:悲伤表情的愉悦度和唤醒度分布图
3.8一
口
飞DDO口。飞口
口
an
00
D
口
0a
口D口
oD口
O
。沪D
nO
O
口
口
叱
，4b、工丹产UO甘，J、J
愉悦度
d。 0no
OO
。飞
O
‘甘4、‘，‘
2.2
345678
唤醒度
图2.1一4表示中性表情的愉悦度及唤醒度分布情况。相关分析结果提
示两者正相关，有统计学显著性(二0.285，尸=0.000)。
图2.1一4:中性表情的愉悦度和唤醒度分布图
D口
口
D口
比口
a0oa
亡J二U
:
515
，口艺口a
。口，‘
护譬
招邵口
Qa0
亡 JnU
…44
愉悦度
口
3.亏
234S67
咦醒度
39南京医科大学硕士学位论文
2.1.2.3评测者性别及表演者长相对不同表情的愉悦度及咦醒度的影响
表2.1一2评测者性别及表演者长相对评测结果的影响
评测者性别F值P值表演者长相F值P值
男女好中差
喜悦x士sx士sx士sx士sx士s
结果例数
825849
愉悦度6石9士 1.596.32士 1.， 0007.14士 1.476.21士 1.475.97士
1.0
唤醒度5.97士 1.9774.94士
2..0006.12士 2.134.97士 2.015.14士
1.
悲伤
结果#lJ数
36954
愉悦度2.87士 1.6083.34士
1..0002.81土 1.773.53土 1.702.90土
1.
唤醒度5.90士 2.1615.18士
1..0006.45士 1.915.26士 2.055.10士
2.
中性
结果#lJ教
645
愉悦度4.51士 1.4394.52士
1.25.09士 1.274.75士 1.123.82士
1.0
唤醒度2.98士 1.9162.82士
1.53.44士 2.072.92士 1.872.49士
1.
由表2.1一2可以得知，男女评测者对喜悦、悲伤表情的J渝比度及唤醒
度的评分有差异，而对中性表情的愉悦度及唤醒度评分无差异。表演者的
长相对喜悦、悲伤以及中性表情的愉悦度及唤醒度的评分均有影响，提示
表演者长相的影响更为广泛。
2.1.2.4部分视频片段
每一行代表一个3秒的视频片段，显示600mS、1200ms、180OmS、
240Oms以及3000ms等5个时间点。悲伤表情见图2.1一5，喜悦表情见图
2.1一6，中性表情见图2.1一7。
40南京医科人学硕l学位论文
2.1.2.4.1悲伤表情片段
图2.1一5:悲伤表情片段
石OOmS1之1从争以)1115
尹
奋奋....1---粗1..!.....组rr.llse‘‘书11......盛皿甲r.eel.口门.lee..eseer犷...!曦1!.....es
rresleet嗯leelee甘ree..es.l、11!|tr........飞..l.....ee里r件!leesese翻1...厄leeee南京医科人学硕l学位论文
2.1.2.4.2喜悦表情片段
图2.1一6:喜悦表情片段
石(奋(今1115
止4仪卜11153(KK)川S
，尸
治么蔓{蟹气尸
犷尹尹’一气厂气
犷‘尸
肚气握J各
夏蟹
.selwe.........‘，..............
吸奋
「引套厦一{1!{
)引{、引(州1{l吸
，
1.吸:‘尸
，.田
t.憧、;.尸:‘
.勺老
t.吸一.少广‘、
，浦
t.睡、，.r.
勺叨
t.赞
r南京医科人学硕l学位论文
2.1.2.4.3中性表情片段
图2.1一7:中性表情片段
犷‘闷灌
.护甘了‘勺J时守
与愉悦度评分相对一致的喜悦视频片段61个(男18女43)、悲伤视频片
段61个(男23女38)及中性片段54个(无表情中性男13女17共30
个;咀嚼中性男7女17共24个)，可初步建立一个拥有喜悦、悲伤及中
性表情的中国面部表情视频系统(CFEVS)。评定结果表明，本研究编制南京医科大学硕士学位论文
的CFEVS在喜悦、悲伤及中性等三种表情的各维度各分数段上均有一定
数量视频片段分布，在一定程度上可满足将来情绪研究的不同需要。另外，
评定结果发现，表演者的长相及评测者的性别对喜悦、悲伤的愉悦度及唤
醒度有影响。另外，长相还对中性表情的愉悦度及唤醒度有影响，而性别
对此无影响。既往有研究发现性别对面部表情加工有影响[8]。本研究结果
与此一致，提示做情绪研究时，刺激材料选择上需要考虑表演者长相的影
响，研究对象选择上需要考虑性别的影响。
CFEvS与IAPS[‘]、CAPS[9]的关系:CFEVS提供的是一系歹‘」生动鲜
明的中国汉族人面部表情视频片断，与国际情绪图片系统(IAPS)、中国
情绪图片系统(C妙S)相比，具有动态性直观性等特点。既往研究结果
提示与静态面部表情相比，动态面部表情可引起更强烈的情感【’“】，但也
有研究发现两者无差异〔”]，故可进一步对CFEvs、IAPs以及cAPs做对
比研究。另外，CFEVS中的每个面部表情视频片段的长度均固定为3秒，
灵活性不如图片，而且，IAPS、CAPS中的图片涉及范围比较广泛，而
CFEVS仅仅涉及面部表情。下一步研究中我们拟建立涉及范围更广泛的
中国情绪视频系统(ehineseA价
etivePicturesystem，e蒯s)，并将CFEVS
归纳于其中作为一个子系统。
CFEVS建立过程中，有一些经验值得总结。首先，CFEVS中的表情
视频片断不是录制好或从网上搜集到就直接纳入的，而是经历了一个先筛
选再评价(部分环节是同时进行的)最后纳入的严格过程，保证了CFEVS
中每个视频片断的可靠性。其次，考虑了表演者长相及评测者性别对评价
结果的影响，这对将来的情绪研究可能会起一定的参考作用。最后，南京医科大学硕士学位论文
CFEVS的建立为将来情绪研究中刺激材料的制备提供了一个思路和方法
学。
然而，CFEVS的不足之处也相当明显。首先，表情类型较少，等级
强度变化不明显，而且每个视频片段的长度固定为3秒。除此之外，许多
表情视频的表情强度与其愉悦度、唤醒度不一致，如一些大笑的表情视频
的愉悦度和唤醒度分值却比较低。这一方面与人类情绪本身的微妙复杂、
变化多端有关，另一方面是由于演员的表演能力不足所致。下一步研究中，
我们争取联系具有更高表演技能的演员，并在录制过程中聘请专业导演做
指导，从而获得不同类型、等级和时长的表情视频片段。其次，本课题组
将与理工科专业人员合作，争取编制一套可直接对表情类型、长相、愉悦
度、唤醒度及优势度等进行评价、记录和分析的软件，同时拟采用理工科
人员编制的基于面部运动编码系统
(faeialaetioneodingsystem，FACs)
的面部表情识别系统来检验所录制的表情视频片断，进而筛选出更可靠的
表情视频片段。除此之外，评测者当时的基础情绪状态可能会影响评测结
果，还必须再采用一些方法和手段如心理测试量表来检查评测者当时的精
神状态。
总之，本研究通过严格的录制和筛选过程，初步建立了本土化的中国
面部表情视频系统，增加了情绪取材的范围，并提示在将来情绪研究中需
注意表演者长相及评测者性别对试验结果的影响.南京医科大学硕士学位论文
2.1.4参考文献
【l」? LangPJ， BradleyMM， CuthbertBN.NIM壬
1Centerforthestudyof
EmotionandAttention，
IntemationalAffectivePietureSystem(IAPS):
InstructionManualandAffeetiveRatings.出版地:出版社，2001.
【2」? BrittonJC，几 ylorSF， SudheimerKD，
etal.FacialexPressionsand
comPlexIAPSPieturesConunonanddifferentialnetworks.
Neurolmage，一919.
[3」.EkxnanP.PieturesofFaeialAffeet.CA.:ConsultingPsyehologistsPress，
PaloAlto， 1976.
[4].黄宇霞，罗跃嘉.国际情绪图片系统在中国的试用研究.中国心理
卫生杂志，):631一634.
【5].ErwinRJ，GurRC，GurREetal.Faeialemotiondiserimination:ITask
eonstructionandbehavioralfindingsinnormalPartieiPants.Psyehiatry
Research， 一240.
【6」.RojahnJ，GerhardsF，MatloekSTetal.Reliabilityandvaliditystudies
ofthefacialdiscriminationtaskforemotionreseareh.Psychiatry
Research，2000， 95:169一
181.
[7」.BrittonJC，几ylorSF，SudheimerKDetal.Faeialexpressionsand
eomPlexIAPSPietUreseommonanddifferentialnetworks.Neurolmage，
一919.
【8」.Ho加armsqsuvakM，LitZBT，etal.Sexdiffereneesinface
recognitionandinflueneeoffaeialaffeet.PersonalityandIndividual
46南京医科大学硕士学位论文
Differenees，2006， 40:16.
[9].白露，马慧，黄宇霞，等.中国情绪图片系统的编制一在46名中国
大学生中的试用.中国心理卫生杂志，):719一722.
【10」.W匕 ehslerT， KaiserS，
Schmidt5etal.Studyingthedynamicsof
emotionaleXPressionusingsynihesizedfaeialmuselemovements.
JoumalofPersonalityandSoeialPsyehology.JoumalofPersonality
andSoeialPsyehology， 一119.
[11]? KiltsCD，
EganqGideonDAetal.DissoeiableNeuralPathwaysare
involvedinthereeognitionofEmotioninStatieandDynamieFaeial
ExPressions.Neuroimage，2003， 18:156一 168.
47南京医科大学硕士学位论文
2.2试验二:中国健康女性识别动态面部表情的功能核磁共振成像研究
在第一章的第三节(1.3)，我们论述了健康受试者识别面部表情的功
能影像学研究进展。但既往绝大多数研究都采用静态图片作为刺激材料，
少量研究发现动态表情与静态表情引起的情绪强度以及激活脑区存在差
异，而且，其中的多数研究都采用组块设计。如1.2中所论述，组块设计
因为可以引出较强的脑区BOLD反应所以更适合于情绪感知，而含有认
知任务的情绪识别研究更适宜采用近年来发展出的事件相关设计。另一方
面，因为文化、种族等的差异，国外刺激材料及国外研究结果直接应用于
国人研究时其通用性受到挑战。在2.1中，我们成功制作了中国汉族人的
动态面部表情视频库一中国面部表情视频系统(CFEvS)。
基于此，本研究拟采用事件相关设计的功能核磁共振成像技术探讨中
国汉族健康女性明确和不明确识别动态面部表情的神经基础。
2.2.1试验对象与方法
2.2.1.1试验对象
南京女性志愿者共26名，汉族，右利手，年龄21一50岁，无宗教信
仰。双眼裸视或矫正视力均在 1.0以上。无精神疾病家族史，精神卫生筛
选表及神经症筛选表排除个人精神疾病史.扫描前通过焦虑自评量表及抑
郁自评量表排除焦虑及抑郁情绪状态。无其他神经系统疾病。实验前告知
被试试验内容，并签署知情同意书.
2.2.1.2刺激材料
本试验包括100个视频片断，其中愉悦、悲伤、咀嚼、无面部动作及
十字架等各20个。除了十字架外，每种表情视频片断男女各10个。视频____.......……“.更声医科齐赏呼古学俘峰齐.
片断均选自中国面部表情视频系统
(ChineseFacialExPression场dco
System，CFEVS).CFEVS的编$lJ方法详见试验一。
2.2.1.3情绪刹激的任务设计
为了更好地完成情绪识别这一试验目标，以及为了消除预期效应，本
研究采用随机事件相关设计。通过视频软件砚
eadvidcostodin9.0(Uead
company，中国台湾)把3秒表情片段与灰屏片段合成为 3.55、45及4.55
的片断，后加工为6分39秒的短片作为最终刺激材料。每类表情连续出
现的次数不超过两次，开始和结束均为十字架。
图2.2一L沐:{绍刊从{一卜务为谈f}l七.几二二.又:0兮4.多;.t，-一。个29.，jl，.
庆屏十牛架灰屏毒悦灰屏申性灰屏寸字架成屏
。一?“一。。一、
2.2.1.4f呱I数据采集设备及参数设定
采用GE一
Singa1.ST磁共振成像仪.①轴位定位像:采用 TIFlair
序列4nlln层厚无间距扫描，平行于前后联合连线，跟:2000ms，TE:7.3ms，
矩阵
:256x160，共27层，平面象素:240二 x240nnn:②BOLD数据采
集:根据本核磁共振仪的实时功能成像程序(real一
timeimagingprocess吨，
RTIP)采集方式，采用梯度回波一回波平面成像(G件以ient一 Recaned
Eeho一 PlanarIm吧i吃，GRE一EPI)序列采集，仪:300oms，几:4oms，
矩阵:64、64，共27层，平面象素:240lllln、240Inln，层厚:4Imn。
2.2.1.5利激播放装1和行为学数据采集装1
通过投影仪把视频投在机房内的单面玉砂屏幕上，受试者入仓后通过南京医科大学硕士学位论文
头上方的反光镜观看屏幕上的视频片断。受试者双眼与屏幕的距离固定。
视频片断在玉砂屏幕上的位置固定，大小以受试者能舒适的看全表演者的
头发及下巴为准。行为学数据通过PRESENI谈JION软件 (NationalInstitute
ofNeurologicalDisordersandStroke，网址:丝巡巡卫旦旦州丝丝里)采集。
2.2.1.6实验程序
在磁共振扫描前一天，采用抑郁自评量表(SDs)和焦虑自评量表
(SAS)评估正常对照是否存在抑郁或焦虑症状，并带领受试者参观核磁
共振室，详细讲解核磁共振的优缺点，指导受试者练习实验过程中需要做
的任务，确保受试者在扫描当天顺利完成试验任务。
在扫描当天，所有受试者在扫描前2a卜时到达磁共振室。由具有一定
沟通技巧的本课题组工作人员与受试者轻松交谈，以消除受试者可能出现
的紧张、焦虑情绪。
扫描前，投影仪和投影屏幕放在固定位置，并检测PRESEN毛抓，ION
软件是否正常运行。然后用耳塞塞住受试者双耳以减小噪音，并将受试者
头部固定，调整受试者头上方的反光镜，以受试者在舒服状态下能看到表
演者的头发和下领底部为准。
扫描正式开始后，主要完成以下3部分扫描:
①解剖定位相:指导语为“请您闭上眼睛休息，全身尤其是头部不要
动，现在进行脑部定位”。
②情绪识别:指导语为“请您睁开眼睛，当屏幕上出现面部表情时，
请您判断该面部表情是在表达情感还是没有表达情感。如果是表达情感，
请您按食指，现在就试着按下(查看反应键盒指示灯，看受试者是否按键南京医科大学硕士学位论文
以及按键是否正确。如果未按健或按键不正确，就重新指导);如果没有
表达情感，请您按中指，现在就试着按下(同上);如果出现十字架，请
您按食指或中指，现在就试着按下(同上)。马上就开始扫描，请您全身
尤其是头部不要动，看到表情后尽快按键。”注意查看反应健盒的指示灯，
看是否按健。该任务完成后，结束语“这部分扫描结束，请您闭上眼睛休
息一会，但全身尤其是头部不要动。”
③性别识别:指导语为“请您睁开眼睛，当屏幕上出现面部表情时，
请您判断该面部表情的表演者是男性还是女性。如果是男性，请您按食指，
现在就试着按下(查看反应健盒指示灯，看受试者是否按键以及按健是否
正确。如果未按健或按健不正确，就重新指导。);如果是女性，请您按中
指，现在就试着按下(同上);如果出现十字架，请您按食指或中指，现
在就试着按下(同上)。马上就开始扫描，请您全身尤其是头部不要动，
看到表情后尽快按健。”注意查看反应健盒的指示灯，看是否按健。该任
务完成后，结束语“这部分扫描结束，请您闭上眼睛休息一会，但全身尤
其是头部不要动。”。所有受试者均用右手按键。食指按健或中指按健在受
试者之间予以均衡。
扫描完毕后，请受试者休息30分钟，然后对所看到的动态表情的愉
悦度、唤醒度及表情类型做评判。愉悦度和咦醒度采用自我报告形式的9
分制评分。表情类型包含喜悦、悲伤、惊奇、恐惧、愤怒、厌恶、中性以
及其他等8种，评判方法参见本课题组2.1部分。
2.3.1.7核磁共振数据处理
图像数据通过 ACDsee及MRIcro软件转化为.img和.hdr格式，然后南京医科大学硕士学位论文
采用sP破软件
(StatistiealparametrieMapping，作者 :TheWelleome
DePartmentofImaging，
InstituteofNeurology，
UniversityCollege，London，
来源:~.fil.ion.ucLac.u招sPmZ)对这些影像学资料进行处理。具体
处理方法采用Ashburner和Frist。n等提出的处理程序[’]。
2.3.1.7.1单个受试者的核磁共振数据处理
首先对所有图像进行空间预处理 (sPatialPre一processing)。第一步:
进行Realignment做头动校正，选取的参数是Coregister&Resliee， Createall
Images+MeanImage:第二步:对经过头动校正的图像进行 slieetiming，
校正每幅图像在获取时间上的差异;第三步:对经过上两个步骤处理后的
图像进行三维空间标准化(Normalisation);第四步:对经标准化处理后
的图像进行平滑(Smooth)，全宽半高(FWHM)是6mm。
图像经过空间预处理之后，根据我们的试验设计，建立矩阵。对所有
的单个受试者来说，设计的矩阵都是相同的。
2.3.1.7.2多个受试者的数据处理
对所有被试进行随机效应模型分析，计算出所有受试者在每种任务状
态下的平均激活信号。p&0.001。激活范围闹值设定为10个像素。
2.3.1.7.3激活脑区的获取
激活脑区的SpM值为MNI坐标
(MontrealNeurologiealInstitute)，
需通过Matlab软件进行非线性方法转换，成为Talairaeh坐标(TalairaehJ，
孔 umouxP，
1995)，然后通过
TalairachDaemonClient(version2.0)软件获
得激活脑区的具体位置。南京医科大学硕士学位论文
2.3.1.8行为学数据及扫描后评测数据的统计分析
采用SPSSn.5软件做统计分析。识别不同面部表情的反应时间做单
因素方差分析(ANOVA)，正确率做卡方检验。面部表情视频的愉悦度、
唤醒度及识别正确率做描述性分析。
2.2.2结果
2.2.2.1扫描后评测结果
共获得22例受试者的扫描后评测数据，结果如表2.2一1，提示每种表
情均有较高的识别率，愉悦度与表情类型相一致(喜悦&5分，悲伤&5分，
中性介于5分左右)，且喜悦及悲伤表情视频均有较高的唤醒度，中性表
情的唤醒度与自身特点相一致。该结果表明，试验中所采用的表情刺激材
料可以较好的引出相应情感，且具有一定唤醒程度。
表2.2一1:扫描后不同表情的评测结果
表情类型识别一致率
97.27士7.977
愉悦度唤醒度
7.23土 1.1 6.57士 1.446
90.91士15.169
85.68士22.43
1.319 5.46士2.422
4.62士0.733 2.87士1.195
悦伤性喜悲中
2.2.2.2识别不同情绪性面部表情的激活脑区
2.2.2.2.1识别动态中性表情的激活脑区_匡‘协南京医科大学硕1:学位论文
在不明确识别任务(识别表演者性别)中，与十字架识别相比，动态
中性表情识别显著性激活额叶皮质(右中央前回，BA4;)、边缘系统(右
前楔叶，BA31;)、枕叶皮质(右楔叶，BA19;右舌回， BA18;右枕中
回， BA18:左前楔叶，BA31:)、顶叶皮质(左顶下小叶，BA4O:右顶
下小叶，BA40;左楔前叶，BA39;右楔前叶，BA7;)、濒叶皮质(右颜
下回，BA20;左颜中回，BA22等;)等脑区(见图2.2一3和表2.2一2)。
饭甲，
...
，.
，.
，《
，““从
州公川..
Z二?22mmZ二?20mmZ二一18mmT丫a}ue
图2.2一3:不明确识别动态中性表情的脑激活区南京医科大学硕士学位论文
表2.2一2:中性表情加工的脑激活区(识别中性表情vs识别十字架)
明确识别(识别表情)不明确识别(识别性别)
激活脑区 BATalairaeh坐标KZ激活脑区 BATalairaeh坐标KZ
(X，丫Z)(X，丫Z)
额叶皮质额叶皮质
右额中回 955，23，
右中央前回 416，一28，
62133.6
左中央前回6一48，2，
46183.7枕叶皮质
顶叶皮质右楔叶 1926，一84，
36404.55
左中央后回2一42，一23，
44223.61右舌回 188，一54，
3173.65
边缘叶右枕中回 1828，一89，
14274.75
左前扣带回24一17，一9，
45113.46左楔前叶31一12，一65，
27464.07
顶叶皮质
左顶下小叶40一44，一35，
44543.79
右顶下小叶 4040，一35，
44283.56
左楔前叶39一44厂72，
35163.58
右楔前叶 714厂66， 47233.58
颜叶皮质
右濒下回 2048，一24，一
16954.24
左颜中回22一50，一39， 4243.93
边缘叶
右扣带回 3116，一55，
25123.59南京医科人学硕卜学位论义
2.2.2.2.2识别动态喜悦表情的激活脑区
在明确识别任务(识别情绪类型)中，与动态中性表情识别相比，动
态喜悦表情识别显著性激活额叶皮质(左额中回，BAS和46)、枕叶皮质
(右楔叶，BA7:左楔叶， BA18:右枕下回，BA18:左舌回，BA18:)、
颜叶皮质(右侧颜中回，BAZI;左侧濒中回，BA39;左侧颜横回，BA41;)
以及皮质下区(尾状核，壳核;)等脑区(见图2一4和表2.2一3)。
J
兔
七‘口.
犷
矛‘
.
.阅.
勺
.叫叹
门..飞
.』t
护...各，
毛
‘一‘0111111
5
4门
‘一‘0111111‘一J甘 1111.1!VdIU廿
图2.2一4:明确识别喜悦表情的脑激活区
57级南京医科大学硕士学位论文
表2.2一3:喜悦加工的脑激活区(识别喜悦表情vs识别中性表情)
明确识别不明确识别
激活脑区 BATalairaeh坐标KZ激活脑区 BATalairaeh坐标KZ
额叶皮质颜枕交界处
左额中回8一42，27，
41184.52右颗下回37
左额中回46一46，44，
18113.75右颗下回37
枕叶皮质颜叶皮质
右楔叶 718，一78，
右颜中回22
左楔叶15一2，一50，
右枕下回 1828，一86，一
11253.91
左舌回18一8，一84，一 4534.5
颜叶皮质
右颗中回 2165，一49，一
1224.26
左濒中回39一57，一56，
14166.98
左颜横回41一34，一27，
12213.73
皮质下区
左尾状核壳核一20，4，
11153.67
51，一64，0
57，一59，一9
143.48
61，一48，
4814.28巡“二南京医科人学硕卜学位论文
在不明确识别任务(识别表演者性别)中，与动态中性表情识别相比，
动态悲伤表情识别显著性激活额叶皮质(左额中回，BA10;右额中回，
BA6:)、枕叶皮质(右楔前叶，BA31:)、顶叶皮质(右顶下小叶，B^40:
顶上小叶，BA7)、边缘系统(左扣带回，BA31:右海马旁回，BA28:)、皮
质下区(左尾状核;左豆状核;左丘脑)等脑区(图2一7和表2.2一4)。
翻.“’代‘.J勺.
、南京医科大学硕士学位论文
表2.2一4:悲伤表情加工的脑激活区(识别悲伤表情vs识别中性表情)
明确识别不明确识别
激活脑区 BATalairaeh坐标KZ激活脑区 BATalairaeh坐标KZ
(X，丫Z)(X，丫Z)
颜叶皮质额叶皮质
右梭状回 3742，一55，一
16143.59左额中回10一30，48，
20373.75
右颗下回 2061，一9，一
20203.83右额中回 646，s，
47233.72
边缘叶枕叶皮质
右海马钓回 2822，3，一
27153.97右楔前叶 3120厂65，
22153.46
顶叶皮质
右顶下小叶 4050，一28，
22223.75
右顶下小叶 4061，一36，
24103.42
左顶下小叶7一32，一59，
55273.7
颜叶皮质
，J，4 t4z右颗中回
右颗中回
59，一49，l2385
一57，一31， 5563
211勺‘乙
边缘叶
右扣带回3-一20，一23，
44223.76
右海马旁回 2822，一16，一
18273.63
皮质下区
左尾状核-一8，6， 2233.72
左豆状核壳核一30，一15，
3163.63
左丘脑丘脑一24，一27，3253.61
62南京医科大学硕士学位论文
2.2.3讨论
2.2.3.1总体
根据注意理论[21，如果将注意力集中在某一方面，则对该方面来说是
明确加工，而对另一方面来说是不明确加工，而面孔加工可分为面孔身份
加工和面