《面向共融机器人的自然交互——多模态交互信息的情感分析》 - 徐华 - 清华大学出版社 - 香港大書城

	登入帳戶　 \|　訂單查詢　 \|　購物車/收銀台(0)　\|　在線留言板　 \|　付款方式　 \|　運費計算　 \|　聯絡我們　 \|　幫助中心　\|　加入書簽
		會員登入新用戶登記

HOME

新書上架

暢銷書架

好書推介

2024年度TOP

臺灣用戶

品種：超過100萬種各類書籍/音像和精品，正品正價，放心網購，悭钱省心

服務：香港／台灣／澳門／海外

送貨：速遞／郵局／服務站

新書上架：簡體書繁體書
暢銷書架：簡體書繁體書
好書推介：簡體書繁體書

『簡體書』面向共融机器人的自然交互——多模态交互信息的情感分析

書城自編碼： 3838126
分類：簡體書→大陸圖書→計算機/網絡→人工智能
作者：徐华
國際書號(ISBN)： 9787302624219
出版社：清华大学出版社
出版日期： 2023-01-01

頁數/字數： /
書度/開本： 16开釘裝：平装

售價：HK$ 79.4

我要買件

** 我創建的書架 **
未登入.

新書推薦：

《绣罗衣裳照暮春——古代服饰与时尚》
售價：HK$ 93.5

《 HR如何招聘人才：招聘思维与技能》
售價：HK$ 61.6

《《汉印精选》》
售價：HK$ 206.8

《思索马基雅维利》
售價：HK$ 162.8

《皇帝与国王：足利义满和他的时代（颠覆天皇王权的逆贼将军，还是活用东亚朝贡规则的政治能人？）》
售價：HK$ 64.9

《锦衣行（《白衣公卿》影视原著小说）》
售價：HK$ 54.8

《乘风而上（美依礼芽中文自传）》
售價：HK$ 85.8

《金庸江湖的另一面》
售價：HK$ 64.9

編輯推薦：

l 深度探讨了融合多模态机器学习的人机交互多模态情感分析方法。
l 深度探讨了实现鲁棒性的多模态情感分析方法与实现策略。
l 系统论述了深度人工智能时代共融机器人自然交互的基础理论与实现方法。

內容簡介：

共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点问题之一。当前迫切需要共融机器人具备多模态交互信息的情感分析能力。本书针对多模态机器学习方法的情感分析领域，从多模态交互信息特征的学习表示出发，系统介绍了自然交互中的特征学习表示、特征融合和情感分类的方法，并进一步探讨了如何实现鲁棒的多模态情感分析法。本书是共融机器人自然交互领域国内第一本系统介绍多模态交互信息情感分析的专业书籍，可为读者掌握共融机器人研究领域人机情感分析的关键技术和基础知识，为追踪该领域的发展前沿提供重要的学习和研究参考。

第一篇概述
第1章多模态情感分析概述3
1.1多模态情感分析相关研究概述3
1.2模态缺失相关研究概述6
1.3本章小结7
第2章多模态机器学习概述8
2.1多模态表示学习概述8
2.1.1联合型表示学习9
2.1.2协同型表示学习9
2.2多模态表示融合概述10
2.2.1前期融合10
2.2.2中期融合10
2.2.3后期融合11
2.2.4末期融合11
2.3本章小结11
第3章多任务学习机制概述13
3.1在计算机视觉中的多任务架构13
3.2在自然语言处理中的多任务架构14
3.3在多模态学习中的多任务架构16
3.4本章小结18目录面向共融机器人的自然交互——多模态交互信息的情感分析
第二篇多模态情感分析数据集与预处理
第4章多模态情感分析数据集简介23
4.1CMUMOSI24
4.2CMUMOSEI24
4.3IEMOCAP24
4.4MELD25
4.5本章小结25
第5章多模态多标签情感分析数据集构建26
5.1概述26
5.2多模态多标签的中文情感分析数据集制作26
5.2.1数据收集和标注26
5.2.2统计和分析28
5.3本章小结29
第6章基于主动学习的多模态情感分析数据的自动标定30
6.1相关工作30
6.1.1数据标注30
6.1.2主动学习31
6.2研究方法35
6.2.1整体结构介绍36
6.2.2MMAL模块介绍38
6.2.3半监督学习模块40
6.3实验设置40
6.3.1实验参数和评价标准40
6.3.2基线模型选择41
6.4结果分析42
6.4.1主动学习方法效果分析42
6.4.2半监督主动学习方法效果分析44
6.4.3消融实验46
6.5本章小结47
第三篇单模态信息的情感分析
第7章基于文本的情感分析51
7.1基于情感词典的情感分析方法52
7.2基于深度学习的情感分析方法53
7.2.1单一神经网络的情感分析53
7.2.2混合神经网络的情感分析53
7.2.3引入注意力机制的情感分析54
7.2.4使用预训练模型的情感分析54
7.3本章小结55
第8章基于语音信息的情感分析56
8.1基于ConstantQ色谱图的音频情感分类56
8.1.1ConstantQ色谱图抽取58
8.1.2CRLA模型59
8.1.3特征抽取网络59
8.1.4上下文表征学习59
8.1.5实验与分析60
8.2基于异构特征融合的音频情感分类63
8.2.1频谱特征抽取64
8.2.2统计特征抽取66
8.2.3CHFFM66
8.2.4CSFM67
8.2.5实验与分析68
8.3本章小结71
第9章基于人脸关键点的图片情感分析72
9.1CMCNN73
9.1.1设计思想73
9.1.2模型整体框图74
9.1.3CCAM75
9.1.4SCAM76
9.1.5多任务优化目标77
9.2实验设置77
9.2.1基准数据集77
9.2.2数据预处理78
9.2.3基线方法79
9.2.4评价指标79
9.2.5训练策略和参数设置80
9.3实验结果和分析80
9.3.1与基线方法的结果对比80
9.3.2迁移效果验证82
9.3.3特征可视化83
9.3.4模块化分析84
9.4本章小结85
第四篇跨模态信息的情感分析
第10章跨模态特征表示方法89
10.1文本模态特征表示方法90
10.2音频模态特征表示方法91
10.2.1格式转换92
10.2.2特征工程92
10.2.3数据对齐93
10.2.4高阶特征提取94
10.2.5融合特征95
10.3实验与分析97
10.3.1数据集和评价指标97
10.3.2实验设置98
10.3.3实验结果98
10.4不足和展望100
10.5本章小结100
第11章基于多层次信息互补的融合方法101
11.1方法102
11.1.1模态表示模块102
11.1.2模态相似度和情绪识别多任务105
11.2实验与分析106
11.2.1数据集106
11.2.2数据预处理106
11.2.3评价指标107
11.2.4训练细节和参数设置107
11.2.5对比基线108
11.2.6实验分析108
11.3不足与展望111
11.4本章小结112
第12章生成式多任务网络的情绪识别113
12.1方法115
12.1.1情绪多任务网络115
12.1.2生成式多任务模块116
12.2实验与分析117
12.2.1数据集117
12.2.2数据预处理118
12.2.3基线模型119
12.2.4评价指标以及重要参数设置119
12.2.5情绪分类实验结果119
12.2.6实验分析121
12.3不足与展望122
12.4本章小结122
第13章面向非对齐序列的跨模态情感分类124
13.1SAFRLM125
13.1.1多模态对齐模块126
13.1.2融合表示初始化模块126
13.1.3自调节模块127
13.2实验与分析128
13.2.1数据集及实验设置129
13.2.2单模态特征抽取及评价指标129
13.2.3基线模型129
13.2.4跨模态情感分类实验结果130
13.2.5Crossmodal block的数目对实验的影响131
13.2.6定性分析132
13.3不足与展望133
13.4本章小结133
第14章面向对齐序列的跨模态情感分类134
14.1问题定义135
14.2音频特征抽取与对齐135
14.3CMBERT模型135
14.3.1预训练BERT模型136
14.3.2时序卷积层137
14.3.3Masked Multimodal Attention137
14.4实验与分析139
14.4.1数据集和评价指标139
14.4.2实验设置139
14.4.3跨模态情感分类实验结果139
14.4.4注意力机制可视化分析141
14.5不足与展望143
14.6本章小结143
第五篇多模态信息的情感分析
第15章基于多任务学习的多模态情感分析模型147
15.1基于多任务学习的多模态情感分析模型概述148
15.1.1模型总体设计148
15.1.2单模态表示学习网络149
15.1.3表示融合和分类150
15.1.4多任务优化目标151
15.2实验设置和结果分析151
15.2.1实验设置151
15.2.2结果与分析152
15.3本章小结156
第16章基于自监督学习的多任务多模态情感分析模型157
16.1基于自监督学习的单模态伪标签生成模型157
16.1.1模型总体设计157
16.1.2ULGM159
16.1.3自适应的多任务损失函数162
16.2实验设置和结果分析163
16.2.1实验设置163
16.2.2结果与分析164
16.3本章小结168
第17章基于交叉模块和变量相关性的多任务学习169
17.1概述169
17.2权值共享层框架169
17.3多任务学习层框架171
17.3.1多任务交叉模块171
17.3.2基于皮尔森相关系数的特征融合173
17.4多任务学习算法实验175
17.4.1实验评测指标175
17.4.2实验条件176
17.4.3实验结果176
17.5本章小结177
第18章基于互斥损失函数的多任务机制研究178
18.1概述178
18.2常用损失函数178
18.2.1基础损失函数178
18.2.2中心损失函数179
18.2.3互斥损失函数180
18.3基于多任务机制的互斥损失函数181
18.4损失函数策略对比实验182
18.4.1实验条件182
18.4.2实验结果182
18.5本章小结184
第19章基于多任务多模态算法的迁移学习探究185
19.1概述185
19.2迁移学习概述185
19.2.1迁移学习的背景185
19.2.2迁移学习的定义185
19.3迁移数据集186
19.4迁移实验186
19.4.1实验条件186
19.4.2实验结果186
19.5本章小结187
第20章基于模态缺失的多模态情感分析方法188
20.1任务定义188
20.2处理数据缺失方法概述188
20.2.1基于模态转译方法189
20.2.2基于张量正则化方法190
20.3模型的框架结构191
20.3.1特征抽取模块192
20.3.2模态重构模块193
20.3.3模态融合模块194
20.3.4模型训练195
20.4实验195
20.4.1多模态情感分析数据集195
20.4.2模态序列特征抽取196
20.4.3基线模型196
20.4.4实验设置196
20.4.5评价标准197
20.5实验分析197
20.5.1模型对缺失程度鲁棒性研究197
20.5.2模型对缺失模态组合鲁棒性研究200
20.5.3消融实验200
20.6本章小结202
第六篇多模态情感分析平台及应用
第21章多模态情感分析实验平台简介205
21.1概述205
21.2平台概览206
21.3数据端207
21.3.1数据管理207
21.3.2数据标注208
21.4模型端209
21.4.1多模态情感分析流程210
21.4.2模型训练与微调210
21.5分析端210
21.5.1多维结果分析211
21.5.2模型对比211
21.5.3端到端现场演示211
21.6实验评价213
21.6.1评价基准数据集213
21.6.2评价标注结果214
21.6.3评价现场演示215
21.7本章小结215第22章扩展应用：基于多模态临床特征表示与融合的端到端中医体质
评价系统21622.1概述216
22.2中医体质评价系统217
22.3方法218
22.3.1面诊特征表示模块218
22.3.2舌诊特征表示模块219
22.3.3问诊特征表示模块219
22.3.4中医体质预测220
22.4实验220
22.5本章小结221
结束语222
参考文献223
附录A中英文缩写对照表237
附录B图片索引240
附录C表格索引243

內容試閱：

前言

本书中所讨论的共融（服务）机器人是当前智能（服务）机器人的简称。共融机器人的自然交互主要是针对机器人与人共融的应用场景下，实现机器人与人、机器人与环境、机器人之间自然的交互共融。从共融服务机器人实际应用的角度而言，机器人与人之间的自然交互能力是其关键核心技术之一。机器人与人之间的自然交互能力主要涉及人机对话能力、对于人的多模态情感感知能力、人机协同能力等方面。为了实现智能服务机器人此处智能服务机器人包括实体服务机器人、在线虚拟(软)机器人、智能客服等系统或者产品形态。高效的情感感知能力，需要在人机交互的过程中让机器人具备强大的多模态交互信息的情感识别能力。这是实现高效智能化机器人与人对话的核心关键技术之一。2021年12月，中华人民共和国工业和信息化部、中华人民共和国国家发展和改革委员会等十五个部门联合印发的《“十四五”机器人产业发展规划》中将“人机自然交互技术，情感识别技术”等列为机器人核心技术攻关行动的前沿技术，足见共融机器人的自然交互技术在未来机器人产业的重要性。本系列丛书面向产业前沿、技术前沿和研究前沿对机器人自然交互技术中的重要问题与方法开展系统化论述。
本书由浅入深地探讨了如下几个热点研究内容：多模态情感信息的特征表示、特征融合、多模态交互信息的情感分类。面向自然交互的多模态信息的情感分析是涉及自然语言处理、计算机视觉、机器学习、模式识别、算法、机器人智能系统、人机交互等方面相互融合的综合性研究领域，近年来笔者所在的清华大学计算机科学与技术系智能技术与系统国家重点实验室研究团队，面向共融机器人的自然交互的多模态信息情感分析方面开展了大量有开创性的研究与应用工作，特别是在基于深度学习模型的人脸情感特征识别、多模态情感信息的学习表示、多模态情感特征的融合、模态信息缺失情况下的多模态情感分析的鲁棒性等方面取得了一定的研究成果，相关成果也陆续发表在近年来人工智能领域的顶级国际会议ACL、AAAI、ACM MM和知名国际期刊Pattern Recognition、Knowledge based Systems、Expert Systems with Applications等上。为了能够系统地呈现学术界和笔者团队近年来在共融机器人自然交互领域多模态情感分析方面的最新成果，本书特别地系统化地梳理了相关工作成果内容，以完整系统论述的形式将其呈现在读者面前。
本书是“面向共融机器人的自然交互”系列学术专著的第二册，笔者的研究团队后续将及时梳理和归纳总结相关的最新成果，以系列图书的形式分享给读者。本书既可以作为智能机器人自然交互、智能问答（客服）、自然语言处理、人机交互等领域的教材，也可以作为智能机器人、自然语言处理、人机交互等方面系统与产品研发重要的理论方法参考书。本书相关的内容资料（算法、代码、数据集等）可在开源社区下载。
由于共融型智能机器人的自然交互是一个崭新的快速发展的研究领域，受限于笔者的学识，书中错误和不足之处在所难免，笔者衷心希望读者提出宝贵的意见和建议，意见和建议可发送至bai1j@tup.tsinghua.edu.cn。
最后感谢国家自然科学基金项目（项目编号： 62173195）对于“面向共融机器人的自然交互”系列学术专著的支持。同时更要感谢清华大学计算机科学与技术系智能技术与系统国家重点实验室的赵康、陈小飞、赵少杰、仇元、李晓腾等同学对于书稿整理所付出的艰辛努力，以及余文梦、杨铠成、邹纪云、袁子麒、毛惠生、李炜、张宝政、刘一贺等同学在相关研究方向上不断持续地合作创新。没有各位团队成员的努力，本书无法以体系化的形式呈现在读者面前。
作者2022年11月于清华园

書城介紹　 \|　合作申請　\|　索要書目　 \|　新手入門　\|　聯絡方式　 \|　幫助中心　\|　找書說明　 \|　送貨方式　\|　付款方式	香港用户　 \|　台灣用户　\|　海外用户

	megBook.com.hk
Copyright © 2013 - 2025 （香港）大書城有限公司　 All Rights Reserved.