在这里，我想整理一下我平时使用的多模态情感数据集，以备将来使用。后面会继续补充，希望能帮到别人。欢迎补充。

作者:白马王子

地址:https://www.zhihu.com/people/pi-pi-57-67

01 双模态（一般是文本、图像和语音的两两组合）

1.“用分层融合模型进行Twitter中的多模态讽刺检测”——【多模态讽刺识别】2019。

本文建立的数据集包含文本和图像两种模式，具体为三种模式。文字部分包含两个方面:一是描述(文字模式)，二是图像的属性，即图像包含那些东西，用文字描述(也可以归为属性模式)。数据集的好处在于它给出了原始数据，即原始文本、原始图像和属性描述，这些数据可以被任意操纵成实验表示。

而数据集链接是https://github . com/headacheboy/data-of-multimodal-scarfish-detection。

2.“让vqa中的v变得重要:提升图像理解在视觉问答中的作用”——【多模态问答】2017。

本文是VQA数据集，包括原图、问答文本等属性。我们可以简单的用word2vec或者Glove或者bert提取文字的嵌入，用Resnet提取图片的特征。图片的问题和答案是通过对应的id连接起来的。

在https://visualqa.org/download.html.下载数据集链接

3.《Towers多模态讽刺检测(一篇明显完美的论文)》——《多模态讽刺》2019。

本文给出了一个图像和文本的双模讽刺视频。其中，每个标签对应的图像包含多个图像，对应的文本是一组对话，如下图所示:

链接是:https://github.com/soujanyaporia/MUStARD.

4.《微软Coco字幕数据采集与评测服务器》——【多模态图片字幕】2015。

本文给出的经典MS COCO数据集至今仍被广泛使用。数据集很大，大部分都是设计成纯CV数据集。标签分为五类:目标点检测、关键点检测、实例分割、全景分割和图片标注。前四个都是CV领域的，有兴趣的同学可以去玩玩。简单的多模态方向只需要最后一个。当然，如果您希望通过目标检测来辅助多模态分析，前几个标签也很有用。简单，这里需要的是图片和字幕两种模式，可以用于多模态匹配等任务。这些数据集包括2014年和2017年发布的数据集，每个数据集都有超过数十万张图像的注释。图像是原始图像，注释基于JSON文件，这些文件也是原始文本数据。我们只需要写一个程序来提取字幕。字幕和图片有id对应，非常方便。

链接是:https://cocodataset.org/#download.

02 三模态（一般是文本、图像加语音）

1.wild _ CMU-莫赛数据集中的多模态语言分析与可解释动态融合图——【多模态情绪与情感分析】2018。

本文描述的CMU-莫塞数据集是最大的三模态数据集，有两个标签:情感和情绪。但这里需要注意的是，数据集是多标签的，即每个样本可能对应不止一种情绪，对应情绪的强度也是不同的，范围在[-3~3]之间。数据集的原始数据给了，但是太原始了，也就是说文字、音视频文件给了，图像还得自己固定频率抓拍，文字和语音麻烦。大多数实验使用经过处理的实验数据。

数据集的链接为:http://instantaneous.multicomp.cs.cmu.edu/raw数据集/已处理数据/

2.Ur-Fun:理解幽默的多模态语言数据集——【多模态幽默分析】2019。

本文描述了UR-Fun数据集，该数据集包含文本、语音和图像三种模式来分析幽默情感。目前没用过。我没仔细看。我以后再补充。

数据集链接是:https://github.com/ROC-HCI/UR-FUNNY.

3.MoSi:在线意见视频中情感强度和客观性分析的多模态语料库-[多模态情感分析]。

本文描述的CMU-MOSI数据集与上面提到的CMU-莫塞数据集非常相似，但它发布得更早，规模较小，只有情感标签。像数据集MOSEI，有处理过的实验数据，但也有一些原始数据。视频部分仍然是视频，但不是捕获的图像。

数据集的链接为:http://instantaneous.multicomp.cs.cmu.edu/raw数据集/已处理数据/

4.“CH-SIMS:一个带有模态细粒度注释的中文多模态情感分析数据集”——【中文多模态情感】2020。

本文给出了用于多模态情感分类的常规文本、图片和语音数据，其中标签更加详细，不仅包括最终标签，还包括每个模态的标签。

如图所示。以及论文的数据集，我还没看。以后我会更认真的修改。

链接是:https://github.com/thuiar/MMSA.

本文目的为学术交流，不代表本号赞同其观点或对其内容真实性负责。版权归原作者所有，如有侵权请通知我们删除。