实验室建设 - 多模态刺激呈现系统

多模态刺激呈现系统

实验室建设 > 核心产品 > 多模态刺激呈现系统

系统介绍

无需编程即可完成完整的实验范例设计。实验任务支持图片、声音、文本、视频等标准化刺激内容，诱发特定的情绪状态；同时支持呈现各类问卷、认知行为范式；并且可以通过电刺激、嗅棒研究刺激条件对生理数据的影响。系统搭载沉浸式高强度VR任务，可进一步深度诱发应激、恐惧等心理状态。

核心价值

输出科研范式和指标体系

输出 20+ 具有引领性的科研范式、技术方案、先验特征和指标体系，助力多学科交叉融合与科研范式的持续创新
完全自主知识产权

中国科学院心理研究所科研转化成果，支持 30 多款国外主流科研设备以及国产化脑电、眼动仪等采集设备的接入
专业数据分析培训

由中国科学院心理研究所组织国内相关领域专家，开办面向电生理信号、眼动轨迹等多模态数据分析的培训课程与技术指导

第三方设备接入

集成各类高精度飞行、舰船、汽车模拟器及仿真工具链，高逼真虚拟驾驶环境，运动平台，以及及人-机-环数据采集与分析系统。
在模拟驾驶任务中，能够同步采集驾驶员的各项生理数据、行为数据及模拟器运行状态数据，为自动驾驶、智能座舱、自然人机交互等领域的研究提供丰富、客观、多源的数据支撑。

第三方模拟任务接入

系统支持接入各类模拟作业任务，如模拟航空任务(包括言语通讯、仪表监控，资源管理以及目标追踪任务)，模拟交通管制、调度任务，模拟中控室操纵任务等。
可设置每个任务的难度，以及同时需要完成任务的数量，为研究作业人员认知负荷、疲劳、情境意识、人机协同、人机功能分配提供基础任务平台。
支持模拟作业任务的关键事件信息(如任务开始、结束)的自动打点，以及打点信息与多模态数据在时间序列上的自动对齐、融合。

第三方模拟任务接入

VR情绪诱发素材

VR 情绪诱发通过高空、密闭、狭小空间等方式诱发应激反应，以及焦虑、恐惧等情绪状态，诱发效果好、持续时间长、生态效度高，适用于特殊岗位关键作业人员。VR 场景及任务可与打点标记功能联动，便于后续与多种生理和行为数据的融合分析。已获得多项科技部重点研发计划、科技委某技术领域基金项目、重点项目的支持。

认知任务&问卷素材

认知任务

内置 60+ 心理学经典的认知实验范式，涵盖感知觉、注意、记忆、逻辑思维、执行功能、决策、眼手协调、空间运动、运动控制等多个维度认知能力的测量与评估。每个任务支持刺激呈现、按键反应等关键事件在生理数据上的自动标记，以及正确率、反应时等指标的自动计算。
问卷量表

涵盖中小学生心理健康筛查、多元智能测评，大学生抑郁及自杀意念筛查、职业发展测评，特殊职业群体(军人、警察、驾驶员、调度员、被监管人员)岗位胜任力评估，企业员工心理风险与领导力评估，以及老年人神经认知障碍筛查等。

认知任务&问卷素材

情绪诱发素材库

适用于中国社会和文化背景、标准化情绪视频材料库：涵盖 4 类消极情绪（悲伤、愤怒、恐惧、厌恶）、 4 大类（ 16 小类）积极情绪（乐趣类、共情类、创造类、价值类）和中性情绪，共计 56 段视频片段及主观评定。

标准化情绪图片、声音、文字、面部表情素材库:

国际情感图片库(IAPS)
中国情感图片库(CAPS)
国际情感数码声音库(IADS)
中国情感数码声音库(CADS)

Reference

[1] Ge, Y., Zhao, G., Zhang, Y., Houston, R.J., Song, J. (2019). A standardized database of Chinese emotional film clips. Cognition and Emotion 33(1):1-15.

[2] Liu, Y. J., Yu, M., Zhao, G., Song, J., Ge, Y., & Shi, Y. (2018). Real-time movie-induced discrete emotion recognition from EEG signals. IEEE Transactions on Affective Computing,9(4), 550-562.

多感官通道设备

电刺激

模块支持 8 通道，最多 4 人同步进行电剌激，适合开展多人/超扫描研究。每个通道可独立设置不同参数独立触发，也支持多通道同时触发。调节参数多样，支持在较大范围和精度内进行参设置，如波形、强度、频率、脉宽等。适合开展疼痛、应激相关领域的基础应用研究。
嗅棒

可作为实验工具用于检测感知加工、感知觉与记忆加工的关联，同时可作为刺激源诱发不同的情绪状态，并结合多模态数据检验不同心理状态下受试者的神经机制，支持检测结果的记录、存储、有助于后续进行数据挖掘。