利用不同数据模态的信息互补特性,提升数据分析的准确性和有效性,为分析用户真实的心理状态和行为意图提供多维度的数据支撑。
在传统实验室科研仪器的基础上,接入多种非侵入、便携、可穿戴设备,并支持自有设备、任务的定制化接入,极大拓展了高生态效度、自然情景下的研究方法与思路。
以多种情绪和心理状态的识别、分析、反馈为目标,从诱发任务场景、采集与同步设备、数据预处理工具、先验特征体系等多个维度,打造闭环的研究方法与技术路线。
中科院心理所科研转化成果,完全自主知识产权,支持国产化、软硬件一体化的平台部署。
由中科院心理所组织国内相关领域专家,开办面向脑电、近红外、外周生理信号、眼动轨迹等多种神经、生理、行为的数据培训课程,提供不同研究方向的交流指导。
刺激呈现系统功能包含不同类型的刺激素材,可以呈现音视频内容,进行特定情绪状态的诱发。也可以呈现研究认知加工过程的典型认知任务,或者使用电刺激,研究刺激条件对生理数据的影响。以及搭载有沉浸式高强度的 VR 任务,可以深度诱发应激、恐惧等心理状态。
模块内置适用于中国社会和文化背景、标准化的情绪视频材料库,涵盖4类消极情绪(悲伤、愤怒、恐惧、厌恶)、4大类(16小类)积极情绪(乐趣类、共情类、创造类、价值类)和中性情绪,共计56段视频片段。支持用户观影后对目标情绪诱发效果的主观评定,以及开始、结束播放等关键事件的自动标记。
模块内置60+心理学经典的认知实验范式,涵盖感知觉、注意、记忆、逻辑思维、执行功能、决策、眼手协调、空间运动、运动控制等多个维度认知能力的测量与评估。每个任务按键响应时间精度高,支持刺激呈现、按键反应等关键事件在生理数据上的自动标记,以及正确率、反应时等指标的自动计算。
模块内置高空、密闭狭小空间、溺水逃生等虚拟现实场景及任务,可用于诱发焦虑、恐惧、高唤醒等情绪状态及急性心理应激反应,诱发效果好,持续时间长,信效度高。VR场景及任务可与打点标记功能联动,在关键任务场景下自动发送事件标记,便于后续与多种生理和行为数据的融合分析。
模块支持8通道,最多4人同步进行电剌激。每个通道可独立设置不同参数独立触发,也支持多通道同时触发。调节参数多样,支持在较大范围和精度内进行参设置,如波形(恒流/方波)、强度(0-100mA)、频率(1-1000Hz)、脉宽(0-10ms)、占空比以及刺激序列等。刺激与事件标记功能联动,发送刺激的同时,可向多种生理和行为数据发送事件标记。
自研多模态数据采集处理单元,采用Zynq+多通道数据采集方案,设计多模态数据同步接收模块。FPGA里包含完整的ARM处理子系统(PS),四核Cortex-A53处理器或双核Cortex-A53加双核Cortex-R5处理器,整个处理器的搭建都以处理器为中心,集成内存控制器和大量的外设,使处理器核在Zynq中完全独立于可编程逻辑单元。
支持单/多设备以有线或无线方式接入系统,实现数据同步采集。
支持实验过程中手动与程序(Python、E-prime、MATLAB)自动事件标记。
支持单/多设备以有线或无线方式接入系统,实现数据同步采集。
支持实验过程中手动与程序(Python、E-prime、MATLAB)自动事件标记。
在【音视频播放】、【认知任务】、【VR任务】过程中,实现脑电、眼动轨迹、脉搏波、皮肤电阻、面部表情等多种神经、生理和行为数据的同步采集。任务过程中的关键事件(如开始/停止播放视频、刺激呈现、用户反馈)会同步标记在多模态数据中。
可以连接Neuroscan Grael、Ant Neuro eego、Neusen等便携式脑电采集设备。支持8/16/32/64通道(最高可达256通道)的脑电信号,以及多通道EMG/EKG/EOG等生理信号的同步采集。
可以连接Tobii Pro Glasses/Spectrum 眼动仪和SMI眼动仪,支持基于固定屏幕和真实刺激物的眼动追踪研究,以及在移动场景或真实情境下的非侵入式眼动追踪研究。
可以连接Polar H10心率带和贴片式动态心电记录仪。Polar H10采用胸带式设计,可实现实时心率、最高和平均心率的动态监测,采样率最高可达1000Hz。动态心电记录仪采用柔性贴片式设计,可实现实时心电监测和异常心率报警提示。
可以连接ErgoSensing腕式光电容积传感器。采用1个绿色LED,1个红色/红外LED,以及3个光电二极管,实现0-2080641范围内脉搏波的采集,采样率最高可达100Hz。
可以连接Shimmer GSR+无线皮电传感器,或者ErgoSensing腕式皮电传感器。Shimmer GSR+无线皮电传感器通过贴在手指上的两个电极片测量指尖的皮肤电阻,测量范围覆盖 1.5uS~45uS(+/- 3%)。ErgoSensing 采用腕式可穿戴设计,通过手腕处两个电极片测量皮肤电阻,测量范围 0.01uS~100uS (+/- 10%)。
可以连接ErgoSensing腕式加速度传感器和陀螺仪传感器。加速度传感器可实现±2g~±16g范围内三轴重力加速度的同步采集,陀螺仪传感器可实现±250 ~ ±2000 dps范围内三轴角速度的同步采集。
可以连接多种网络摄像头,实现不低于400万像素,主码流帧率分辨率50Hz:25fps(2560*1440,1920*1080,1280*720)的视频采集,视频压缩标准H.265/H.264,视频压缩码率32Kbps~8Mbps。
系统支持公网环境使用,也可在局域网单独部署。在音视频播放、认知、VR、电刺激等任务过程中,支持脑电、脉搏波、皮肤电阻、面部表情等多种情绪变化敏感的神经生理和行为数据的同步采集。任务过程中的关键事件点会同步标记在多模态数据文件中。支持用户管理,不同实验员拥有独立账户,保证数据隔离。查看账户内的所有设备信息,支持数据云存储与下载。
支持实验名称、事件标记点名称编辑
支持采集设备的采集状态、电量、信号强度等基础监控及所采数据的实时监控
支持设备原始数据上传
支持远程多台设备数据同步采集与事件标记
不同实验员拥有独立账户,保证数据隔离
支持账户设备信息查看
支持上传并云存储原始数据
支持原始、打点数据下载
支持多种神经生理电信号、视音频数据的预处理和特征提取,针对情绪和心理状态构建具有先验知识的多模态指标体系。
模块内置滤波降噪、重采样、去眼电、重参考和定位等预处理算法,能够进行事件相关电位(ERP)分析和频谱能量(ERSP)分析,并支持脑电多频段(Delta、Theta、Alpha、Beta、Gamma)的能量值提取与分析。
模块支持实验后自定义兴趣区,并在兴趣区内提取首视时间、注视点次数、注视点百分比、平均驻留时间等指标,以及根据上面的指标生成多人扫视轨迹和热区图。
模块支持滤波降噪和特征提取功能,可以通过自定义窗长、步长,提取 HRV 相关的时频域特征。关键特征行带有打点事件标记,可以筛选特定条件下的特征数据进行显著性分析。
模块支持滤波降噪和特征提取功能,可以通过自定义窗长、步长,提取 HRV 相关的时频域特征。特征提取前经过严格的滤波降噪,并带有信号质量判断和打点事件标记,用以过滤符合要求的数据,进行后续统计分析。
模块支持通过自定义窗长、步长,提取 GSR 的皮肤电导水平(SCL)和皮肤电导反应(SCR),并基于这两个核心指标构建丰富的描述统计指标(均值、标准差、最大值、最小值等)。
模块支持基于三轴运动加速度、三轴运动角速度进行能量消耗、行为姿态、运动步数的识别与计算。
模块支持面部 68 个特征点的识别与定位,基于关键识别点计算眼睛纵横比、瞳孔圆度、嘴巴纵横比,以及眨眼频率、闭眼时间、打哈欠次数等指标。
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
实验室
汪杼彬. (2020). 一种基于高空虚拟现实的应激诱发新范式——有效性研究及其对工作记忆的影响,中国科学院大学,硕士论文.
Zhang, Y., Zhao, G.*, Ge, Y., Shu, Y., Zhang, D., Liu, Y. & Sun, X. (2021). CPED: A Chinese Positive Emotion Database for Emotion Elicitation and Analysis. IEEE Transactions on Affective Computing, 10.1109/TAFFC.2021.3088523.
Li, Y., Li, K., Wang, S., Chen, X., & Wen, D. (2022). Pilot behavior recognition based on multi-modality fusion technology using physiological characteristics. Biosensors, 12(6), 404.
B W P A , C W L , A X H ,et al.Suffer together, bond together: brain-to-brain synchronization and mutual affective empathy when sharing painful experiences[J].NeuroImage, 2021.DOI:10.1016/j.neuroimage.2021.118249.
联系我们
回到顶部