多模态数据同步采集与分析系统

系统介绍

目前已接入 30 多款设备,实现脑电、近红外、心电、肌电、脉搏、皮肤电、眼动轨迹、面部表情、语音、姿态等 10 多种数据的同步采集和事件标记。实验过程中的关键事件(如开始/停止播放视频、刺激呈现、用户反馈)自动与多模态数据进行时间同步。系统同时提供基于Eprime、Matlab、Pyhton、 Java、C、C#、C++等程序的打点事件交互接口,实现第三方自动打点。数据分析支持各类电生理信号、视音频数据的预处理和特征提取,构建具有先验知识的多模态指标体系。同时可以接入第三方绩效与环境数据。

核心价值

  • 设备接入灵活

    基于科研仪器SDK的深度接入,实现多设备同步控制、采集与打点。支持自有设备、任务、事件API的个性化接入

  • 完全自主知识产权

    中国科学院心理研究所科研转化成果,支持 30 多款国外主流科研设备以及国产化脑电、眼动仪等采集设备的接入

  • 专业数据分析培训

    由中国科学院心理研究所组织国内相关领域专家,开办面向电生理信号、眼动轨迹等多模态数据分析的培训课程与技术指导

实验管理

实验管理模块主要用于实验前主试对实验设备、关键打点信息进行配置维护。在此模块主试可新增实验(自定义实验名称)、选择所需的采集设备并设置采样率、自定义手动打点事件名称和数量,管理和编辑实验。

同步采集

实验中主试对设备运行状态、 数据异常情况、被试状态进行实时监控。

在此模块主试可以创建被试,选择预先创建的实验并开始。在同步采集界面可以查看设备搜索与连接、采集状态,支持采集前的数据预览,采集支持独立的开启和结束,方便主试调试,确保设备佩戴到位。采集过程支持数据监控、手动与自动事件标记(刺激呈现系统的任务打点和第三方接口打点)。

数据管理

数据管理模块提供原始数据、特征数据、打点数据的导出、导入。数据记录以列表形式展示,可根据实验名称、被试ID、采集时间、是否含有效数据等方式进行快速筛选,找到目标实验与目标数据。

数据导出

用户可选择同一实验的多条数据批量导出,并且导出的所有设备数据会与打点事件同步融合。导出时可自定义导出文件名称。

脑电、眼动等不同模态的数据共用一个时间轴,确保时间同步准确
数据分析示例_情绪

脑电数据分析参数支持定义

  • 滤波降噪、重参考

  • 独立成分分析(去除眼电、头动等伪迹)

  • 事件相关电位分析(ERPs)

  • 功率谱密度/能量分析

  • 功能连接分析、多人脑电联合分析

眼动数据分析结果义AOI坐标区域定义

  • 融合打点时间

  • 输出含预设特征指标的数据文件

  • 眼动热区图

  • 眼动扫视轨迹图

数据分析示例_认知负荷

开发数据接口

  • 外部打点事件接口

    便于其他平台将业务需要的打点事件同步到本系统中,用于给本系统采集的设备数据做好事件标记

  • 外部绩效数据接口

    支持类似模拟器等训练平台上的训练绩效数据上传到本系统,实现绩效数据的融合采集与分析

  • 多模态原始数据接口

    以标准API方式实时输出所有采集的原始数据到第三方平台

  • 打点事件数据

    以标准API方式实时输出所有打点事件数据到第三方平台

科学原理

科学原理

联系我们

联系我们

您可以通过以下方式联系我们

  • phone 电话: 010-84249496
  • email 电子邮件: zkxy@zkpsych.com
  • wechat 联系我们:
联系我们
回到顶部

回到顶部

close

您可以通过以下方式联系我们

  • phone 电话: 010-84249496
  • email 电子邮件: zkxy@zkpsych.com
  • wechat 联系我们:
联系我们