多模态手环与计算套件
实验室建设 > 核心产品 > 多模态手环与计算套件

系统介绍

  • 一款用于群体情绪状态监测与分析的科研产品

  • 支持多种生理信号和行为数据的同步采集，支持自动、手动标记实验过程中的特定事件

  • 实验结束后数据将自动同步到云端，科研人员可下载原始数据和特征数据，并进行情绪状态、心理压力、疲劳水平、认知负荷等心理状态的分析与评估

  • 与多个标准科研设备（Biopac, Polar, Shimmer）进行过对比，数据一致性达 0.95 以上

产品优势

结合超扫描技术（Hyper-Scanning），可在多人同时参与社会互动过程中进行同步数据采集，通过不同个体会表现出相对一致性的变化，探究社会互动的生理和行为机制
结合经验取样法(ESM/EMA)，可在多个时间点反复收集个体的瞬时反应，通过捕捉这些即 时性数据，精准测量个体的日常行为和情绪体验，具有较高的生态效度
提供丰富的具有先验知识的特征指标的自动计算，支持原始数据和特征数据的批量下载，支持原始数据和特征数据的实时对接
集成一体化设计、体积小巧、方便携带，适用于缺网、缺电、高噪等极端作业环境下使用。支持局域网本地化部署，保障数据传输和存储安全

产品构成

“多模态人因感知终端” 支持脉搏、皮肤电阻、皮肤温度、运动加速度、角速度等生理和行为数据，以及环境数据的采集，并将数据传输到“边缘计算终端”
“边缘计算终端” 实时接收“多模态人因感知终端”的原始数据，实时对数据进行预处理与特征计算，并将原始数据与计算后的特征数据传输至“科研云平台”
“实验操作端” 实时监控“边缘计算终端”的设备电量与网络连接状态，支持实验过程中关键事件的同步标记，并将标记数据传输至“科研云平台”
科研人员登录“科研云平台”下载原始数据，特征数据与事件标记，或提交定制化数据分析需求，对原始数据进行定制化数据处理与特征提取分析

适用场景1: 实验室

  • 适用场景：实验室，与其它科研设备同步使用

  • 产品标配：人因感知终端 + 边缘计算终端 + 实验操作端 + 科研云平台

  • 可选配项：特征数据服务、API接口服务、数据实时监控平台

贴片式心电记录仪
生命体征+心理状态的同步采集
睡眠体动监测仪
补充人体振动体征数据的同步采集
摄像头
补充面部表情和运动姿态同步采集
指环式血氧仪
心率变异性+血氧的同步采集
运动心率带
剧烈运动下抗运动伪迹效果更好

  • 可定制功能：可同步接入贴片式心电记录仪、睡眠体动监测仪、运动心率带、指环式血氧仪、摄像头等多种可穿戴设备，丰富实验场景，提供更多维度的数据交叉验证

适用场景2：经验取样

  • 适用场景：在个体惯常所处的情境下，收集其在多个时间点的瞬时反应

  • 产品标配：人因感知终端 + 经验采样App（用户自有手机） + 科研云平台

  • 可选配项：边缘计算终端、特征数据服务、API接口服务

主要软件功能

  • 支持问卷的自动推送，计算并上传问卷的得分

  • 支持语音的录制

  • 支持日常生活事件的设置及主动标记

  • 可定制项：可定制问卷内容，采集各类手机交互行为

适用场景3：群体采集

  • 适用场景：多人同时参与一个活动时（如上课、训练），同步采集多人数据

  • 产品标配：人因感知终端×N + 边缘计算终端×N + 实验操作端×1 + 科研云平台

  • 可选配项：特征数据服务、API接口服务、数据实时监控平台、装备保障箱（设备收纳和批量充电）、移动数据工作站

硬件构成

多模态人因数据感知终端PTES100
边缘计算终端 PTEC100
实验操作端 PTEM150
人因感知与计算装备保障箱

多模态人因数据感知终端PTES100

基本参数
手环尺寸

  • 终端：48.5 × 36.5 ×14 mm

  • 腕带：25 ×260 mm

  • 重量：约20 g

电池性能

  • 实时传输模式 48 小时

  • 一次充电时长 2 小时

传感器参数
脉搏波 PPG

  • 采样频率 100Hz

  • 1个绿色LED，1个红色/红外LED

  • 3个光电二极管

皮肤电阻 EDA

  • 采样频率 4Hz

  • 交流激励源频率 24Hz

  • 测量范围 0.01~100μS

皮肤温度

  • 采样频率 1Hz

  • 测量范围 0~50°C

  • 测量精度 ±1°C

加速度 / 陀螺仪

  • 采样频率 20Hz

  • XYZ 三轴加速度测量范围 ±2~±16g

  • XYZ 三轴角速度测量范围 ±250~±2000dps

多环境传感器

  • 温度采样频率 1Hz，测量范围 -20~65℃

  • 湿度采样频率 1Hz，测量范围 0~100％

  • 气压采样频率 1Hz，测量范围 300~1100hPa

边缘计算终端PTEC100

基本参数
产品尺寸

  • 118 × 59.5 × 22.5 mm

内存

  • 4GB+64GB

电池容量

  • 3700 mAh

BLE

  • 5.3LE

摄像头

  • 前 800 万 | 后 1600 万

充电时长

  • 3 小时

防水等级

  • IP68三防认证

工作温度

  • -35℃ - 70℃

实验操作端PTEM150

基本参数
摄像头

  • 前 800 万 | 后 800 万

屏幕尺寸

  • 11英寸

蓝牙

  • BT 5.1

电池容量

  • 7000 mAh

连接

  • 双频 Wi-Fi

接口

  • USB 2.0

系统内存

  • 6G

存储容量

  • 128GB

人因感知与计算装备保障箱

基本参数
材质

  • pp材质

外观颜色

  • 黑色

箱体结构配件

  • 铝板/ 3D 面板等

电源规格

  • 12V 10A 桌面电源

输入规格

  • USB3.0Type-A

输出规格

  • 5V 2.1A

软件构成

01

多模态数据采集助手

  • 设备绑定：对边缘计算终端与多模态人因感知终端进行绑定

  • 设备状态：记录人因感知终端的连接状态、采集时长、蓝牙信号强度

  • 数据监控：针对脉搏、皮肤电阻、运动加速度、皮温等数据的实时监控

  • 数据分析：可实时对多种生理和行为数据进行预处理与特征计算

02

经验采样

支持问卷自动推送和采集

支持录音、视频的采集

支持手机使用情况的采集

支持定时采集闹钟设定

支持日常生活事件的设置及主动标记

03

实验操作端

  • 实验控制：支持采集设备的结束控制

  • 设备监控：实时查看设备电量、采集状态、采集时长的监控

  • 场景维护：支持实验场景的维护，可修改实验名称及事件标记名称

  • 主动事件标记：实验过程中支持对设备进行主动标记，以及标记点的查看与编辑

  • 自动事件标记：提供 Python 、Matlab、Eprime 程序的API 接口

04

科研云平台

默认公网环境使用
移动数据工作站-支持局域网本地部署

  • 用户验证：不同实验员拥有独立账户，保证数据隔离

  • 设备查看：支持管理员名下设备的查看

  • 数据下载：支持多种生理和行为原始数据的批量下载

  • 特征分析：支持不少于80种对情绪状态敏感的先验特征的计算和批量下载

  • 自动事件标记：提供 Python 、Matlab、Eprime 程序的API 接口

可定制项：支持外接设备采集的脑电、眼动轨迹、外周生理数据的批量下载，支持经验采样APP采集的问卷、录音、手机使用数据的批量下载
05

科研智能云监控平台

  • 设备监控：设备电量、连接状态、采集时长、蓝牙信号强度

  • 原始数据：脉搏波、皮肤电阻、加速度、角速度等

  • 先验特征：心率、心率变异性、皮肤电导水平、电导反应、生命体征等

  • 事件标记：事件标记类型、标记时间

数据增值服务

先验特征计算

支持心率、心率变异性（如时域特征SDNN、RMSSD、N20、N50、PN20、PN50、频域特征PSD_HF、PSD_LF）、皮肤电导水平（SCL）和皮肤电导反应（SCR）的统计特征（如均值、方差、上升时间、幅度、一阶差分、二阶差分），以及皮肤电活动的高频和低频功率谱密度等80 多种对情绪状态、心理压力、认知负荷敏感的 先验特征的自动计算
脉搏与皮肤电特征提取方法，可参考下列文献
脉搏与皮肤电特征提取方法，可参考下列文献

  • Zhang, Y., Zhao, G., Ge, Y., Shu, Y., Zhang, D., Liu, Y., & Sun, X. (2021). CPED: A Chinese Positive Emotion Database for Emotion Elicitation and Analysis. IEEE Transactions on Affective Computing, 14(2): 1417-1430.

  • Shu, Y., Yang, P., Liu, N., Zhang, S., Zhao, G., & Liu, Y. (2022). Emotion Distribution Learning based on Peripheral Physiological Signals. IEEE Transactions on Affective Computing, 14(3): 2470-2483.

  • Posada-Quintero, H. F., & Chon, K. H. (2020). Innovations in Electrodermal Activity Data Collection and Signal Processing: A systematic Review. Sensors, 20(2): 479, https://doi.org/10.3390/s20020479.

  • Shukla, J., Barreda-Angeles, M., Oliver, J., Nandi, G. C., & Puig, D. (2019). Feature Extraction and Selection for Emotion Recognition from Electrodermal Activity. IEEE Transactions on Affective Computing, 12(4): 857-869.

  • Rajendra Acharya, U., Paul Joseph, K., Kannathal, N., Lim, C. M., & Suri, J. S. (2006). Heart Rate Variability: A Review. Medical and biological engineering and computing, 44, 1031-1051, https://doi.org/10.1007/s11517-006-0119-0.

  • Zhang, X., Lyu, Y., Qu, T., Qiu, P., Luo, X., Zhang, J., Fan, S., & Shi, Y. (2019). Photoplethysmogram-based Cognitive Load Assessment Using Multi-Feature Fusion Model.ACM Transactions on Applied Perception, 16(4): 1-17.

提供API接口服务，支持二次定制开发

原始数据接口：脉搏、皮肤电阻、加速度、角速度、温度、湿度、大气压等原始数据的实时对接
特征数据接口：80+先验特征的实时对接
事件打点接口：通过外部程序以时间戳为标记点对采集的原始数据进行事件标记
接口调用支持语言：C、Java、Python、Matlab、 PHP、C#

应用方向

教育技术中的课堂
设计与评估

人居环境设计与
环境行为

精神与躯体障碍
早期识别

驾驶行为与交通安全

运动心理与康复

军事训练与效能评估

工业设计与用户体验

人际协同与社会互动

安全应急管理

智能控制与交互

教育技术中的课堂
设计与评估

人居环境设计与
环境行为

精神与躯体障碍
早期识别

驾驶行为与交通安全

运动心理与康复

军事训练与效能评估

工业设计与用户体验

人际协同与社会互动

安全应急管理

智能控制与交互

案例介绍

高生态效度 —— 贴合自然场景，数据采集成本低，评估客观高效，研究结果具有更高生态效度。
1
通过生理反应同步表现评估师生情绪一致性
本研究以真实的课堂为场景，探索了依据生理指标评估人际情绪一致性的新方式。
课前，研究人员为教师与学生佩戴便携式手环，用于收集他们在上课过程中的脉搏和皮肤电阻数据；采用“跟读”范式，教师在课堂上朗诵诗歌，每读完一句，学生们模仿教师的情感进行跟读；课后，请师生对其主观情绪体验做出评价。
研究结果发现，师生之间的共同情绪，以及他们对彼此的情感感知，可以通过他们生理反应的同步性来体现。
Reference
Qi, H., W, Y., & Zhao, G. (2024). How dyadic emotional transmission shapes teacher-student relationship: effects of emotional convergence on cohesion in teacher-student interaction. Current Psychology, 10.1007/s12144-024-06089-z.
2
多模态数据分析老年人对居住环境的压力感受
本研究依据老年人在户外散步时的多种生理信号评估压力，结合实时位置与环境信息，探讨街道环境对老年人活动的影响。
研究者邀请10名65岁以上的老人散步，第一次散步佩戴智能手环，实时记录皮肤电导反应与脉搏特征、位置、环境数据；第二次散步不戴手环，需要老人在散步时说出压力感受；使用多模态数据创建模型、生成压力热点图。
研究者创建的模型对老人在真实场景中压力状态及程度的识别准确率分别为 98.13% 和 98.25%；借助热点图可找出阻碍老人活动的地点、环境设施。
Reference
Torku, A., Chan, A., Yung, E., & Seo, J. (2022). Detecting stressful older adults-environment interactions to improve neighborhood mobility: A multimodal physiological sensing, machine learning, and risk hotspot analysis-based approach. Building and Environment, 224: 109533.
3
中科院心理所抑郁症长期追踪项目“心花计划”
国内首个针对抑郁症的追踪研究，涵盖抑郁症患者和亚临床抑郁状态两个群体。
借助可穿戴设备与智能硬件，建立反刍思维、自发思维、脉搏、皮肤电、运动水平、睡眠质量、手机交互行为和脑功能影像学的多维度指标体系，建立抑郁症早期识别与预警系统。
开展移空疗法、音乐治疗、正念生活小组等多种形式的心理干预技术研究，形成可操作化的抑郁症预防方案，提出用于验证心理干预效果的过程化、个性化评价方法。
Reference
更多项目介绍和进展，详见：http://ibcdr.psych.ac.cn/MindFlower 已通过中国临床试验注册，注册号：ChiCTR2200060396
4
驾驶过程中驾驶员心理压力识别研究
本研究提出了一种在真实驾驶过程中对驾驶员心理压力进行分类识别的算法模型。
本研究采用 MIT-BIH 数据集，通过可穿戴设备收集了 17 名驾驶员在实际驾驶过程中的心电、皮肤电阻、心率、肌电等多种生理数据。
研究人员对这些生理数据进行了预处理、特征提取等一系列规范化处理后，对结果进行了统计检验。结果表明，驾驶员在驾驶过程中的压力水平分成三个等级时，各个压力等级之间存在显著差异；众多生理特征中，从驾驶员脚部采集的皮肤电阻特征区分驾驶员压力的准确率最高。
Reference
Memar, M., & Mokaribolhassan, A. (2021). Stress level classification using statistical analysis of skin conductance signal while driving. SN Applied Sciences, 3, 64, DOI: 10.1007/s42452-020-04134-7.
5
使用可穿戴式传感器检测射箭运动员心率与呼吸率
本研究提出一项新型智能纺织品（ 使用柔性材料制作的传感器 ），通过呼吸与心跳引起的胸壁偏移测量运动员在射箭期间的呼吸频率与心率。
研究者首先邀请 9 名参与者，穿戴智能纺织品、佩戴脉搏波传感器，在其进行模拟射箭和静态呼吸时采集呼吸率与心率，使用脉搏波传感器数据验证智能纺织品采集数据的准确性。随后邀请 2 名专业运动员在 5 分钟内完成 6 次射击，同时使用智能纺织品记录其呼吸频率与心率。
结果表明，使用该传感器检测呼吸频率，误差小于 1.97%，检测心率，误差小于 5.74%；通过呼吸频率和心率可有效识别运动员的射箭动作。
Reference
Lo Presti, D., Romano, C., Massaroni, C., D’Abbraccio, J., Massari, L., Caponero, M., et al. (2019). Cardio-Respiratory Monitoring in Archery Using a Smart Textile Based on Flexible Fiber Bragg Grating Sensors. Sensors, 19(16): 3581.
6
急性心理应激适应性训练与训练效果评估研究
本研究通过虚拟现实技术，搭建能够有效诱发个体高应激反应的VR场景，研究个体在应激适应训练期间的生理心理反应。
研究者邀请 44 名健康的男性大学生与 12 名男性飞行学员，要求他们佩戴VR装置，在虚拟高空场景中完成多个工作记忆任务。使用手环记录其实时心率，并收集唾液皮质醇和主观体验报告(压力水平、积极/消极情绪)，以评估应激对其执行功能的影响。
结果表明，本研究创建的方法可有效诱发两组参与者的急性应激反应，适应性训练可显著降低应激对工作记忆绩效的影响。
Reference
汪杼彬. (2020). 一种基于高空虚拟现实的应激诱发新范式——有效性研究及其对工作记忆的影响，中国科学院大学，硕士论文.
7
使用多模态数据评估手机游戏玩家的参与度
本研究设计了基于实时生理与行为特征评估玩家游戏参与度的多模态信号采集系统，包含生理信号传感器、智能手机传感器、深度摄像头。
研究者邀请 64 名玩家使用手机玩三类游戏(运动类、竞速类、益智类)，并实时记录玩家的脉搏波、皮肤电阻、触屏动作、头部位置等信息。该系统将实时数据分到多个预定处理窗口，对各窗口进行特征提取和分类，最后聚合多个窗口的分类结果输出最终的游戏沉浸感(低、中、高)。
研究创建的模型评估个体玩家参与度的平均准确性达85%，评估不同类型游戏参与度的平均准确性达77%。
Reference
Huynh, S., Kim, S., Ko, J., Balan, R., & Lee, Y. (2018). EngageMon: Multi-modal engagement sensing for mobile games. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2(1), 13: 1-27.
8
使用生理与行为表现预测团队一致性
本研究设计了群体击鼓任务，用于探究行为与生理信号的同步性对团队一致性、团队表现的影响。
参与者被分成51个组，每组3人，跟随听到的节奏击鼓。一半小组听到的节奏固定，可预测击鼓时机，组内成员行为同步性较高；另一半小组听到的节奏持续变化，行为同步性较低。期间持续采集参与者的心电活动，击鼓结束后记录参与者对行为同步性的主观评价。
同步击鼓任务可提升团队成员生理信号同步性，表现出相近的心跳间隔；同步的生理信号与行为可以预测个体对团队凝聚力的主观感受。
Reference
Gordon, I., Gilboa, A., Cohen, S., Milstein, N., Haimovich, N., Pinhasi, S., & Siegman, S. (2020). Physiological and Behavioral Synchrony Predict Group Cohesion and Performance. Scientific Reports, 10: 8484.
9
探索消防员在模拟火灾环境中的生理反应和安全性
本研究在不同的热环境中，研究不同消防人员训练的生理负担，以检查每消防员和消防教官在不同火灾环境中的核心温度和心率反应。
研究包括24名消防员和10名消防教官，实时记录核心温度，心率数据，在三种不同的模拟火灾环境中参加了训练，这些训练通常用于模拟住宅结构的消防训练。
研究发现尽管环境条件存在很大差异，但训练环境中消防员的峰值核心温度、心率在统计学上没有差异。尽管核心温度峰值相似，但与消防员相比，消防教官的心率明显减弱，表明教官的工作量较少或压力较小。
Reference
Horn, G. P., Stewart, J. W., Kesler, R. M., DeBlois, J. P., Kerber, S., Fent, K. W., ... & Smith, D. L. (2019). Firefighter and fire instructor’s physiological responses and safety in various training fire environments. Safety Science, 116, 287-294.

服务客户

中科院心理所
中科院计算所
中科院自动化所
中科院软件所
中科院苏州医工所
北京体科所
之江实验室
海军特色医学中心
空军特色医学中心
新疆政法大学
清华大学
浙江大学
浙江师范
山东大学
西南交通大学
首都师范大学
人民大学
北京建筑大学
政法大学
天津大学
西南大学
武汉理工
华中师范
华东理工
华南师范
华南农业大学
第四军医大学
第二军医大学
海军工程大学
海军航空大学
天坛医院
安定医院
回龙观医院
北医六院
空军总医院
民航第二研究所
中山大学第三附属医院
航空工业301所
中国试飞院
中国航天员中心
中船第719研究所
中电科15所
京东商城

京东商城

 科学原理

科学原理
联系我们

联系我们

您可以通过以下方式联系我们

  • phone 电话: 010-84249496
  • email 电子邮件: zkxy@zkpsych.com
  • wechat 联系我们:
联系我们
回到顶部

回到顶部

close

您可以通过以下方式联系我们

联系我们