中医体质是指个体在先天和后天因素的影响下所呈现出的特定体质状态，它是人体的一种生理特征和生理状态，反映了人体的健康状况和疾病易感性^[1]，与人体健康密切相关，中医学说自古以来就格外重视中医体质的研究^[2]。按照个体健康状况，个体的体质通常分为平和或偏颇，偏颇体质又根据不同特征进一步进行细分。平和体质被认为是健康状态，各偏颇体质则是亚健康状态的特征体现^[3]，而亚健康作为一种早期的病理状态，如果不及时采取措施，可能会发展为慢性疾病。中医体质理论寻求建立以“治未病”为基础思想的疾病预防体系，符合《“健康中国2030”规划纲要》所提出的以预防为主，早诊断、早治疗、早康复的健康理念。在此背景下，中医体质理论在疾病预防和健康保健等领域也发挥着越来越重要的作用。通过进行体质辨识，可以掌握和了解个体身体特点和健康状态，制定“因人制宜”的干预措施，从而更好地进行健康管理和疾病预防^[4]，帮助亚健康人群恢复健康。目前，中医体质辨识已被广泛应用于疾病预防^[5-7]，中医体质学在治未病领域发挥着不可替代的作用，而体质辨识结果的正确与否直接影响到对个体健康状态的把握以及后续的健康干预效果。

目前中医体质辨识技术以量表辨识为主，专家辨识为辅，但前者主观性强、耗时长，后者受专家主观因素和经验影响较大，体质辨识技术亟需创新与突破。如今，信息技术的发展使得中医领域每日产生的大量珍贵数据得以保存，为中医大数据的分析和再利用提供了可能，近年急速发展的包含深度学习在内的人工智能技术也在各领域得到了广泛的研究与应用，也为中医体质辨识技术的发展提供了新的方法与思路。本研究立足于中医体质理论，对传统中医体质辨识技术与中医体质辅助辨识技术进行整理与回顾，并基于现有研究，对未来体质辨识技术的发展方向，尤其是基于深度学习和多模态数据融合思想的辨识技术进行探索与展望。

1 传统中医体质辨识技术 1.1 体质量表

中医体质有众多分型。目前，王琦教授的九分法认可度最高，2009年中华中医药学会以该分类法为基础向全国公布了《中医体质分类与判定》，并运用于多个领域，对中医体质辨识具有重大意义。该量表由王琦教授团队基于中医体质理论开发，具有较好的信效度^[8-9]。国内外诸多学者，在该量表的基础上进行了研究与发展。王琦教授团队^[10]于2006年发表文章《中医体质量表的初步编制及其应用》，开启了成人版中医体质量表开发与研究。朱丽冰等^[11-12]通过对国内外体质分类研究现状的梳理，提出《中医体质量表（成人版）》，并论述了修订《中医体质分类与判定》的必要性与可行性。柳璇^[13]在考虑中国老年人文化、社会与价值观等观念的基础上，通过问卷调查等形式，编制了《中医体质量表（老年版）》，该表信效度良好，被纳入国家中医药管理局公共卫生规范服务体系，广泛用于老年人体质测量。在儿童中医体质分类方面，众多学者也进行了广泛对分析与讨论，李竹青^[14]在《中医体质分类与判定》的基础上，编制《王琦九种中医体质量表（0~3岁婴幼儿版）》，信效度表现良好，杨寅^[15]针对7~14岁年龄段的儿童编制《7~14岁儿童中医体质量表》，测试后发现信效度均较高。针对儿童编制的中医体质量表弥补了婴幼儿在中医健康领域进行规范化测评的工具，具有一定的临床意义。

量表法能在一定程度上对人群及个体体质进行量化。《中医体质量表》按照“体质可分”和“体病相关”两个领域进行研究，内容符合中医体质类型特点，适用于自评，条目独立性高，便于操作，信效度较高。目前体质量表广泛用于基层医疗机构与医院，其使用过程中也发现了一些问题。例如量化加权打分形式具有明显的主观性与不确定性，量表结果与专家判断结果不一致，量表形式放弃了望、闻、切三诊，与中医整体性的观点不相符合等问题，这让人们对体质量表的应用产生了疑问与讨论^[16]。

1.2 专家辨识

传统医学重视对病患信息的收集，“望、闻、问、切”四诊是传统医学诊断中的重要技能，在中医诊疗体系中发挥着重要作用。现阶段中医四诊又分为人工四诊和仪器四诊。

传统人工四诊是中医精神与文化的传承，重视医生的诊断经验与诊断技巧，通过语言、观察、经验判断等方式进行体质辨识或疾病诊断，实现“未病先防、既病防变”的目的。但传统中医四诊辨识易受医生理论水平和临床经验影响，缺乏统一、客观、标准的诊断体系。中医四诊仪是运用现代技术，在传统四诊的基础上延伸与发展而来的，四诊仪的发明使中医诊查指标更加客观与规范。但目前通过四诊仪进行体质辨识的技术尚未成熟，设备存在标准不一，质量参差不齐的问题，整体辨识精度也较低^[17]。

2 中医体质辅助辨识技术 2.1 经络检测技术

中医认为经络“行气血，营阴阳”，是人体运行气血、连接身体各部的通道^[18]，经气运行盛衰直接影响人体健康状况，体质则是其外在体现。李甘露等^[19]通过中医体质分类结合经络检测，探究痰湿体质的经络特点，对体能值进行比较，发现痰湿质的体能值平均高于正常范围值。尚世由等^[20]基于中医体质辨识及经络特点进行经络检测，结果显示体质形成与肝、胆、膀胱、小肠、脾、肾、三焦、胃关系紧密，对于经络检测运用可促进中医体质研究客观化，为中医体质辨识及未病诊疗提供依据。

2.2 红外热成像技术

中医诊断中素有“有诸内必形诸外”的思想，红外热成像技术通过对人体皮肤温度的数值与分布进行扫描，提取并分析人体红外信息，是该诊断思想的现实表现。陈淋等^[21]将红外成像特点与中医体质进行对应研究，发现不同体质类型其外皮温分布不同。李洪娟等^[22]对9种体质的人体红外热像图进行分析，认为热态图与中医体质生理病理学表达接近，使用人体热态特征辨别中医体质类型科学可行。

2.3 脑功能

脑信号可即时反应个体在不同环境、心理活动、认知水平与意识状态下脑细胞的神经电生理活动情况，相关学者发现脑功能与中医体质类型辨别具有一定程度的相关性。李旭丰等^[23]发现气郁体质和平和体质人群，其脑部杏仁核区域存在激活区。胡湘等^[24-25]在不同中医体质正常人群睡眠初期脑电信号的研究中发现，不同体质正常人群Ⅱ期睡眠状态下额区脑电活动存在差异，认为脑电信号自相关系数可为中医体质辨识分类提供证明。

2.4 基因组学

基因组学是包含基因功能分析、基因定位等功能的科学。基因组学研究方法具有“整体效应”，这与中医整体观不谋而合^[26]。李玲孺等^[27]比较痰湿、平和质外周血单个核细胞全基因表达基因谱，差异显著，证明外周血全基因组表达谱可作为区分痰湿、平和质的诊断依据。中医体质理论学说表明体质决定了疾病和证候类型的发展趋势，运用基因检测，有利于准确认识疾病倾向性^[28]。

2.5 代谢组学

中医体质学认为不同因素导致的机体失调等病理变化会影响个体体质，其体内代谢物也因此改变，不同体质类型的代谢产物有不同的体质特征^[29]。张峰玮等^[30]研究发现不同体质人群的代谢谱具有差异，不同体质特异性代谢产物可用于体质评估。刘飞等^[31]通过检测并比较不同体质间血浆代谢物差异，发现平和、阳虚体质不仅存在代谢方面的差异，也存在神经递质、脏腑功能的改变，代谢组学可为疾病提供体质方面代谢物异常的证据。

2.6 人工智能技术

近年来，人工智能技术发展迅猛，其中深度学习以其强学习能力、泛应用性和高准确性使其成为当前主流，深度学习算法和医学人工智能的核心技术，为中医体质辨识的自动化、高效化提供了可能。目前基于深度学习的体质辨识研究主要围绕舌象与面象的两个模态的数据展开。

舌诊是临床上中医四诊的重要组成部分，脏腑精气可上荣于舌，气血盛衰皆可反映于舌，因此，舌象可成为中医体质辨识的依据^[32]。胡继礼等^[33]基于Inception-v3构建体质分类模型，该模型对九种体质类型进行分类，取得了较高的识别率。周浩等^[34]基于Alexnet网络对舌象进行深度特征融合，对气虚、痰湿、湿热3种体质进行分类，准确率较之传统分类方法有很大提升。Ma等^[35]在卷积神经网络的基础上，构建了复杂感知分类模型，对九种体质进行辨识，提高了识别的准确率。

面诊属于四诊中的望诊，医生通过观察面部色泽把握五脏六腑的健康情况。Huan等^[36]基于面部数据集，通过迁移学习训练DenseNet-169，并结合VGG-16、Inception V3、DenseNet-121进行集成学习，在测试数据集上的准确率达到69.61%。

3 基于深度学习的多模态中医体质辨识技术探索

模态是指事物存在和表达的方式，相同模态的数据具有相同的表达形式，不同模态的数据表达形式则不同。目前，深度学习领域内的研究主要以单模态为主，然而单模态数据往往不能包含进行预测所需的所有有效信息。多模态学习就是将不同表达形式的数据同时输入，在提取各单个模态数据独有特征的基础上，利用模态间数据特征的互补性，降低冗余信息的干扰，保留并整合有效信息，实现多模态信息融合，提升模型的决策性能^[37]。对于中医体质而言，不同体质类型的宏观特征主要表现于面象、舌象的色泽状态以及脉象的变化起伏，此外还反映于饮食、二便以及精神状态等，不同模态数据间的关联性以及为体质辨识提供决策的协同效应值得探索与挖掘。本研究所介绍的多模态融合所采用的数据模态以舌象诊、面诊和脉诊数据为例。根据融合位置不同，多模态数据主要有数据层、特征层、决策层3种融合方式。

数据层融合是将面象、舌象和脉诊数据融合后输入到模型进行训练，通过卷积等操作提取特征最后输出体质分类结果，见图 1。但由于不同模态的数据呈现形式不同，通常在融合前要将数据进行预处理。数据层融合方式由于不需要对模型做额外调整，可直接使用现有单模态模型对数据进行训练，实现较为容易，但融合的数据集里包含了大量的冗余信息，也不能充分利用不同模态数据集间的互补信息，在预测阶段得到的精确度往往也较低，因此这种融合方式的适用范围最窄。

特征层融合首先将面象、舌象、脉诊数据分别输入到模型，在模型前期提取各模态数据的原始特征，在模型中期进行融合，在后期提取决策所需的融合特征，最后输出体质分类结果，见图 2。特征层融合往往需要对模型作出较大调整，因此实现起来较为困难，但这种融合方式既可以保留不同模态的原始信息，又可以有效降低冗余，充分利用了模态间的互补性，同时又可以在模型内部灵活地选择融合位置，因此是目前研究者所采用的主流方案。

决策层融合是对面象、舌象和脉诊数据单独进行训练、特征提取和结果输出，再对各模态数据对应的分类结果进行融合决策，类似于多个单模态分类模型的集成，见图 3。决策层主要的融合方法有平均值法、最大值法等。由于决策层融合不涉及特征融合，因此在对模态间相关性较差的数据集进行决策融合时往往能较大提升模型的准确性和鲁棒性。

以临床中医医生用经验来判定和通过填写体质量表来鉴别体质类别的辨识方法具有其无法规避的弊端和局限性，急需规范化、程序化、简便化；此外，中医体质辨识在经络检测、红外热成像、脑功能、基因组学、代谢组学等其他领域也有相关研究，但都以相关性研究为主，没有形成较为成熟的辨识方法与体系，近年来人工智能技术包括深度学习的发展为解决上述问题提供可能。现有针对体质辨识的深度学习技术研究主要以单模态为基础，不同模态间的联系具有很大的潜在价值有待研究挖掘，多模态深度学习技术的兴起也给了其在中医体质辨识领域发挥作用的启发与可能。可供中医体质辨识的数据类型多种多样，满足多模态“多”的特点；医疗信息化的快速发展让海量数据变得易于管理和分析，为机器学习包括深度学习提供了数据支撑。中医注重整体，综合多种模态进行体质辨识是其提升与发展的方向，这就要求对不同模态数据进行全面整合，精准定位不同模态之间联系，规避数据冗余带来的负面影响，基于深度学习对大数据进行多角度、多层次的分析，构建多模态中医体质辨识模型，提高其辨识的准确性、规范性、科学性，推动中医体质学进一步发展。