基于多模态信息的体质分析与养生饮品推荐项目

本项目紧扣“互联网+医疗”的热点与亚健康人群的痛点，开展了基于多模态信息的智能体质分析与养生饮品推荐项目研究，即对用户的症状信息与舌诊信息进行综合诊断，并推荐相关的饮品信息，呈现在小程序中，为后续的“药膳+”新式养生饮品售卖打下基础。我们与广州中医药大学的团队开展合作，根据合作医院与网络爬虫所搜集到的图片构建舌诊数据集，并请广中医团队对其进行标注，从而完善数据集。同时，我们还运用了图像分割来减少舌头图片中的冗余信息、利用数据增广与处理图片来提高鲁棒性、并运用深度学习技术进行智能舌诊。之后，我们将前期的技术通过小程序来展现，并相应设计了体质分析、汤品推荐、说明帮助、体质记录四大功能模块。在用户进入小程序后，首先可以查看小程序的使用说明。在使用小程序的体质分析功能时，应先选择最近出现的 0-4 种症状，之后在正常的光线下，用摄像头拍摄完整的舌头照片，并对照片裁剪后上传，稍作等待，便可以看到详细的体质诊断结果。返回到主界面后，用户还可以查看到最近一次体质诊断的结果与汤品推荐的信息，从而观察到自己最近的体质变化状况，根据自身情况找到最适合自己的养生汤品来进行调理，从而早日告别亚健康状态。