Google：个人健康大语言模型和智能体研究利用可穿戴设备数据进行健康监测

移动设备和可穿戴设备（如智能手表和健身追踪器）能够持续、详细和长期地记录个人的生理状态和行为数据。例如： 步数 心率变异性（HRV） 睡眠时长 这些数据可以帮助个人进行健康监测，并激励他们采取健康行为。然而，要利用这些数据来提供个性化的健康建议和洞察是一个复杂的任务。 例如，一个常见的健康问题是“我怎样才能睡得更好？”虽然这个问题看起来很简单，但要为每个人提供定制的回答需要经过一系列复杂的分析步骤，包括： 检查数据的可用性。 计算平均睡眠时长。 识别一段时间内的睡眠模式异常。 将这些发现放在个人的整体健康背景中进行分析。 整合睡眠的群体标准知识。 提供个性化的睡眠改进建议。 解决方案 最近的研究表明，利用Gemini模型的多模态（处理不同类型的数据）和长上下文推理（处理长时间跨度的数据）能力，可以在各种医学任务中实现最先进的表现。然而，这些任务很少使用来自移动设备和可穿戴设备的复杂数据，这些数据对个人健康监测非常重要。 谷歌研究团队提出了两种方法，用大语言模型（LLM）来提供个性化的健康和保健信息。他们的研究重点是通过大语言模型理解和分析个人健康数据，给出准确的健康建议。 第一种方法 ：调整模型以适应个人健康数据 研究人员创建了一种大语言模型PH-LLM，经过专家分析和用户自我报告的数据进行了微调。模型可以理解个人的生理数据，比如睡眠模式、心率等，并基于这些数据给出个性化的健康建议。 简单来说，就是通过调整模型，让它更好地理解和使用个人健康数据，提供针对个人的健康建议。 论文“ Towards a Personal Health Large Language Model ”展示了微调后的大语言模型可以成功地将生理数据用于个人健康任务。 第二种方法 ： 将可穿戴设备数据转化为个人健康见解 另一种方法是使用一种特殊的人工智能代理技术，通过自然语言查询来分析行为健康数据。这个代理可以处理复杂的健康数据，如可穿戴设备（手环、智能手表等）收集的步数、心率等信息，并生成个性化的健康建议。 简单来说，就是通过智能代理技术，分析可穿戴设备的个人的健康数据，并根据这些数据提供个性化的健康建议。 论文“ Transforming Wearable Data into Personal Health Insights Using Large Language Model Agents PHIA，全称Personal Health Insights Agent，是一个利用人工智能技术分析和解读来自可穿戴设备的健康数据的系统。它能够帮助用户回答与健康相关的问题，提供个性化的建议和洞察。 这两种方法相辅相成，一起使用效果更好。旨在帮助人们更好地理解和管理自己的健康数据。它可以通过分析你的健康数据，给出个性化的健康建议。 主要功能 处理健康数据 ： PH-LLM可以处理来自移动设备和可穿戴设备的连续、细粒度的纵向数据，如步数、心率变异性、睡眠时间等。PH-LLM能够 处理、读取和理解 来自移动设备和可穿戴设备（如手机或智能手表等）收集到的健康数据，比如步数、心跳、睡眠时间等。 提供个性化健康建议 ： 模型通过分析个人的健康数据，生成个性化的健康见解和建议。例如，它可以根据一个人的睡眠数据提供改进睡眠质量的建议。 分析时间数据 ： 它能看懂并分析你一段时间内的健康记录，比如每天的运动量和心跳变化，帮助你监控健康状态并激励健康行为。 解释健康数据 ： PH-LLM 能够将个人健康数据置于相关健康领域知识的上下文中，将你的健康数据结合健康知识，告诉你这些数据代表什么，比如为什么你的心跳变化会影响睡眠质量。 和专家媲美 ： PH-LLM通过对专家分析和自我报告结果进行微调，确保模型生成的建议能够与专家级别的推荐相媲美。 举例说明 假设你每天都佩戴智能手环或智能手表，这些设备会记录你的心率、睡眠时间、步数等数据。PH-LLM可以读取这些数据，并结合相关的健康知识，帮助你改善健康状况。以下是它的一些主要功能： 睡眠分析与建议 ： 如果你问：“我怎么才能睡得更好？”PH-LLM 会先检查你最近的睡眠数据，例如你平均每晚的睡眠时间、是否有睡眠中断等。 它会识别出你的睡眠模式，例如你是否在某些时间段睡眠质量较差。 然后，PH-LLM 会结合你的整体健康状况，提供具体的改进建议，比如调整睡觉时间、减少咖啡因摄入、增加运动等。 健身指导 ： 假设你想提高自己的跑步成绩，PH-LLM可以分析你的日常步数、心率变化、锻炼频率等数据。 它会给出个性化的训练建议，比如增加跑步频率、调整跑步速度、添加力量训练等，以帮助你更科学地进行锻炼。 健康趋势监测 ： PH-LLM可以持续监测你的健康数据，发现潜在的问题。例如，如果你的心率长期偏高，PH-LLM会提醒你可能需要注意心脏健康，并建议你咨询医生。 个人健康大语言模型：PH-LLM 个人健康大语言模型 (PH-LLM)是Gemini的微调版本，旨在生成洞察和建议，以改善与睡眠和健身模式相关的个人健康行为。 模型架构 PH-LLM是基于Gemini模型的一个微调版本，专为个人健康数据的分析和解读而设计。 它使用了多模态编码器，可以理解和处理来自不同来源的数据，如文本和传感器数据。例如，它可以同时理解用户描述的健康信息（如“我昨晚睡得不好”）和从智能手表收集到的心率数据。 数据处理 模型能够理解和解释来自可穿戴设备的原始生理数据，并将这些数据用于个性化的健康建议生成。 通过对个人健康数据的多模态编码，PH-LLM可以提供更精准的洞察和建议。 基准数据集 为了系统地评估PH-LLM，研究团队创建并整理了三个基准数据集，测试模型在以下任务中的表现： 生成详细的个性化洞察和建议，基于用户的睡眠模式、身体活动和生理反应。 专家级领域知识。 预测自我报告的睡眠质量评估。 为了评估PH-LLM，我们策划了三个跨长篇教练建议任务、专家领域知识评估和自报告睡眠结果预测的基准数据集。 个案研究 研究团队设计了857个案例研究，来自美国的用户参与了这些案例研究。这些案例展示了PH-LLM在理解、推理和通过文本表示解释时间序列生理数据方面的能力。 结果显示，PH-LLM在健身方面的表现与人类专家无显著差异，而在睡眠建议方面，通过进一步微调，模型的表现接近专家水平。 根据人类专家的评估，微调PH-LLM提高了其生成准确洞察和潜在因果因素的能力。这里我们展示了每个案例研究子部分的平均专家评分（评分越高越好）。在健身方面的表现与人类专家没有统计学差异。 “∗”表示在多重假设检验校正后，两种响应类型之间的统计显著差异。 专家评分 基于专家的评估，PH-LLM在生成准确洞察和预测潜在因果因素方面有显著改进。 PH-LLM 在生成个性化健康建议方面表现接近人类专家水平，特别是在健身领域，模型的表现与专家无显著差异。 例如，模型在睡眠和健身认证考试中的表现分别为79%和88%，超过了人类专家的平均分数（分别为76%和71%）。 自我报告评估 为了预测自我报告的睡眠质量，研究团队训练模型使用经过验证的调查问卷的响应，并结合可穿戴设备的传感器数据进行编码。 通过自动评估方法（AutoEval），PH-LLM 在案例研究响应质量评估中表现出与人类专家相似的评分结果，进一步验证了模型的高效性和可靠性。 H-LLM 通过多模态适配器整合传感器数据，其在预测患者报告的睡眠质量方面显著优于零样本和少样本提示方法。 结果显示，多模态编码比仅使用文本编码在预测自我报告的睡眠质量方面表现更好。 主要功能 1. 个人健康数据的整合与分析 多模式数据处理 ：能够同时处理来自文本和传感器的数据，如用户的健康日志、心率、睡眠数据等。解决了个人健康数据来源多样、格式复杂的问题。 数据融合与理解 ：将不同来源的数据融合在一起，提供综合性的健康分析和建议。这解决了传统方法只能处理单一数据源的局限性。 2. 个性化健康建议的生成 个性化定制 ：通过分析个人健康数据和结合专家知识，生成针对个人的健康建议。解决了传统健康建议缺乏个性化、无法针对个体情况调整的问题。 精确建议 ：PH-LLM能够根据具体的健康数据和历史趋势，提供详细且精确的健康建议，避免了泛泛而谈的健康指导。 3. 健康问题的深度理解与推理 复杂问题解析 ：能够理解和解析复杂的健康问题，如睡眠质量、心率变化等，并提供有针对性的解决方案。解决了用户自己难以解释复杂健康数据的问题。 动态分析 ：能够处理时间序列数据，进行动态分析和推理，帮助用户理解健康状态的变化趋势和潜在问题。 4. 提高健康管理的效率和效果 实时反馈 ：提供即时的健康建议和反馈，帮助用户及时调整健康行为。解决了传统健康管理周期长、反馈慢的问题。 通过多模态传感器数据，PH-LLM 能够预测用户的主观健康体验，如睡眠障碍和睡眠损伤。 专业水平的建议 ：通过整合专家知识，PH-LLM提供的健康建议接近于专业医生的水平，解决了用户在日常生活中难以获得专业健康指导的问题。 5. 自主健康管理的支持 用户友好 ：通过自然语言处理技术，使用户可以用自然语言提问并获得详细的回答。解决了用户在使用健康管理工具时遇到的复杂操作和技术障碍。 可解释性 ：提供的健康建议不仅告诉用户“做什么”，还解释“为什么要这样做”，帮助用户更好地理解和接受健康建议。 实际应用示例 改善睡眠质量 用户描述 ：“我最近总是睡不好。” PH-LLM 分析 ： 分析用户最近的睡眠数据，如睡眠时长、睡眠深度等。 发现用户的深度睡眠时间不足，晚上摄入咖啡因过多。 建议 ： 减少晚上咖啡因摄入，调整睡眠时间，尝试放松练习。 提高运动效果 用户描述 ：“我想提高我的运动效果。” PH-LLM 分析 ： 分析用户的运动数据，如步数、心率变异性等。 发现用户需要增加有氧运动。 建议 ： 每天增加30分钟的有氧运动，并进行力量训练。 将可穿戴数据转化为个人健康见解 第二种方法，一种基于Gemini Ultra 1.0的个人健康见解智能体框架：Personal Health Insights Agent（PHIA）的代理系统。可以分析和解释来自可穿戴设备的行为健康数据的方法。该系统结合了最先进的代码生成和信息检索工具，能够分析并解释可穿戴设备的原始数据，并为健康查询提供个性化解释和建议。 这种结合使智能体能够： 分析可穿戴设备的数据 ：智能体使用Python解释器分析来自可穿戴设备的多维时间序列数据，进行复杂计算并识别趋势。 整合额外的健康知识 ：智能体通过搜索引擎访问知识库，将最新的医学和健康信息纳入其响应。 提供个性化见解 ：智能体通过个人数据、医学知识和特定用户查询进行迭代多步推理，生成量身定制的见解和建议。 研究表明，PHIA可以准确回答超过84%的事实性数值问题和83%以上的众包开放性问题。 [video width="720" height="754" mp4="https://img.xiaohu.ai/2024/06/6月15日.mp4"][/video] 工作原理 多步骤迭代推理 思考阶段 (Thought Stage) : 接收到用户问题后，PHIA会先“思考”如何解决这个问题，制定一个计划。这就像你面对一个复杂问题时，先想一想要怎么做。 行动阶段 (Act Stage) : 然后，它会执行这个计划，比如使用Python编程语言进行数据分析，或者通过网络搜索获取最新的健康信息。 观察阶段 (Observe Stage) : 最后，PHIA会根据行动的结果进行观察，并将这些结果整合到它的回答中。如果需要，它会重新思考并调整计划，直到得出满意的答案。 工具使用 Python数据分析 : PHIA使用Python编程语言来处理和分析可穿戴设备的数据。这些数据通常是表格形式的，比如每天的步数、心率、睡眠时间等。 网络搜索 : PHIA还可以使用Google搜索来查找最新的健康信息。这帮助它在回答问题时提供最新、最权威的建议。 迭代与交互 PHIA不仅仅是一次性地回答问题，它会根据每一步的结果不断调整和优化自己的回答。这种迭代过程确保了最终答案的准确性和个性化。 主要功能 回答具体的数值问题 比如：“我过去7天里有几天步数超过了5000步？” PHIA可以直接从你的数据中提取出准确的答案。 提供个性化建议 比如：“我怎么能睡得更好？” PHIA会分析你的睡眠数据，找出问题所在，并提供具体的改进建议，比如调整睡眠时间、增加运动量等。 健康趋势分析 PHIA可以帮助你查看一段时间内的健康趋势，比如你的心率、步数、睡眠质量是否在改善。这对于制定长期的健康计划非常有用。 比较和对比 比如：“我的睡眠时间和同龄人比怎么样？” PHIA可以将你的数据与健康标准或同龄人进行对比，给出具体的分析结果。 识别异常 PHIA还能识别出健康数据中的异常情况，比如某一天的心率突然升高，提示你可能需要关注自己的健康状况。 举个例子 假设你问PHIA：“我最近怎么能感觉更有精神？” PHIA思考 ：它会先搜索一些关于如何提高精力的建议，比如多运动、保持规律的睡眠等。 PHIA行动 ：然后，它会查看你的睡眠数据，计算出你最近的平均睡眠时间，并找出你是否有很多天的睡眠时间不足。 PHIA观察并回答 ：最后，PHIA会综合这些信息，告诉你“你最近的平均睡眠时间是7.4小时，这在推荐的7-9小时范围内，但有30%的时间你睡眠不足7小时。你可以尝试增加睡眠时间，同时多进行一些户外活动来提高精力。” PHIA评估结果 为了评估智能体的能力，我们策划了两个数据集：一个用于测试智能体在健康查询中的数值准确性，另一个用于通过人工注释评估其在开放性健康查询中的推理和代码质量。 PHIA的评估结果显示它在多个方面表现优异，能够有效地分析和解读个人健康数据。以下是对PHIA评估结果的详细说明： 数值正确性评估 客观健康查询 在第一个数据集“客观健康见解查询”中，智能体在4000个客观个人健康见解查询的数据集中达到了84%的准确率，展示了其处理数值推理和数据分析的能力。 在4000个客观健康查询中，PHIA的准确率达到84%。这意味着在大多数情况下，PHIA能够准确地回答关于用户健康数据的具体数值问题。 相比之下，基于代码生成的基线模型准确率为74%，而仅依靠语言模型进行数值推理的基线模型准确率仅为22%。 开放性问题推理质量评估 在第二个数据集“开放性健康见解查询”中，我们评估了智能体在172个代表性的开放性个人健康查询中的表现，通过人工评估超过6000个模型响应的600多个小时的评估。总体上，智能体在逻辑和推理质量等14个评估轴中的9个方面显著优于非智能体代码生成基线。 在开放性健康查询方面，PHIA的总体推理质量评分为68分（满分100分），显著高于基线模型的52分。 评估维度包括： 相关性 : PHIA能够准确理解并回答用户问题。 解释正确性 : PHIA在解释数据和健康信息方面表现良好。 个性化 : PHIA能够根据用户的具体数据提供个性化的建议。 领域知识整合 : PHIA能够整合相关的健康领域知识，为用户提供权威的建议。 逻辑正确性 : PHIA在推理过程中逻辑清晰且正确。 避免有害内容 : PHIA能够避免提供有害的健康建议。 代码质量评估 专家评估 在代码质量方面，PHIA在避免错误、正确使用数据列和时间范围、以及个性化方面表现突出。 PHIA的代码错误率为19.2%，显著低于基线模型的39.5%。 PHIA的恢复能力也更强，在出现错误时，PHIA能够在11.4%的情况下自行纠正，而基线模型没有此能力。 具体表现 客观健康查询 PHIA能够准确回答大多数具体的健康数据查询，例如“我过去7天里有几天步数超过了5000步？” 开放性健康查询 PHIA在回答开放性问题时，展示了良好的推理能力。例如，“我怎么能睡得更好？” PHIA能够提供综合性的建议，包括调整睡眠时间和增加运动量。 代码生成和恢复 PHIA在生成代码进行数据分析时，能够避免大多数错误，并在出现错误时进行自我修正，这提高了答案的准确性和可靠性。 评估结论 PHIA展示了强大的数据分析和推理能力，尤其在处理复杂的开放性健康问题时表现优异。其迭代推理和工具使用的能力使其能够提供准确且个性化的健康建议，远超传统的基线模型。PHIA不仅在数值正确性上表现出色，还在推理质量和代码生成方面展示了显著优势。 虽然智能体主要关注睡眠和健身数据，但其框架可以扩展到分析更广泛的健康信息，包括医疗记录、营养数据甚至用户提供的日志条目。随着LLM的不断进步，智能体有可能变得越来越复杂，可能为个人健康管理提供更深入的见解和更有效的指导。 结论 这项研究的主要目标是研究可能帮助人们延长寿命和提高健康的特性和能力。睡眠和健身是人口健康的重要组成部分，也是 全球早死的预测因素 。我们在案例研究、个人健康领域知识和睡眠与健身开放性查询中的研究能力，代表了向支持个性化见解和建议的AI模型迈出的重要一步，这些模型使个人能够从自己的健康数据中得出准确和可行的结论。 本文描述的研究是Google Research、Google Health、Google DeepMind和合作团队的共同工作 信息来源： https://research.google/blog/advancing-personal-health-and-wellness-insights-with-ai

Menu

分类目录

Google：个人健康大语言模型和智能体研究利用可穿戴设备数据进行健康监测

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

TurboEdit：基于文本提示实现亚秒级实时图像编辑相比传统方法实现了 6到630倍的速度提升

DeepFaceLive：可以在直播过程和视频通话时进行实时换脸的工具

NVIDIA 发布一款音乐生成模型：Fugatto 可以对声音生成与转换进行精细化控制

ULTRAEDIT：通过多样化的图像编辑指令轻松通过文本任意编辑图像

腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

Upstash Vector：将维基百科索引成1.44亿向量数据构建搜索引擎和RAG机器人

Devin：全球首位AI软件工程师通过了顶尖 AI 公司真实面试，并能完成真正的工作

快手发布“可灵”视频大模型类似Sora技术路线能生成超过120秒 1080P视频

Search4All ：开源的 AI 搜索引擎分分钟打造你的Perplexity AI搜索引擎

Prompt 提示词学习手册：必看⽬录⼿册内容汇总学习地图

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Google：个人健康大语言模型和智能体研究 利用可穿戴设备数据进行健康监测

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Google：个人健康大语言模型和智能体研究利用可穿戴设备数据进行健康监测