SuperAnimal：能够自动检测和分析动物的运动行为的模型

SuperAnimal是由洛桑联邦理工学院（EPFL）团队开发的一种革命性深度学习模型。这个工具是一个开源的姿态分析工具，专门用于行为表型分析， 能够自动检测和分析动物的运动行为。 帮助人们深入了解动物的健康状况和动机。这一 "基础模型 "将彻底改变动物保护、生物医学和神经科学研究。 DeepLabCut ：DeepLabCut是一个开源的、基于深度学习的动物姿态估计工具，能够在多种环境中对不同动物的姿态进行高精度的估计。它主要依赖于卷积神经网络（CNN）和转移学习技术，能够在少量标注数据的情况下实现高精度的姿态估计。 SuperAnimal ：SuperAnimal在DeepLabCut的基础上，继承了其核心技术，包括卷积神经网络（如HRNet和DLCRNet）和转移学习方法。同时，SuperAnimal利用了DeepLabCut的开源代码库和模型架构，作为其发展的基础。 主要解决什么问题？ 数据标注效率低下： 在行为分析中，动物姿态估计需要大量的人工标注工作来定义关键点。现有的方法即使数据效率高，也仍然需要用户进行大量标注工作。SuperAnimal方法通过构建统一的预训练模型，减少了对手动标注的依赖，提高了数据标注效率。 数据集不统一： 不同实验室和数据集的标注方式和命名方式不同，导致数据难以整合。SuperAnimal方法通过统一关键点空间和语义映射，解决了数据集之间的语义和标注偏差问题，使得不同数据集的数据能够有效合并和使用。 模型泛化能力差： 现有的姿态估计模型在不同物种和环境下的泛化能力有限。SuperAnimal通过训练跨越多种物种和环境的统一模型，实现了在未见过的数据集上的卓越零样本性能，显著提高了模型的泛化能力。 高昂的训练成本： 训练高性能的姿态估计模型需要大量的计算资源和数据。SuperAnimal方法在低数据条件下表现出色，比现有方法更加高效，减少了训练成本。 视频分析中的抖动和适应性差： 在视频分析中，现有模型可能会出现预测抖动，并且难以适应不同的视频分布。SuperAnimal提供了一种无监督的视频适配方法，通过伪标签和关键点匹配算法，减少了预测抖动，提高了视频分析的准确性和适应性。 功能特点 自动化行为分析： 关键点识别 ：SuperAnimal能够自动识别和跟踪超过45种动物（包括一些虚构动物）的关键点（关节）运动，而无需人工注释。这大大减少了人为干预，提高了行为分析的效率和准确性。 姿态分析 ：通过识别和跟踪这些关键点，SuperAnimal可以进行详细的姿态分析，从而理解动物的行为模式。 消除观察者偏见： 传统的动物行为分析依赖于人为观察，容易引入偏见和不一致性。SuperAnimal通过自动化分析，提供了客观、标准化的数据，消除了观察者偏见。 提高数据一致性： 预训练 ：SuperAnimal利用大量来自不同数据库的注释进行预训练，学习统一的语言。这使得模型能够高效地处理各种动物的数据。 SuperAnimal使用预训练的基础模型，统一了来自不同数据库的注释语言，使标签10到100倍更高效。这种标准化过程减少了重复的标注工作，提高了数据的一致性。 多领域应用 兽医学 ：帮助兽医监测动物健康，及早发现疾病迹象，改善动物福利。 生物医学研究 ：提高实验的准确性和数据可靠性，减少人为错误，从而推动科学研究的发展。 动物保护 ：帮助研究人员分析濒危物种的行为，制定更有效的保护策略。 农业 ：帮助农民监控牲畜，改进饲养和管理，提高生产力和动物福利。 神经科学 ：用于研究动物模型，理解大脑功能和行为，有助于神经科学研究。 体育科学 ：分析动物的运动表现，改进训练方法，提高运动表现。 精确行为表型分析 行为模式检测 ：通过自动化的运动检测，SuperAnimal能够识别和分析动物的行为模式，如觅食、交配、育儿、社交互动等。 情绪解码 ：通过分析动物的运动，SuperAnimal能够解码其情绪和健康状态，提供更深层次的行为洞察。 零样本能力和离线分析 ： 零样本和微调性能： SuperAnimal模型在零样本（未见过的数据集）和微调（少量标注数据）情况下，均表现出色。这使得它在新的数据集或实验设置中能够快速适应，提供准确的分析结果。 SuperAnimal提供了无监督的视频适配方法，可以在没有标注数据的情况下，自动适应视频数据，减少视频中的抖动，提高视频分析的平滑度和准确性。 行为模式检测 ：通过自动化的运动检测，SuperAnimal能够识别和分析动物的行为模式，如觅食、交配、育儿、社交互动等。 应用实例 实验室研究 ：在实验室中，SuperAnimal可以监控实验动物（如小鼠）的行为，减少人为干预，提高实验数据的精确性。 野外研究 ：在野外，研究人员可以使用SuperAnimal分析动物的自然行为，帮助保护濒危物种。 农业监控 ：农民可以使用SuperAnimal监控牲畜的健康和行为，及时发现问题，提高生产力和动物福利。 技术方法和模型架构 1. 数据集和数据预处理 数据集 ： TopViewMouse-5K ：包括约5000张图像，来自13个实验室小鼠数据集。 Quadruped-80K ：包含80,000张图像，涵盖45种以上物种的数据。 数据预处理 ： 关键点匹配算法 ：用于自动对齐不同标注的数据集，解决了不同数据集之间标注不一致的问题。 空间金字塔搜索方法 ：在推理时处理动物大小变化，提高模型的泛化能力。 数据转换和统一： 为了统一不同数据集的标注格式和关键点定义，使用通用数据转换器对数据进行处理，具体步骤包括： 手工映射转换 ：检查各数据集的标注名称和语义，建立统一的关键点命名映射表。 词汇投影 ：将各数据集的关键点投影到统一的关键点空间中，使其成为一个超级集合。 数据集合并 ：将处理后的数据集合并，形成一个包含所有数据的集合。 2. 模型架构 训练基于最先进的卷积神经网络（如HRNet和DLCRNet）和Transformer模型，形成具有优良“零样本”性能的预训练模型： 编码器-解码器架构 ：使用预训练的编码器学习通用视觉特征，解码器学习特定的姿态特征。 记忆重放 ：在训练过程中使用记忆重放技术，避免模型遗忘关键点信息，提高模型的泛化能力。 基于先进神经网络的模型 ： HRNet ：高分辨率网络，擅长捕捉图像中的细节。 DLCRNet ：一种优化的卷积神经网络（CNN），专注于姿态估计任务。 Transformer ：利用自注意力机制，有效处理序列数据。 3. 训练方法 多数据集训练 ： 将不同的数据集作为一个超级集合来训练模型，提高模型对多样化数据的适应能力。 关键点梯度屏蔽 ：在训练过程中屏蔽不相关的关键点数据，避免模型因数据缺失而混淆。 内存重放技术 ： 结合零样本推理和少样本学习，防止模型遗忘先前学到的知识。 4. 视频适配方法 无监督视频适配 ： 伪标签 ：对未标注的视频数据进行推理，并将预测结果作为伪标签来进行微调。 凸包大小变化 ：利用关键点形成的凸包大小作为平滑度指标，减少视频中的抖动。 自适应视频处理 ： 通过优化视频数据的分辨率和动物外观大小，提高模型在不同视频数据上的性能。 性能评估 1. 零样本推断性能 零样本推断 是指模型在没有见过的数据集上的表现。SuperAnimal模型展示了卓越的零样本推断能力。 TopViewMouse-5K和Quadruped-80K数据集 ：在这两个数据集上，SuperAnimal模型在未见过的数据上表现出色。例如，在DLC-Openfield数据集上，SA-TVM（SuperAnimal-TopViewMouse）模型的RMSE（均方根误差）为14.31像素，而使用HRNet-w32架构的顶层推断方法，误差降低到4.88像素。 多物种适应性 ：SuperAnimal模型能够在多种物种（超过45种）的数据上进行推断，而无需额外的标注。例如，在Horse-10数据集上，SA-Q（SuperAnimal-Quadruped）模型在未见过的数据上达到了0.228的归一化误差。 2. 微调性能 微调性能 指的是模型在经过少量新数据训练后的表现。SuperAnimal模型展示了在低数据条件下的高效微调能力。 数据效率 ：在DLC-Openfield数据集上，SA-TVM模型在仅使用10张随机选择的图像进行微调后，RMSE降低到7.68像素，而基于ImageNet预训练的模型需要101张图像才能达到类似性能。 高效微调 ：在Horse-10数据集上，SA-Q模型仅使用5%的训练数据进行微调，其性能（归一化误差0.146）接近使用100%数据进行训练的ImageNet基础模型。 3. 视频适配性能 视频适配性能 指的是模型在不同视频分布下的表现。SuperAnimal模型通过无监督视频适配技术，提高了视频分析的稳定性和准确性。 抖动减少 ：通过视频适配方法，SuperAnimal模型在多个测试视频上显著减少了预测抖动。例如，在Horse-30视频数据集中，SA-Q模型适配后的视频抖动评分显著降低，视频平滑度大幅提高。 无监督适配 ：模型无需额外的标注数据即可在新视频数据上进行适配，表现出色。例如，在马步态分析中，SA-Q模型在24个视频中与专家标注的步态周期一致，仅在6个视频中有一个步态周期的偏差。 4. 行为分析性能 行为分析性能 指的是模型在动物行为分类和量化分析中的表现。SuperAnimal模型在行为分析中同样展示了其强大的性能。 行为分类准确性 ：在开放领域测试数据集上，SA-TVM模型的关键点数据能够准确分类两种关键行为（如未支持的后起和支撑后起），分类准确性接近于基于手工标注的关键点模型。 无监督行为分析 ：通过结合非线性聚类算法（如CEBRA），SuperAnimal模型的行为分类性能进一步提升。例如，使用CEBRA后的模型与地面真实标注的行为分类结果高度相关。 应用领域及示例 SuperAnimal模型在多个领域的动物姿态估计和行为分析中具有广泛应用，以下是一些具体的应用场景和示例： 1. 神经科学研究 应用场景 ：神经科学研究需要准确量化动物行为，以理解行为和神经活动之间的关系。 应用示例 ：使用SuperAnimal模型追踪实验室小鼠在开放场地测试中的运动轨迹，分析小鼠在不同实验条件下的行为模式。 2. 兽医学与动物保护 应用场景 ：兽医学和动物保护领域需要对动物的姿态和行为进行监控，以评估健康状况和行为异常。 应用示例 ：在动物保护区使用SuperAnimal模型监控野生动物的行为，识别和跟踪受伤或生病的个体，以便及时进行医疗干预。 3. 动物行为学研究 应用场景 ：动物行为学研究关注动物在不同环境下的行为和社交互动，需要高效的行为分类和分析工具。 应用示例 ：利用SuperAnimal模型分析猴群中的社交互动行为，研究不同个体之间的关系和社会结构。 4. 运动学分析 应用场景 ：运动学分析需要精确测量动物的运动轨迹和关键点，以研究其运动模式和生物力学特性。 应用示例 ：使用SuperAnimal模型对赛马的步态进行分析，计算步态周期、步幅和地面接触点，帮助改进训练方案和提高比赛表现。 5. 自动化实验分析 应用场景 ：在大规模动物实验中，自动化分析工具能够显著提高数据处理效率和准确性。 应用示例 ：在啮齿动物实验中，使用SuperAnimal模型自动标注和分析大量实验视频数据，减少人工干预，提高数据处理效率。 具体应用示例 开放场地测试（Open Field Test, OFT） ： 研究目标 ：分析小鼠在开放场地中的运动行为，评估其焦虑和探索行为。 应用 ： 利用SuperAnimal模型追踪小鼠在开放场地中的运动轨迹，自动分类支持和不支持的后肢直立行为。 结合行为分类结果，分析不同实验条件（如药物处理、基因改造）对小鼠行为的影响。 马的步态分析 ： 研究目标 ：研究马的步态特性，评估其运动健康状况和训练效果。 应用 ： 使用SuperAnimal模型在步态视频中自动标注马的关键点，计算步态周期、步幅和地面接触点。 通过对比模型预测结果和专家标注，验证模型的准确性，并用于实际训练和康复方案的优化。 野生动物监控 ： 研究目标 ：监控野生动物的行为，识别和跟踪个体，评估其健康和行为状况。 应用 ： 在野外安装摄像设备，使用SuperAnimal模型对视频数据进行实时分析，识别和跟踪受伤或生病的动物。 提供实时数据支持，帮助保护人员及时进行干预和治疗，保护野生动物的健康。 未来发展方向 扩展到更多物种 ： 虽然SuperAnimal模型目前已适用于45种以上的物种，但未来可以扩展到更多物种，包括昆虫、鸟类和鱼类等，进一步增强模型的通用性和应用范围。 更复杂的行为分类 ： 进一步开发和优化模型，提升对更复杂行为的分类和识别能力，例如社交互动行为、捕食行为等。 实时分析和反馈 ： 提高模型的实时分析能力，实现即时行为识别和反馈，应用于更多实时监控和实验分析场景。 通过这些应用和发展，SuperAnimal模型将成为动物行为分析和姿态估计领域的重要工具，推动相关研究和应用的发展。 研究论文： https://www.nature.com/articles/s41467-024-48792-2 GitHub： https://github.com/DeepLabCut/DeepLabCut 官网： https://www.mackenziemathislab.org/deeplabcut

Menu

分类目录

SuperAnimal：能够自动检测和分析动物的运动行为的模型

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

腾讯云媒体服务发布一个基于Web 3D技术构建的在线互动平台：3D虚拟展厅

Paper Piano 纸钢琴：通过摄像头将任何一张纸变成一架钢琴

Perplexity 与 TakoViz 合作推出高级知识搜索和可视化功能

Mini-Omni 支持“边思考边说话” 具备端到端的实时语音输入和输出能力模型

Magentic-One：微软发布用于解决复杂任务通用多智能体可自行编写和执行代码并进行人机交互

RTranslator ：一款开源、免费离线的实时翻译应用可实现多人、多语言的实时对话翻译

Fish Speech：完美支持中英日语言的开源TTS模型接近人类水平

Ideogram改进图像渲染质量和控制推出Describe增强提示功能

AudioNotes：音视频内容转笔记系统快速提取音视频的内容并转成Markdown笔记

StreamMultiDiffusion：在多个特定区域内分别输入不同提示来指导AI画图

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

SuperAnimal：能够自动检测和分析动物的运动行为的模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?