EN
← 全部文章

RESEARCH / MULTIMODAL MEMORY

Simplex VM0让第一视角经历成为理解与决策的依据。

打造空间智能记忆底座。

基于 EgoLifeQA、ATM-Bench 与 Mem-Gallery 的三组评测，观察长期记忆能力的不同侧面。

VM0 / MULTIMODAL MEMORY概念示意

01 / 经历片段

视觉场景t − 3
对话内容t − 2
生活记录t − 1

02 / 记忆组织

HTDM
LDM
文字 + 多模态

跨越时间的经历

03 / 相关记忆

Q当前的问题
01
02
03

为理解与决策提供上下文

经历片段 → 记忆组织 → 相关上下文
00 / 摘要

超越当前对话的记忆。

Simplex VM0 探索面向机器人的多模态长期记忆。它结合文字与多模态记录，使过去积累的第一视角经历能够为当前的理解、空间情境判断与决策提供依据。研究方向结合 LDM（终身发展记忆）与 HTDM（层次时序发展记忆）。

01 / 评测结果

三类记忆场景中的评测证据。

01 / FIRST-PERSON LIFELOG

EgoLifeQA

围绕第一视角日常记录中的事件、人物及时间关系进行问答。

84.20% A1_JAKE-500/ 74.01% manual-2.9K

VM0 在 EgoLifeQA A1_JAKE-500 与 manual-2.9K 上的结果
图 1. EgoLifeQA。 A1_JAKE-500（500 题）与 manual-2.9K（2,905 题、六位记录者）的准确率。输入为视频描述和生活日志，并按提问时间截断。
02 / CROSS-SOURCE PERSONAL MEMORY

ATM-Bench

考察图片、视频和邮件等来源的个人记忆检索与多线索推理。

85.78% 普通集 QS/ 66.91% Hard QS

VM0 在 ATM-Bench 普通集与 Hard 集上的结果
图 2. ATM-Bench。 团队内部开发评测的 QS 分数。普通集与 Hard 集使用不同流程。
03 / MULTIMODAL CONVERSATION

从长期多模态对话中找回文字与视觉细节。

91.64% 归一化评审均分

VM0 在 Mem-Gallery 上的结果
图 3. Mem-Gallery。 在 1,711 道题上的归一化评审均分。