Research | Liu Yue — Embodied AI Researcher

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

A three-layer hierarchical memory system for embodied agents built on Gated DeltaNet (GDN) fast-weight matrices, integrated into the Genie Envisioner Slow-Fast VLA architecture.

Architecture:

Layer 1 (Physical) — TTT layer inside each of the 28 DiT blocks of GE-Base (2B), inserted after cross-attention, before FFN. Shared W ∈ ℝ^{64×64} updated at 5 Hz Slow Path.
Layer 2–3 (Object / Behavioral) — External to Slow Path. CLIP/DINO detects objects from visual latents, writes W_obj and W_person via online GDN updates. Memory tokens injected into GE-Act (160M, 30 Hz) via cross-attention.

Key properties:

Constant 256 KB memory regardless of episode length
<1ms GDN update latency (SRAM fast-weight computation)
3D RoPE spatial encoding for object-position binding
Dual CUDA stream + Double Buffering scheduling

Target: ICRA / CoRL 2026 | Affiliations: Tongji CS × PKU DLIB × 智元机器人

Demo

Experiment Log

Staged validation: synthetic → real-scene → VLA integration → memory robustness → cold-start.

Exp A — GDN Object Memory: Synthetic Validation ✅ PASS

Validates the core GDN mechanism across 5 sub-experiments on synthetic data.

Hypothesis	Result
H1 Capacity	100% retrieval at N≤100; 99.2% at N=200 (4.5× safety margin)
H2/H3 Online update	99.8% recovery after 1 re-observation; 0.0 pp interference on unmoved
Hyperparameter robustness	All 25 (γ, η) combos → acc=1.000
Momentum ablation	η_s≥0.8 harmful, must be disabled
Key ablation	Random CLIP keys cost only 6.3 pp vs orthogonal

Exp B — GenieSim Real-Scene Validation 🔜 Planned

Transfers GDN to GenieSim home_g2 (13 scene variants) using real CLIP ViT-L/14 features on a 智元 G2 robot.

Hypothesis	Target
H1	hit@1m ≥ 80% for N≤50 objects
H2	After 20% objects moved: recovery hit@1m ≥ 75%, unmoved degradation ≤5 pp
H3	≥10/13 scenes individually pass H1 + H2

Exp C — GDN + GE-Act Integration 🔜 Planned

Injects GDN memory tokens into GE-Act’s Action DiT via attn3_hidden_states. Only a ~524K projection layer is trained (backbone frozen). Benchmarked on CALVIN, LIBERO, and ICRA26 World Model Track.

Hypothesis	Target
H_C1/C2	Reproduce GE-Act baseline (CALVIN Avg ≥ 4.0), ≤5 pp degradation on standard tasks
H_C3	nDTW: 0.388 → ≥0.538 (+15 pp) on ICRA26 competition data
H_C4	GDN achieves ≥90% of KV-Cache upper bound at 256 KB

Exp D — System 2 Surprise Routing 🔜 Planned

Tests a System 2 explicit event buffer (K=100 slots, 100 KB) using GDN update magnitude as a zero-cost surprise signal — protecting memory when 50% of objects are simultaneously displaced (System 1 alone degrades 20–30 pp).

Hypothesis	Target
H_D1	System 1+2 retains unmoved memory ≥ System 1 alone +15 pp
H_D2	Buffer exact recall hit@1m ≥ 95%
H_D3	Surprise decreases monotonically, ≤30% of initial after 5 reps (consolidation)

Exp E — System 3 Persistent Prior 🔜 Planned

Tests learnable prior tokens P ∈ ℝ^{32×256} (32 KB, frozen at deployment) to cut cold-start exploration from ~400 steps to ~180 steps.

Strategy	Expected gain
A: CLIP text embeddings of 32 common objects (zero training)	−40% steps-to-80%-hit
B: MAML meta-learning over multi-scene episodes	−57% steps-to-80%-hit
H_E2	Prior steady-state gap ≤3 pp at 500 steps (no long-term interference)

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

基于 Gated DeltaNet（GDN） 快权重矩阵构建的具身智能体三层分层记忆系统，集成于 Genie Envisioner Slow-Fast VLA 架构。

架构设计：

第一层（物理层） — TTT 层嵌入 GE-Base（2B）的 28 个 DiT 块中，插于交叉注意力之后、FFN 之前。共享权重矩阵 W ∈ ℝ^{64×64}，以 5 Hz 慢路径更新。
第二/三层（物体层/行为层） — 位于慢路径外部。CLIP/DINO 从视觉潜变量检测物体，通过在线 GDN 更新写入 W_obj 和 W_person。记忆 token 经交叉注意力注入 GE-Act（160M，30 Hz）。

核心特性：

无论片段长度，记忆占用恒定 256 KB
GDN 更新延迟 <1ms（SRAM 快权重计算）
3D RoPE 空间编码用于物体-位置绑定
双 CUDA 流 + 双缓冲调度

目标投稿： ICRA / CoRL 2026 | 归属：同济 CS × PKU DLIB × 智元机器人

演示视频

实验记录

分阶段验证：合成数据 → 真实场景 → VLA 集成 → 记忆鲁棒性 → 冷启动。

实验 A — GDN 物体记忆：合成数据验证 ✅ 通过

在合成数据上通过 5 个子实验验证 GDN 核心机制。

假设	结果
H1 容量	N≤100 时检索率 100%；N=200 时 99.2%（4.5× 安全裕度）
H2/H3 在线更新	1 次再观测后恢复率 99.8%；未移动物体干扰 0.0 pp
超参数鲁棒性	全部 25 组（γ, η）组合 → acc=1.000
动量消融	η_s≥0.8 有害，必须禁用
键值消融	随机 CLIP 键仅比正交键差 6.3 pp

实验 B — GenieSim 真实场景验证 🔜 计划中

将 GDN 迁移至 GenieSim home_g2（13 种场景变体），在智元 G2 机器人上使用真实 CLIP ViT-L/14 特征。

假设	目标
H1	N≤50 个物体时 hit@1m ≥ 80%
H2	20% 物体移动后：恢复 hit@1m ≥ 75%，未移动物体退化 ≤5 pp
H3	≥10/13 场景单独通过 H1 + H2

实验 C — GDN + GE-Act 集成 🔜 计划中

通过 attn3_hidden_states 将 GDN 记忆 token 注入 GE-Act 的 Action DiT。仅训练约 524K 的投影层（主干冻结），在 CALVIN、LIBERO 和 ICRA26 世界模型赛道上进行基准测试。

假设	目标
H_C1/C2	复现 GE-Act 基线（CALVIN Avg ≥ 4.0），标准任务退化 ≤5 pp
H_C3	nDTW: 0.388 → ≥0.538（+15 pp），在 ICRA26 竞赛数据上
H_C4	256 KB 下 GDN 达到 KV-Cache 上界的 ≥90%

实验 D — System 2 惊奇路由 🔜 计划中

测试 System 2 显式事件缓冲区（K=100 槽，100 KB），以 GDN 更新幅度作为零成本惊奇信号 — 当 50% 物体同时移位时（System 1 单独退化 20–30 pp）保护记忆。

假设	目标
H_D1	System 1+2 未移动记忆保留 ≥ System 1 单独 +15 pp
H_D2	缓冲区精确召回 hit@1m ≥ 95%
H_D3	惊奇值单调递减，5 次重复后 ≤初始值 30%（巩固效应）

实验 E — System 3 持久先验 🔜 计划中

测试可学习先验 token P ∈ ℝ^{32×256}（32 KB，部署时冻结），将冷启动探索步数从约 400 步缩短至约 180 步。

策略	预期收益
A：32 个常见物体的 CLIP 文本嵌入（无需训练）	−40% steps-to-80%-hit
B：MAML 元学习跨场景片段	−57% steps-to-80%-hit
H_E2	先验稳态差距在 500 步时 ≤3 pp（无长期干扰）

Endovascular Surgical Robot Platform (stEVE)

Sun, 01 Mar 2026 00:00:00 +0000

miracle-techlink / GitHub stEVE 平台代码仓库 GitHub Blog: VLA 如何落地医疗机器人 miracle-techlink.github.io · 综述文章 Link

A complete research platform for AI-assisted endovascular intervention, spanning preoperative 3D planning through intraoperative RL-guided navigation.

Pipeline:

CTA → STL — TotalSegmentator vessel segmentation, VMTK centerline extraction
SOFA FEM Simulation — Cosserat beam guidewire model, realistic vascular deformation
RL Navigation — SAC/PPO agents with geodesic distance reward + safety constraints
Biplane DSA — DLT triangulation + Beer-Lambert X-ray projection for 2D-3D registration
Intraoperative Correction — SE(3) IRC-RL with real DSA feedback

Ongoing research: Training a diffusion-based trajectory planner on large-scale SOFA-generated synthetic data, transferring to real vascular geometries — targeting to overcome clinical data scarcity.

Affiliations: Tongji University × PKU DLIB | 2026

System Architecture

stEVE simulation pipeline: vessel tree, instrument, SOFA engine, and fluoroscopy rendering.

Catheter navigation in patient-specific vascular anatomy — final frame of a clinical test episode.

血管介入手术机器人平台（stEVE）

Sun, 01 Mar 2026 00:00:00 +0000

miracle-techlink / GitHub stEVE 平台代码仓库 GitHub Blog: VLA 如何落地医疗机器人 miracle-techlink.github.io · 综述文章 Link

面向 AI 辅助血管腔内介入的完整研究平台，覆盖术前三维规划至术中 RL 引导导航全流程。

处理流程：

CTA → STL — TotalSegmentator 血管分割，VMTK 中心线提取
SOFA FEM 仿真 — Cosserat 梁导丝模型，真实血管形变仿真
RL 导航 — SAC/PPO 智能体，测地距离奖励 + 安全约束
双平面 DSA — DLT 三角测量 + Beer-Lambert X 射线投影，实现 2D-3D 配准
术中校正 — SE(3) IRC-RL，融合真实 DSA 反馈

进行中研究： 在大规模 SOFA 生成的合成数据上训练基于扩散模型的轨迹规划器，迁移至真实血管几何结构——目标是克服临床数据稀缺问题。

归属： 同济大学 × 北大 DLIB | 2026

系统架构

stEVE 仿真流水线：血管树、介入器械、SOFA 引擎与荧光透视渲染。

临床导航演示

患者特异性血管解剖结构中的导管导航——临床测试片段最终帧。

Research | Liu Yue — Embodied AI Researcher

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Demo

Experiment Log

Exp A — GDN Object Memory: Synthetic Validation ✅ PASS

Exp B — GenieSim Real-Scene Validation 🔜 Planned

Exp C — GDN + GE-Act Integration 🔜 Planned

Exp D — System 2 Surprise Routing 🔜 Planned

Exp E — System 3 Persistent Prior 🔜 Planned

GDN-Memory: Constant-Footprint Embodied Memory for World Models

演示视频

实验记录

实验 A — GDN 物体记忆：合成数据验证 ✅ 通过

实验 B — GenieSim 真实场景验证 🔜 计划中

实验 C — GDN + GE-Act 集成 🔜 计划中

实验 D — System 2 惊奇路由 🔜 计划中

实验 E — System 3 持久先验 🔜 计划中

Endovascular Surgical Robot Platform (stEVE)

System Architecture

Clinical Navigation Demo

血管介入手术机器人平台（stEVE）

系统架构

临床导航演示