Embodied AI | Liu Yue — Embodied AI Researcher

GDN-Memory: Constant-Footprint Associative Memory for Embodied World Models

Wed, 01 Apr 2026 00:00:00 +0000

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

A three-layer hierarchical memory system for embodied agents built on Gated DeltaNet (GDN) fast-weight matrices, integrated into the Genie Envisioner Slow-Fast VLA architecture.

Architecture:

Layer 1 (Physical) — TTT layer inside each of the 28 DiT blocks of GE-Base (2B), inserted after cross-attention, before FFN. Shared W ∈ ℝ^{64×64} updated at 5 Hz Slow Path.
Layer 2–3 (Object / Behavioral) — External to Slow Path. CLIP/DINO detects objects from visual latents, writes W_obj and W_person via online GDN updates. Memory tokens injected into GE-Act (160M, 30 Hz) via cross-attention.

Key properties:

Constant 256 KB memory regardless of episode length
<1ms GDN update latency (SRAM fast-weight computation)
3D RoPE spatial encoding for object-position binding
Dual CUDA stream + Double Buffering scheduling

Target: ICRA / CoRL 2026 | Affiliations: Tongji CS × PKU DLIB × 智元机器人

Demo

Experiment Log

Staged validation: synthetic → real-scene → VLA integration → memory robustness → cold-start.

Exp A — GDN Object Memory: Synthetic Validation ✅ PASS

Validates the core GDN mechanism across 5 sub-experiments on synthetic data.

Hypothesis	Result
H1 Capacity	100% retrieval at N≤100; 99.2% at N=200 (4.5× safety margin)
H2/H3 Online update	99.8% recovery after 1 re-observation; 0.0 pp interference on unmoved
Hyperparameter robustness	All 25 (γ, η) combos → acc=1.000
Momentum ablation	η_s≥0.8 harmful, must be disabled
Key ablation	Random CLIP keys cost only 6.3 pp vs orthogonal

Exp B — GenieSim Real-Scene Validation 🔜 Planned

Transfers GDN to GenieSim home_g2 (13 scene variants) using real CLIP ViT-L/14 features on a 智元 G2 robot.

Hypothesis	Target
H1	hit@1m ≥ 80% for N≤50 objects
H2	After 20% objects moved: recovery hit@1m ≥ 75%, unmoved degradation ≤5 pp
H3	≥10/13 scenes individually pass H1 + H2

Exp C — GDN + GE-Act Integration 🔜 Planned

Injects GDN memory tokens into GE-Act’s Action DiT via attn3_hidden_states. Only a ~524K projection layer is trained (backbone frozen). Benchmarked on CALVIN, LIBERO, and ICRA26 World Model Track.

Hypothesis	Target
H_C1/C2	Reproduce GE-Act baseline (CALVIN Avg ≥ 4.0), ≤5 pp degradation on standard tasks
H_C3	nDTW: 0.388 → ≥0.538 (+15 pp) on ICRA26 competition data
H_C4	GDN achieves ≥90% of KV-Cache upper bound at 256 KB

Exp D — System 2 Surprise Routing 🔜 Planned

Tests a System 2 explicit event buffer (K=100 slots, 100 KB) using GDN update magnitude as a zero-cost surprise signal — protecting memory when 50% of objects are simultaneously displaced (System 1 alone degrades 20–30 pp).

Hypothesis	Target
H_D1	System 1+2 retains unmoved memory ≥ System 1 alone +15 pp
H_D2	Buffer exact recall hit@1m ≥ 95%
H_D3	Surprise decreases monotonically, ≤30% of initial after 5 reps (consolidation)

Exp E — System 3 Persistent Prior 🔜 Planned

Tests learnable prior tokens P ∈ ℝ^{32×256} (32 KB, frozen at deployment) to cut cold-start exploration from ~400 steps to ~180 steps.

Strategy	Expected gain
A: CLIP text embeddings of 32 common objects (zero training)	−40% steps-to-80%-hit
B: MAML meta-learning over multi-scene episodes	−57% steps-to-80%-hit
H_E2	Prior steady-state gap ≤3 pp at 500 steps (no long-term interference)

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

基于 Gated DeltaNet（GDN） 快权重矩阵构建的具身智能体三层分层记忆系统，集成于 Genie Envisioner Slow-Fast VLA 架构。

架构设计：

第一层（物理层） — TTT 层嵌入 GE-Base（2B）的 28 个 DiT 块中，插于交叉注意力之后、FFN 之前。共享权重矩阵 W ∈ ℝ^{64×64}，以 5 Hz 慢路径更新。
第二/三层（物体层/行为层） — 位于慢路径外部。CLIP/DINO 从视觉潜变量检测物体，通过在线 GDN 更新写入 W_obj 和 W_person。记忆 token 经交叉注意力注入 GE-Act（160M，30 Hz）。

核心特性：

无论片段长度，记忆占用恒定 256 KB
GDN 更新延迟 <1ms（SRAM 快权重计算）
3D RoPE 空间编码用于物体-位置绑定
双 CUDA 流 + 双缓冲调度

目标投稿： ICRA / CoRL 2026 | 归属：同济 CS × PKU DLIB × 智元机器人

演示视频

实验记录

分阶段验证：合成数据 → 真实场景 → VLA 集成 → 记忆鲁棒性 → 冷启动。

实验 A — GDN 物体记忆：合成数据验证 ✅ 通过

在合成数据上通过 5 个子实验验证 GDN 核心机制。

假设	结果
H1 容量	N≤100 时检索率 100%；N=200 时 99.2%（4.5× 安全裕度）
H2/H3 在线更新	1 次再观测后恢复率 99.8%；未移动物体干扰 0.0 pp
超参数鲁棒性	全部 25 组（γ, η）组合 → acc=1.000
动量消融	η_s≥0.8 有害，必须禁用
键值消融	随机 CLIP 键仅比正交键差 6.3 pp

实验 B — GenieSim 真实场景验证 🔜 计划中

将 GDN 迁移至 GenieSim home_g2（13 种场景变体），在智元 G2 机器人上使用真实 CLIP ViT-L/14 特征。

假设	目标
H1	N≤50 个物体时 hit@1m ≥ 80%
H2	20% 物体移动后：恢复 hit@1m ≥ 75%，未移动物体退化 ≤5 pp
H3	≥10/13 场景单独通过 H1 + H2

实验 C — GDN + GE-Act 集成 🔜 计划中

通过 attn3_hidden_states 将 GDN 记忆 token 注入 GE-Act 的 Action DiT。仅训练约 524K 的投影层（主干冻结），在 CALVIN、LIBERO 和 ICRA26 世界模型赛道上进行基准测试。

假设	目标
H_C1/C2	复现 GE-Act 基线（CALVIN Avg ≥ 4.0），标准任务退化 ≤5 pp
H_C3	nDTW: 0.388 → ≥0.538（+15 pp），在 ICRA26 竞赛数据上
H_C4	256 KB 下 GDN 达到 KV-Cache 上界的 ≥90%

实验 D — System 2 惊奇路由 🔜 计划中

测试 System 2 显式事件缓冲区（K=100 槽，100 KB），以 GDN 更新幅度作为零成本惊奇信号 — 当 50% 物体同时移位时（System 1 单独退化 20–30 pp）保护记忆。

假设	目标
H_D1	System 1+2 未移动记忆保留 ≥ System 1 单独 +15 pp
H_D2	缓冲区精确召回 hit@1m ≥ 95%
H_D3	惊奇值单调递减，5 次重复后 ≤初始值 30%（巩固效应）

实验 E — System 3 持久先验 🔜 计划中

测试可学习先验 token P ∈ ℝ^{32×256}（32 KB，部署时冻结），将冷启动探索步数从约 400 步缩短至约 180 步。

策略	预期收益
A：32 个常见物体的 CLIP 文本嵌入（无需训练）	−40% steps-to-80%-hit
B：MAML 元学习跨场景片段	−57% steps-to-80%-hit
H_E2	先验稳态差距在 500 步时 ≤3 pp（无长期干扰）

GDN-Memory：具身世界模型的恒定占用联想记忆系统

Wed, 01 Apr 2026 00:00:00 +0000

Efficient Inference Infrastructure for Deployable Vision-Language-Action Policies

Mon, 01 Dec 2025 00:00:00 +0000

面向可部署视觉-语言-动作策略的高效推理基础设施

Mon, 01 Dec 2025 00:00:00 +0000

Open-Source Robotics Collaboration with 子豪兄

Sat, 01 Nov 2025 00:00:00 +0000

A series of open-source robotics projects co-built with — Tongji University’s most prominent AI/robotics education creator — focused on making embodied AI hardware accessible to the community.

OpenDuckMini — Bipedal Duck Robot

Hardware internals: 3D-printed PLA/PETG frame, servo actuators at each joint, Raspberry Pi onboard compute, custom PCB wiring harness.

Dynamic walking and running gait — field-tested on Tongji University track
3D-printed structural components (PLA/PETG), servo-actuated joints, Raspberry Pi compute

OpenDuckMini 完整构建文档硬件组装 · 标定流程 · 步态调试指南 Feishu Docs 子豪兄 Bilibili 主页同济大学 AI/机器人教育创作者 Bilibili miracle-techlink / GitHub 开源机器人项目代码仓库 GitHub

Quadruped Platform

Four-legged robot platform for reinforcement learning locomotion experiments and sim-to-real transfer research, built alongside the bipedal work as part of the same hardware studio.

Community & Mission

All projects are fully open-source and documented — reproducible by anyone with access to a 3D printer and basic electronics. The goal is to democratize embodied AI hardware and accelerate the research-to-product cycle for students and researchers across China.

OpenDuckMini — 开源双足机器人

Sat, 01 Nov 2025 00:00:00 +0000

OpenDuckMini 是与联合开发的开源微型双足机器人平台，子豪兄是国内最具影响力的 AI 科普创作者之一。

硬件配置：

3D 打印结构件（PLA/PETG）
各关节舵机驱动
树莓派板载计算
自制 PCB 线束

运动能力：

动态双足行走与奔跑步态
已在大学跑道实地测试
开源硬件设计，社区可完整复现

社区生态：

完整组装文档发布于飞书 Wiki
隶属与子豪兄在同济大学联合创立的机器人工作室

本项目体现了一个核心理念：具身 AI 硬件民主化 — 让任何人都能构建并实验足式机器人，加速从研究到产品的转化周期。

演示视频详见或项目文档。

综述：VLA如何落地医疗机器人

Mon, 27 Oct 2025 00:00:00 +0000

VLA具身模型后训练综述

Mon, 13 Oct 2025 00:00:00 +0000

LeRobot & Embodied AI Hackathon Projects

Wed, 01 Oct 2025 00:00:00 +0000

LeRobot — Study & Deployment

Deep dive into Hugging Face LeRobot — the leading open-source embodied intelligence framework — covering architecture analysis, training pipeline reproduction, and real-robot deployment.

Study scope:

ACT (Action Chunking with Transformers) policy architecture
Diffusion Policy training and inference pipeline
TDMPC world-model-based control
Real-robot deployment on SO-100 / Koch v1.1 hardware

📖 Co-authored comprehensive Chinese-language documentation. Officially featured by Hugging Face.

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

Connection to research: LeRobot’s flow-matching policy backbone directly informed the GDN-Memory integration work — understanding the inference pipeline was prerequisite to designing sub-1ms memory update scheduling.

tri.me — Home-Care Robot Platform

🏆 3rd Place — 小红书巅峰赛 Hackathon

tri.me 家庭护理机器人 Demo Tri.me吹了吗家庭护理机器人 · 小红书巅峰赛三等奖小红书 persuer0/treame 松灵 Nero 七自由度机械臂 · 刷牙 / 吹头发 / 剃胡子 GitHub

三类护理场景：刷牙 × 吹头发 × 剃胡子

场景	技术要点
🦷 刷牙	牙刷轨迹规划 × 力控清洁
💨 吹头发	头部跟随 × 角度自适应
🪒 剃胡子	面部轮廓贴合 × 微米级精度

三层解耦系统架构：感知层 / 控制层 / 执行层

三层解耦架构：

感知层 — 人体骨骼/人脸关键点实时检测，摄像头硬件加速编解码
控制层 — 机械臂 SDK，支持关节空间、笛卡尔、直线、圆弧多种运动模式，内置 SE3 坐标变换
执行层 — SocketCAN 协议驱动松灵 Nero，实现真正"以人为中心"的护理闭环

LeRobot 与具身 AI 黑客松项目

Wed, 01 Oct 2025 00:00:00 +0000

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

LeRobot — 学习与部署

深入研究 Hugging Face LeRobot — 当前领先的开源具身智能框架 — 涵盖架构解析、训练流程复现与真机部署。

学习范围：

ACT（Action Chunking with Transformers）策略架构
Diffusion Policy 训练与推理流水线
TDMPC 基于世界模型的控制
SO-100 / Koch v1.1 硬件真机部署

📖 联合撰写系统性中文社区文档，已被 Hugging Face 官方收录。

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

与研究的关联： LeRobot 的流匹配策略主干直接启发了 GDN-Memory 集成方案 — 理解推理流水线是设计亚毫秒级记忆更新调度的前提。

tri.me — Home-Care Robot Platform

🏆 3rd Place — 小红书巅峰赛 Hackathon

三类护理场景：刷牙 × 吹头发 × 剃胡子

场景	技术要点
🦷 刷牙	牙刷轨迹规划 × 力控清洁
💨 吹头发	头部跟随 × 角度自适应
🪒 剃胡子	面部轮廓贴合 × 微米级精度

三层解耦系统架构：感知层 / 控制层 / 执行层

三层解耦架构：

感知层 — 人体骨骼/人脸关键点实时检测，摄像头硬件加速编解码
控制层 — 机械臂 SDK，支持关节空间、笛卡尔、直线、圆弧多种运动模式，内置 SE3 坐标变换
执行层 — SocketCAN 协议驱动松灵 Nero，实现真正"以人为中心"的护理闭环