刘越 — 具身智能研究员

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

基于 Gated DeltaNet（GDN） 快权重矩阵构建的具身智能体三层分层记忆系统，集成于 Genie Envisioner Slow-Fast VLA 架构。

架构设计：

第一层（物理层） — TTT 层嵌入 GE-Base（2B）的 28 个 DiT 块中，插于交叉注意力之后、FFN 之前。共享权重矩阵 W ∈ ℝ^{64×64}，以 5 Hz 慢路径更新。
第二/三层（物体层/行为层） — 位于慢路径外部。CLIP/DINO 从视觉潜变量检测物体，通过在线 GDN 更新写入 W_obj 和 W_person。记忆 token 经交叉注意力注入 GE-Act（160M，30 Hz）。

核心特性：

无论片段长度，记忆占用恒定 256 KB
GDN 更新延迟 <1ms（SRAM 快权重计算）
3D RoPE 空间编码用于物体-位置绑定
双 CUDA 流 + 双缓冲调度

目标投稿： ICRA / CoRL 2026 | 归属：同济 CS × PKU DLIB × 智元机器人

演示视频

实验记录

分阶段验证：合成数据 → 真实场景 → VLA 集成 → 记忆鲁棒性 → 冷启动。

实验 A — GDN 物体记忆：合成数据验证 ✅ 通过

在合成数据上通过 5 个子实验验证 GDN 核心机制。

假设	结果
H1 容量	N≤100 时检索率 100%；N=200 时 99.2%（4.5× 安全裕度）
H2/H3 在线更新	1 次再观测后恢复率 99.8%；未移动物体干扰 0.0 pp
超参数鲁棒性	全部 25 组（γ, η）组合 → acc=1.000
动量消融	η_s≥0.8 有害，必须禁用
键值消融	随机 CLIP 键仅比正交键差 6.3 pp

实验 B — GenieSim 真实场景验证 🔜 计划中

将 GDN 迁移至 GenieSim home_g2（13 种场景变体），在智元 G2 机器人上使用真实 CLIP ViT-L/14 特征。

假设	目标
H1	N≤50 个物体时 hit@1m ≥ 80%
H2	20% 物体移动后：恢复 hit@1m ≥ 75%，未移动物体退化 ≤5 pp
H3	≥10/13 场景单独通过 H1 + H2

实验 C — GDN + GE-Act 集成 🔜 计划中

通过 attn3_hidden_states 将 GDN 记忆 token 注入 GE-Act 的 Action DiT。仅训练约 524K 的投影层（主干冻结），在 CALVIN、LIBERO 和 ICRA26 世界模型赛道上进行基准测试。

假设	目标
H_C1/C2	复现 GE-Act 基线（CALVIN Avg ≥ 4.0），标准任务退化 ≤5 pp
H_C3	nDTW: 0.388 → ≥0.538（+15 pp），在 ICRA26 竞赛数据上
H_C4	256 KB 下 GDN 达到 KV-Cache 上界的 ≥90%

实验 D — System 2 惊奇路由 🔜 计划中

测试 System 2 显式事件缓冲区（K=100 槽，100 KB），以 GDN 更新幅度作为零成本惊奇信号 — 当 50% 物体同时移位时（System 1 单独退化 20–30 pp）保护记忆。

假设	目标
H_D1	System 1+2 未移动记忆保留 ≥ System 1 单独 +15 pp
H_D2	缓冲区精确召回 hit@1m ≥ 95%
H_D3	惊奇值单调递减，5 次重复后 ≤初始值 30%（巩固效应）

实验 E — System 3 持久先验 🔜 计划中

测试可学习先验 token P ∈ ℝ^{32×256}（32 KB，部署时冻结），将冷启动探索步数从约 400 步缩短至约 180 步。

策略	预期收益
A：32 个常见物体的 CLIP 文本嵌入（无需训练）	−40% steps-to-80%-hit
B：MAML 元学习跨场景片段	−57% steps-to-80%-hit
H_E2	先验稳态差距在 500 步时 ≤3 pp（无长期干扰）

GDN-Memory：具身世界模型的恒定占用联想记忆系统

Wed, 01 Apr 2026 00:00:00 +0000

合成数据驱动的扩散模型用于血管腔内介入引导

Sun, 01 Mar 2026 00:00:00 +0000

血管介入手术机器人平台（stEVE）

Sun, 01 Mar 2026 00:00:00 +0000

miracle-techlink / GitHub stEVE 平台代码仓库 GitHub Blog: VLA 如何落地医疗机器人 miracle-techlink.github.io · 综述文章 Link

面向 AI 辅助血管腔内介入的完整研究平台，覆盖术前三维规划至术中 RL 引导导航全流程。

处理流程：

CTA → STL — TotalSegmentator 血管分割，VMTK 中心线提取
SOFA FEM 仿真 — Cosserat 梁导丝模型，真实血管形变仿真
RL 导航 — SAC/PPO 智能体，测地距离奖励 + 安全约束
双平面 DSA — DLT 三角测量 + Beer-Lambert X 射线投影，实现 2D-3D 配准
术中校正 — SE(3) IRC-RL，融合真实 DSA 反馈

进行中研究： 在大规模 SOFA 生成的合成数据上训练基于扩散模型的轨迹规划器，迁移至真实血管几何结构——目标是克服临床数据稀缺问题。

归属： 同济大学 × 北大 DLIB | 2026

系统架构

stEVE 仿真流水线：血管树、介入器械、SOFA 引擎与荧光透视渲染。

临床导航演示

患者特异性血管解剖结构中的导管导航——临床测试片段最终帧。

MacroHard Maker — 连续碳纤维 3D 打印路径规划

Sun, 01 Feb 2026 00:00:00 +0000

MacroHard Maker 是面向多轴连续碳纤维（CCF）FFF 打印机的全栈刀路规划系统，将纤维铺放方向与主应力方向对齐，实现最优结构性能。

macrohard-maker-core Python 后端核心：FastAPI + FEA + 路径规划 + G-code 生成 GitHub macrohard-maker-desktop 连续碳纤维 3D 打印路径规划桌面软件 GitHub

算法流水线：

FEA（scikit-fem）— 线弹性应力分析，主应力方向提取
SIMP 拓扑优化 — 打印方向枚举，最小化悬挑面积
测地路径规划 — 任意曲面上的应力对齐表面路由
XYA 运动规划 — 螺旋缠绕 + 填充层 G-code 生成（速度提升 16×）
Three.js 可视化 — 浏览器内实时逐层预览

技术栈： Python · FastAPI · scikit-fem · Next.js 15 · Three.js · TypeScript · Tailwind

面向多轴高速连续碳纤维 3D 打印的应力驱动 G-code 规划

Sun, 01 Feb 2026 00:00:00 +0000

面向可部署视觉-语言-动作策略的高效推理基础设施

Mon, 01 Dec 2025 00:00:00 +0000

OpenDuckMini — 开源双足机器人

Sat, 01 Nov 2025 00:00:00 +0000

OpenDuckMini 是与联合开发的开源微型双足机器人平台，子豪兄是国内最具影响力的 AI 科普创作者之一。

硬件配置：

3D 打印结构件（PLA/PETG）
各关节舵机驱动
树莓派板载计算
自制 PCB 线束

运动能力：

动态双足行走与奔跑步态
已在大学跑道实地测试
开源硬件设计，社区可完整复现

社区生态：

完整组装文档发布于飞书 Wiki
隶属与子豪兄在同济大学联合创立的机器人工作室

本项目体现了一个核心理念：具身 AI 硬件民主化 — 让任何人都能构建并实验足式机器人，加速从研究到产品的转化周期。

演示视频详见或项目文档。

综述：VLA 如何落地医疗机器人

Mon, 27 Oct 2025 00:00:00 +0000

VLA 具身模型后训练综述

Mon, 13 Oct 2025 00:00:00 +0000

LeRobot 与具身 AI 黑客松项目

Wed, 01 Oct 2025 00:00:00 +0000

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

LeRobot — 学习与部署

深入研究 Hugging Face LeRobot — 当前领先的开源具身智能框架 — 涵盖架构解析、训练流程复现与真机部署。

学习范围：

ACT（Action Chunking with Transformers）策略架构
Diffusion Policy 训练与推理流水线
TDMPC 基于世界模型的控制
SO-100 / Koch v1.1 硬件真机部署

📖 联合撰写系统性中文社区文档，已被 Hugging Face 官方收录。

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

与研究的关联： LeRobot 的流匹配策略主干直接启发了 GDN-Memory 集成方案 — 理解推理流水线是设计亚毫秒级记忆更新调度的前提。

tri.me — Home-Care Robot Platform

🏆 3rd Place — 小红书巅峰赛 Hackathon

tri.me 家庭护理机器人 Demo Tri.me吹了吗家庭护理机器人 · 小红书巅峰赛三等奖小红书 persuer0/treame 松灵 Nero 七自由度机械臂 · 刷牙 / 吹头发 / 剃胡子 GitHub

三类护理场景：刷牙 × 吹头发 × 剃胡子

场景	技术要点
🦷 刷牙	牙刷轨迹规划 × 力控清洁
💨 吹头发	头部跟随 × 角度自适应
🪒 剃胡子	面部轮廓贴合 × 微米级精度

三层解耦系统架构：感知层 / 控制层 / 执行层

三层解耦架构：

感知层 — 人体骨骼/人脸关键点实时检测，摄像头硬件加速编解码
控制层 — 机械臂 SDK，支持关节空间、笛卡尔、直线、圆弧多种运动模式，内置 SE3 坐标变换
执行层 — SocketCAN 协议驱动松灵 Nero，实现真正"以人为中心"的护理闭环

LLM 微调实战报告

Sat, 20 Sep 2025 00:00:00 +0000

LLM 微调实战：从 LoRA 到全参数

Mon, 15 Sep 2025 00:00:00 +0000

CFD 散热仿真：从建模到优化

Sun, 10 Aug 2025 00:00:00 +0000

医疗 AI 问诊平台

Fri, 01 Aug 2025 00:00:00 +0000

从 2024 年 10 月到 2025 年 8 月自研的端到端医疗 AI 平台，涵盖模型训练与产品部署全流程。

第一部分 — 多模态医疗大模型：

三阶段微调：医学对齐 → 指令微调与路由 → 领域专家路由
CT/MRI 图像与医学文本的跨注意力对齐
MoE 式路由：将任务分配至专项专家模块（放射科、临床文本等）
架构参考：EMNLP 2024 路由框架

第二部分 — 云端平台：

Coze 多智能体工作流，覆盖用药辅助与健康打卡
影像分析 + 报告 OCR 流水线
Web 前端：症状分析、药品推荐、健康知识库
已部署并获得真实医院反馈验证

反思： 较早识别出产品市场匹配问题 — 医生信任壁垒与 B2B 医疗变现路径不清晰，是医疗 AI 产品的核心挑战。

技术栈： PyTorch · Transformers · Coze · Vue · 云端部署

模型训练架构

三阶段微调流程：医学对齐 → 指令微调与路由 → 领域专家路由（参考 EMNLP 2024）。

Coze 多智能体工作流

Coze 多智能体工作流，覆盖用药辅助、健康打卡与领域路由。

平台前端

智慧医疗AI平台 — 症状分析、药品推荐、影像报告 OCR，已部署并获得医院反馈验证。

FlashAttention 原理与工程实现解析

Sun, 20 Jul 2025 00:00:00 +0000

DeepSpeed ZeRO 训练大模型实战

Sat, 05 Jul 2025 00:00:00 +0000

PyTorch DDP 分布式训练实战

Sun, 15 Jun 2025 00:00:00 +0000

奖项与竞赛

Sun, 19 May 2024 00:00:00 +0000

AGV 迎宾巡检机器人 — 同济大学落地部署

Wed, 01 May 2024 00:00:00 +0000

参与研发面向同济大学展厅与教学楼的智能 AGV 机器人平台，集迎宾与巡检两大角色于共用 AGV 底座，搭载模块化 AI 大脑架构。

个人贡献： 主导中东客户阿拉伯语语音模块本地化落地，包括阿拉伯语 ASR、TTS 及交互流程适配，支撑海外商业部署。

落地场景

左：迎宾机器人同济展厅内投放使用。右：巡检机器人同济教学楼投放使用。

系统架构

双脑架构：AI大脑（数据分析/模型推理/人机交互）+ AGV大脑（自主导航控制器）统一底盘平台。

机器人采用双脑架构：

AI 大脑 — 负责数据分析、模型推理、人机交互（视觉、NLP、多模态）
AGV 大脑 — 自主导航控制器（SLAM、路径规划、电机控制）

硬件配置

硬件：T1 工业级激光雷达、SONY 4G i640 计算单元、60W×2 无刷驱动电机、24V/16Ah 电池组。

模块	参数
激光雷达	单线，180° 视角，测距精度 0.1°
计算单元	SONY 4G i640，Ubuntu 16.04
驱动	橡胶车轮，60W×2 无刷电机，最高速 0.5m/s
供电	18650 锂电，24V/16Ah，续航约 2h

感知能力

人员监测（人脸/穿戴/姿态/行为识别）× 环境监测（温湿度/烟雾/火警）

人员监测：

人脸识别与比对
穿戴识别（衣物、着装规范）
姿态检测（人体骨骼关键点）
行为识别（吸烟检测、摔倒预警）

环境监测：

温湿度检测（区域温度 + 物体温度）
烟雾报警（有害气体 + 烟雾）
火警预警（融合温度、热图、烟雾多源）

人脸识别与边缘 AI

人脸识别 + 红外测温实时上传，支持二次开发与定制化功能扩展。

人脸识别 + 红外测温数据实时上传后台
考勤数据大屏可视化
支持二次开发，可定制化功能模块（含中东客户阿拉伯语语音交互落地）

机械臂仿真引擎 — 同济×西门子工业 4.0 实验室

Thu, 01 Feb 2024 00:00:00 +0000

引擎演示视频 · Bilibili Three.js 机械臂仿真引擎实时演示 Bilibili

Three.js 实时机械臂可视化 — 调节滑动条旋转参数，模型相应变化。

同济大学中德工业 4.0 实验室与西门子联合研究项目，用深度强化学习替代传统粒子群优化（PSO），实现更高精度的机械臂控制。

技术工作：

DQN 智能体 用于关节轨迹优化，替代 PSO 基线
Three.js 3D 可视化 — 滑动条交互式参数控制，实时模型更新，支持导入工业设备场景
SITP 项目结项认证 已完成

关键洞察： 接触 NVIDIA Isaac Sim 后，识别到核心需求并非模型导入/可视化，而是自定义算法接口与 GPU 加速物理仿真 — 据此调整了研究方向。

归属： 同济大学中德工业 4.0 实验室 × 西门子 | 2023.11 – 2024.02

工作经历

Tue, 24 Oct 2023 00:00:00 +0000

智能小车设计 — 省赛银奖（队长）

Thu, 01 Jun 2023 00:00:00 +0000

担任队长，带队设计并制造一辆凸轮转向自主智能小车，参加省级竞赛。项目覆盖机械设计、轨迹仿真到硬件实现的全流程。

职责： 队长 — 负责整体机械架构、转向系统设计、轨迹建模与电路设计。

机械设计

初版 CAD 概念模型 — 底盘布局与车轮配置初稿。

SolidWorks 最终详细渲染 — 凸轮转向机构、减速齿轮、驱动车轮与摄像头支架。

转向系统采用凸轮机构，将旋转运动转化为精确的横向位移，无需舵机，提升机械可靠性。传动部分采用减速齿轮级配合有刷直流电机。

轨迹仿真

MATLAB 轨迹仿真 — 左：完整路径轨迹（单位 mm）；右上：车辆转角随位移变化；右下：凸轮曲线轮廓。

基于凸轮轮廓建立 MATLAB 仿真模型，验证车辆行驶轨迹。核心输出：

路径轨迹 — 验证小车沿预定曲线行驶
转角曲线 — 确保转向输入平滑连续
凸轮轮廓 — 设计目标：最小加速度冲击、稳定接触力

充电电路

自制充电电路原理图 — 含电池管理，保障比赛期间稳定供电。

奖项： 省级智能小车竞赛银奖 | 队长 技术栈： SolidWorks · MATLAB · PCB 设计 · 直流电机控制