Liu Yue — Embodied AI Researcher

Example Talk

Sat, 01 Jun 2030 13:00:00 +0000

Note

Click on the Slides button above to view the built-in slides feature.

Slides can be added in a few ways:

Create slides using Hugo Blox Builder’s feature and link using the slides parameter in the front matter of the talk file
Upload an existing slide deck to this page bundle and link it using links: [{ type: slides, url: path/to/file } ] in front matter
Embed your slides (e.g. Google Slides) or presentation video on this page using .

Further event details, including such as image galleries, can be added to the body of this page.

GDN-Memory: Constant-Footprint Associative Memory for Embodied World Models

Wed, 01 Apr 2026 00:00:00 +0000

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

A three-layer hierarchical memory system for embodied agents built on Gated DeltaNet (GDN) fast-weight matrices, integrated into the Genie Envisioner Slow-Fast VLA architecture.

Architecture:

Layer 1 (Physical) — TTT layer inside each of the 28 DiT blocks of GE-Base (2B), inserted after cross-attention, before FFN. Shared W ∈ ℝ^{64×64} updated at 5 Hz Slow Path.
Layer 2–3 (Object / Behavioral) — External to Slow Path. CLIP/DINO detects objects from visual latents, writes W_obj and W_person via online GDN updates. Memory tokens injected into GE-Act (160M, 30 Hz) via cross-attention.

Key properties:

Constant 256 KB memory regardless of episode length
<1ms GDN update latency (SRAM fast-weight computation)
3D RoPE spatial encoding for object-position binding
Dual CUDA stream + Double Buffering scheduling

Target: ICRA / CoRL 2026 | Affiliations: Tongji CS × PKU DLIB × 智元机器人

Demo

Experiment Log

Staged validation: synthetic → real-scene → VLA integration → memory robustness → cold-start.

Exp A — GDN Object Memory: Synthetic Validation ✅ PASS

Validates the core GDN mechanism across 5 sub-experiments on synthetic data.

Hypothesis	Result
H1 Capacity	100% retrieval at N≤100; 99.2% at N=200 (4.5× safety margin)
H2/H3 Online update	99.8% recovery after 1 re-observation; 0.0 pp interference on unmoved
Hyperparameter robustness	All 25 (γ, η) combos → acc=1.000
Momentum ablation	η_s≥0.8 harmful, must be disabled
Key ablation	Random CLIP keys cost only 6.3 pp vs orthogonal

Exp B — GenieSim Real-Scene Validation 🔜 Planned

Transfers GDN to GenieSim home_g2 (13 scene variants) using real CLIP ViT-L/14 features on a 智元 G2 robot.

Hypothesis	Target
H1	hit@1m ≥ 80% for N≤50 objects
H2	After 20% objects moved: recovery hit@1m ≥ 75%, unmoved degradation ≤5 pp
H3	≥10/13 scenes individually pass H1 + H2

Exp C — GDN + GE-Act Integration 🔜 Planned

Injects GDN memory tokens into GE-Act’s Action DiT via attn3_hidden_states. Only a ~524K projection layer is trained (backbone frozen). Benchmarked on CALVIN, LIBERO, and ICRA26 World Model Track.

Hypothesis	Target
H_C1/C2	Reproduce GE-Act baseline (CALVIN Avg ≥ 4.0), ≤5 pp degradation on standard tasks
H_C3	nDTW: 0.388 → ≥0.538 (+15 pp) on ICRA26 competition data
H_C4	GDN achieves ≥90% of KV-Cache upper bound at 256 KB

Exp D — System 2 Surprise Routing 🔜 Planned

Tests a System 2 explicit event buffer (K=100 slots, 100 KB) using GDN update magnitude as a zero-cost surprise signal — protecting memory when 50% of objects are simultaneously displaced (System 1 alone degrades 20–30 pp).

Hypothesis	Target
H_D1	System 1+2 retains unmoved memory ≥ System 1 alone +15 pp
H_D2	Buffer exact recall hit@1m ≥ 95%
H_D3	Surprise decreases monotonically, ≤30% of initial after 5 reps (consolidation)

Exp E — System 3 Persistent Prior 🔜 Planned

Tests learnable prior tokens P ∈ ℝ^{32×256} (32 KB, frozen at deployment) to cut cold-start exploration from ~400 steps to ~180 steps.

Strategy	Expected gain
A: CLIP text embeddings of 32 common objects (zero training)	−40% steps-to-80%-hit
B: MAML meta-learning over multi-scene episodes	−57% steps-to-80%-hit
H_E2	Prior steady-state gap ≤3 pp at 500 steps (no long-term interference)

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Wed, 01 Apr 2026 00:00:00 +0000

miracle-techlink / GitHub GDN-Memory 代码仓库（即将开源） GitHub GDN-Memory Demo · Bilibili 具身记忆系统演示视频 Bilibili

基于 Gated DeltaNet（GDN） 快权重矩阵构建的具身智能体三层分层记忆系统，集成于 Genie Envisioner Slow-Fast VLA 架构。

架构设计：

第一层（物理层） — TTT 层嵌入 GE-Base（2B）的 28 个 DiT 块中，插于交叉注意力之后、FFN 之前。共享权重矩阵 W ∈ ℝ^{64×64}，以 5 Hz 慢路径更新。
第二/三层（物体层/行为层） — 位于慢路径外部。CLIP/DINO 从视觉潜变量检测物体，通过在线 GDN 更新写入 W_obj 和 W_person。记忆 token 经交叉注意力注入 GE-Act（160M，30 Hz）。

核心特性：

无论片段长度，记忆占用恒定 256 KB
GDN 更新延迟 <1ms（SRAM 快权重计算）
3D RoPE 空间编码用于物体-位置绑定
双 CUDA 流 + 双缓冲调度

目标投稿： ICRA / CoRL 2026 | 归属：同济 CS × PKU DLIB × 智元机器人

演示视频

实验记录

分阶段验证：合成数据 → 真实场景 → VLA 集成 → 记忆鲁棒性 → 冷启动。

实验 A — GDN 物体记忆：合成数据验证 ✅ 通过

在合成数据上通过 5 个子实验验证 GDN 核心机制。

假设	结果
H1 容量	N≤100 时检索率 100%；N=200 时 99.2%（4.5× 安全裕度）
H2/H3 在线更新	1 次再观测后恢复率 99.8%；未移动物体干扰 0.0 pp
超参数鲁棒性	全部 25 组（γ, η）组合 → acc=1.000
动量消融	η_s≥0.8 有害，必须禁用
键值消融	随机 CLIP 键仅比正交键差 6.3 pp

实验 B — GenieSim 真实场景验证 🔜 计划中

将 GDN 迁移至 GenieSim home_g2（13 种场景变体），在智元 G2 机器人上使用真实 CLIP ViT-L/14 特征。

假设	目标
H1	N≤50 个物体时 hit@1m ≥ 80%
H2	20% 物体移动后：恢复 hit@1m ≥ 75%，未移动物体退化 ≤5 pp
H3	≥10/13 场景单独通过 H1 + H2

实验 C — GDN + GE-Act 集成 🔜 计划中

通过 attn3_hidden_states 将 GDN 记忆 token 注入 GE-Act 的 Action DiT。仅训练约 524K 的投影层（主干冻结），在 CALVIN、LIBERO 和 ICRA26 世界模型赛道上进行基准测试。

假设	目标
H_C1/C2	复现 GE-Act 基线（CALVIN Avg ≥ 4.0），标准任务退化 ≤5 pp
H_C3	nDTW: 0.388 → ≥0.538（+15 pp），在 ICRA26 竞赛数据上
H_C4	256 KB 下 GDN 达到 KV-Cache 上界的 ≥90%

实验 D — System 2 惊奇路由 🔜 计划中

测试 System 2 显式事件缓冲区（K=100 槽，100 KB），以 GDN 更新幅度作为零成本惊奇信号 — 当 50% 物体同时移位时（System 1 单独退化 20–30 pp）保护记忆。

假设	目标
H_D1	System 1+2 未移动记忆保留 ≥ System 1 单独 +15 pp
H_D2	缓冲区精确召回 hit@1m ≥ 95%
H_D3	惊奇值单调递减，5 次重复后 ≤初始值 30%（巩固效应）

实验 E — System 3 持久先验 🔜 计划中

测试可学习先验 token P ∈ ℝ^{32×256}（32 KB，部署时冻结），将冷启动探索步数从约 400 步缩短至约 180 步。

策略	预期收益
A：32 个常见物体的 CLIP 文本嵌入（无需训练）	−40% steps-to-80%-hit
B：MAML 元学习跨场景片段	−57% steps-to-80%-hit
H_E2	先验稳态差距在 500 步时 ≤3 pp（无长期干扰）

GDN-Memory：具身世界模型的恒定占用联想记忆系统

Wed, 01 Apr 2026 00:00:00 +0000

Endovascular Surgical Robot Platform (stEVE)

Sun, 01 Mar 2026 00:00:00 +0000

miracle-techlink / GitHub stEVE 平台代码仓库 GitHub Blog: VLA 如何落地医疗机器人 miracle-techlink.github.io · 综述文章 Link

A complete research platform for AI-assisted endovascular intervention, spanning preoperative 3D planning through intraoperative RL-guided navigation.

Pipeline:

CTA → STL — TotalSegmentator vessel segmentation, VMTK centerline extraction
SOFA FEM Simulation — Cosserat beam guidewire model, realistic vascular deformation
RL Navigation — SAC/PPO agents with geodesic distance reward + safety constraints
Biplane DSA — DLT triangulation + Beer-Lambert X-ray projection for 2D-3D registration
Intraoperative Correction — SE(3) IRC-RL with real DSA feedback

Ongoing research: Training a diffusion-based trajectory planner on large-scale SOFA-generated synthetic data, transferring to real vascular geometries — targeting to overcome clinical data scarcity.

Affiliations: Tongji University × PKU DLIB | 2026

System Architecture

stEVE simulation pipeline: vessel tree, instrument, SOFA engine, and fluoroscopy rendering.

Catheter navigation in patient-specific vascular anatomy — final frame of a clinical test episode.

Synthetic-Data-Driven Diffusion Models for Endovascular Intervention Guidance

Sun, 01 Mar 2026 00:00:00 +0000

合成数据驱动的扩散模型用于血管腔内介入引导

Sun, 01 Mar 2026 00:00:00 +0000

血管介入手术机器人平台（stEVE）

Sun, 01 Mar 2026 00:00:00 +0000

miracle-techlink / GitHub stEVE 平台代码仓库 GitHub Blog: VLA 如何落地医疗机器人 miracle-techlink.github.io · 综述文章 Link

面向 AI 辅助血管腔内介入的完整研究平台，覆盖术前三维规划至术中 RL 引导导航全流程。

处理流程：

CTA → STL — TotalSegmentator 血管分割，VMTK 中心线提取
SOFA FEM 仿真 — Cosserat 梁导丝模型，真实血管形变仿真
RL 导航 — SAC/PPO 智能体，测地距离奖励 + 安全约束
双平面 DSA — DLT 三角测量 + Beer-Lambert X 射线投影，实现 2D-3D 配准
术中校正 — SE(3) IRC-RL，融合真实 DSA 反馈

进行中研究： 在大规模 SOFA 生成的合成数据上训练基于扩散模型的轨迹规划器，迁移至真实血管几何结构——目标是克服临床数据稀缺问题。

归属： 同济大学 × 北大 DLIB | 2026

系统架构

stEVE 仿真流水线：血管树、介入器械、SOFA 引擎与荧光透视渲染。

临床导航演示

患者特异性血管解剖结构中的导管导航——临床测试片段最终帧。

MacroHard Maker — CCF 3D Printing Path Planner

Sun, 01 Feb 2026 00:00:00 +0000

MacroHard Maker is a full-stack toolpath planning system for multi-axis continuous carbon fiber (CCF) FFF printers, aligning fiber deposition with principal stress directions for maximum structural performance.

macrohard-maker-core Python 后端核心：FastAPI + FEA + 路径规划 + G-code 生成 GitHub macrohard-maker-desktop 连续碳纤维 3D 打印路径规划桌面软件 GitHub

Algorithm pipeline:

FEA (scikit-fem) — linear elastic stress analysis, principal stress direction extraction
SIMP topology optimization — print direction enumeration to minimize overhang area
Geodesic path planning — stress-aligned surface routing on arbitrary geometries
XYA motion planner — helical winding + infill layer G-code generation (16× speedup)
Three.js visualization — real-time layer-by-layer preview in browser

Stack: Python · FastAPI · scikit-fem · Next.js 15 · Three.js · TypeScript · Tailwind

MacroHard Maker — 连续碳纤维 3D 打印路径规划

Sun, 01 Feb 2026 00:00:00 +0000

MacroHard Maker 是面向多轴连续碳纤维（CCF）FFF 打印机的全栈刀路规划系统，将纤维铺放方向与主应力方向对齐，实现最优结构性能。

macrohard-maker-core Python 后端核心：FastAPI + FEA + 路径规划 + G-code 生成 GitHub macrohard-maker-desktop 连续碳纤维 3D 打印路径规划桌面软件 GitHub

算法流水线：

FEA（scikit-fem）— 线弹性应力分析，主应力方向提取
SIMP 拓扑优化 — 打印方向枚举，最小化悬挑面积
测地路径规划 — 任意曲面上的应力对齐表面路由
XYA 运动规划 — 螺旋缠绕 + 填充层 G-code 生成（速度提升 16×）
Three.js 可视化 — 浏览器内实时逐层预览

技术栈： Python · FastAPI · scikit-fem · Next.js 15 · Three.js · TypeScript · Tailwind

Stress-Driven G-Code Planning for Multi-Axis High-Speed Continuous Carbon Fiber 3D Printing

Sun, 01 Feb 2026 00:00:00 +0000

面向多轴高速连续碳纤维 3D 打印的应力驱动 G-code 规划

Sun, 01 Feb 2026 00:00:00 +0000

Efficient Inference Infrastructure for Deployable Vision-Language-Action Policies

Mon, 01 Dec 2025 00:00:00 +0000

面向可部署视觉-语言-动作策略的高效推理基础设施

Mon, 01 Dec 2025 00:00:00 +0000

Open-Source Robotics Collaboration with 子豪兄

Sat, 01 Nov 2025 00:00:00 +0000

A series of open-source robotics projects co-built with — Tongji University’s most prominent AI/robotics education creator — focused on making embodied AI hardware accessible to the community.

OpenDuckMini — Bipedal Duck Robot

Hardware internals: 3D-printed PLA/PETG frame, servo actuators at each joint, Raspberry Pi onboard compute, custom PCB wiring harness.

Dynamic walking and running gait — field-tested on Tongji University track
3D-printed structural components (PLA/PETG), servo-actuated joints, Raspberry Pi compute

OpenDuckMini 完整构建文档硬件组装 · 标定流程 · 步态调试指南 Feishu Docs 子豪兄 Bilibili 主页同济大学 AI/机器人教育创作者 Bilibili miracle-techlink / GitHub 开源机器人项目代码仓库 GitHub

Quadruped Platform

Four-legged robot platform for reinforcement learning locomotion experiments and sim-to-real transfer research, built alongside the bipedal work as part of the same hardware studio.

Community & Mission

All projects are fully open-source and documented — reproducible by anyone with access to a 3D printer and basic electronics. The goal is to democratize embodied AI hardware and accelerate the research-to-product cycle for students and researchers across China.

OpenDuckMini — 开源双足机器人

Sat, 01 Nov 2025 00:00:00 +0000

OpenDuckMini 是与联合开发的开源微型双足机器人平台，子豪兄是国内最具影响力的 AI 科普创作者之一。

硬件配置：

3D 打印结构件（PLA/PETG）
各关节舵机驱动
树莓派板载计算
自制 PCB 线束

运动能力：

动态双足行走与奔跑步态
已在大学跑道实地测试
开源硬件设计，社区可完整复现

社区生态：

完整组装文档发布于飞书 Wiki
隶属与子豪兄在同济大学联合创立的机器人工作室

本项目体现了一个核心理念：具身 AI 硬件民主化 — 让任何人都能构建并实验足式机器人，加速从研究到产品的转化周期。

演示视频详见或项目文档。

综述：VLA 如何落地医疗机器人

Mon, 27 Oct 2025 00:00:00 +0000

综述：VLA如何落地医疗机器人

Mon, 27 Oct 2025 00:00:00 +0000

LLM Finetuning Practice

Fri, 17 Oct 2025 00:00:00 +0000

LLM Finetuning Technical Report

Wed, 15 Oct 2025 00:00:00 +0000

VLA 具身模型后训练综述

Mon, 13 Oct 2025 00:00:00 +0000

VLA具身模型后训练综述

Mon, 13 Oct 2025 00:00:00 +0000

LeRobot & Embodied AI Hackathon Projects

Wed, 01 Oct 2025 00:00:00 +0000

LeRobot — Study & Deployment

Deep dive into Hugging Face LeRobot — the leading open-source embodied intelligence framework — covering architecture analysis, training pipeline reproduction, and real-robot deployment.

Study scope:

ACT (Action Chunking with Transformers) policy architecture
Diffusion Policy training and inference pipeline
TDMPC world-model-based control
Real-robot deployment on SO-100 / Koch v1.1 hardware

📖 Co-authored comprehensive Chinese-language documentation. Officially featured by Hugging Face.

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

Connection to research: LeRobot’s flow-matching policy backbone directly informed the GDN-Memory integration work — understanding the inference pipeline was prerequisite to designing sub-1ms memory update scheduling.

tri.me — Home-Care Robot Platform

🏆 3rd Place — 小红书巅峰赛 Hackathon

tri.me 家庭护理机器人 Demo Tri.me吹了吗家庭护理机器人 · 小红书巅峰赛三等奖小红书 persuer0/treame 松灵 Nero 七自由度机械臂 · 刷牙 / 吹头发 / 剃胡子 GitHub

三类护理场景：刷牙 × 吹头发 × 剃胡子

场景	技术要点
🦷 刷牙	牙刷轨迹规划 × 力控清洁
💨 吹头发	头部跟随 × 角度自适应
🪒 剃胡子	面部轮廓贴合 × 微米级精度

三层解耦系统架构：感知层 / 控制层 / 执行层

三层解耦架构：

感知层 — 人体骨骼/人脸关键点实时检测，摄像头硬件加速编解码
控制层 — 机械臂 SDK，支持关节空间、笛卡尔、直线、圆弧多种运动模式，内置 SE3 坐标变换
执行层 — SocketCAN 协议驱动松灵 Nero，实现真正"以人为中心"的护理闭环

LeRobot 与具身 AI 黑客松项目

Wed, 01 Oct 2025 00:00:00 +0000

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

LeRobot — 学习与部署

深入研究 Hugging Face LeRobot — 当前领先的开源具身智能框架 — 涵盖架构解析、训练流程复现与真机部署。

学习范围：

ACT（Action Chunking with Transformers）策略架构
Diffusion Policy 训练与推理流水线
TDMPC 基于世界模型的控制
SO-100 / Koch v1.1 硬件真机部署

📖 联合撰写系统性中文社区文档，已被 Hugging Face 官方收录。

LeRobot 中文社区文档架构解析 · 训练流程 · 真机部署 · HuggingFace 官方收录 Feishu Docs

与研究的关联： LeRobot 的流匹配策略主干直接启发了 GDN-Memory 集成方案 — 理解推理流水线是设计亚毫秒级记忆更新调度的前提。

tri.me — Home-Care Robot Platform

🏆 3rd Place — 小红书巅峰赛 Hackathon

三类护理场景：刷牙 × 吹头发 × 剃胡子

场景	技术要点
🦷 刷牙	牙刷轨迹规划 × 力控清洁
💨 吹头发	头部跟随 × 角度自适应
🪒 剃胡子	面部轮廓贴合 × 微米级精度

三层解耦系统架构：感知层 / 控制层 / 执行层

三层解耦架构：

感知层 — 人体骨骼/人脸关键点实时检测，摄像头硬件加速编解码
控制层 — 机械臂 SDK，支持关节空间、笛卡尔、直线、圆弧多种运动模式，内置 SE3 坐标变换
执行层 — SocketCAN 协议驱动松灵 Nero，实现真正"以人为中心"的护理闭环

LLM 微调实战报告

Sat, 20 Sep 2025 00:00:00 +0000

LLM 微调实战：从 LoRA 到全参数

Mon, 15 Sep 2025 00:00:00 +0000

CFD 散热仿真：从建模到优化

Sun, 10 Aug 2025 00:00:00 +0000

Medical AI Consultation Platform

Fri, 01 Aug 2025 00:00:00 +0000

An end-to-end medical AI platform developed from Oct 2024 to Aug 2025, covering both model training and product deployment.

Part 1 — Multimodal Medical LLM:

Three-stage fine-tuning: Medical Alignment → Instruction Tuning & Routing → Domain Expert Routing
Image-text cross-attention alignment for CT/MRI images and medical text
MoE-style routing: directs tasks to specialized expert modules (radiology, clinical text, etc.)
Architecture reference: EMNLP 2024 routing framework

Part 2 — Cloud Platform:

Coze multi-agent workflow for medication assistance and health check-in
Visual imaging analysis + report OCR pipeline
Web frontend: symptom analysis, drug recommendation, health knowledge base
Deployed and validated with real hospital feedback

Reflection: Identified product-market fit issues early — physician trust barriers and unclear monetization in B2B healthcare remain the core challenge for medical AI products.

Stack: PyTorch · Transformers · Coze · Vue · Cloud deployment

Model Training Pipeline

Three-stage fine-tuning: Medical Alignment → Instruction Tuning & Routing → Domain Expert Routing (reference: EMNLP 2024).

Coze Multi-Agent Workflow

Coze multi-agent workflow for medication assistance, health check-in, and domain routing.

Platform Frontend

智慧医疗AI平台 — symptom analysis, drug recommendation, visual report OCR, deployed and validated with hospital feedback.

医疗 AI 问诊平台

Fri, 01 Aug 2025 00:00:00 +0000

从 2024 年 10 月到 2025 年 8 月自研的端到端医疗 AI 平台，涵盖模型训练与产品部署全流程。

第一部分 — 多模态医疗大模型：

三阶段微调：医学对齐 → 指令微调与路由 → 领域专家路由
CT/MRI 图像与医学文本的跨注意力对齐
MoE 式路由：将任务分配至专项专家模块（放射科、临床文本等）
架构参考：EMNLP 2024 路由框架

第二部分 — 云端平台：

Coze 多智能体工作流，覆盖用药辅助与健康打卡
影像分析 + 报告 OCR 流水线
Web 前端：症状分析、药品推荐、健康知识库
已部署并获得真实医院反馈验证

反思： 较早识别出产品市场匹配问题 — 医生信任壁垒与 B2B 医疗变现路径不清晰，是医疗 AI 产品的核心挑战。

技术栈： PyTorch · Transformers · Coze · Vue · 云端部署

模型训练架构

三阶段微调流程：医学对齐 → 指令微调与路由 → 领域专家路由（参考 EMNLP 2024）。

Coze 多智能体工作流

Coze 多智能体工作流，覆盖用药辅助、健康打卡与领域路由。

平台前端

智慧医疗AI平台 — 症状分析、药品推荐、影像报告 OCR，已部署并获得医院反馈验证。

FlashAttention 原理与工程实现解析

Sun, 20 Jul 2025 00:00:00 +0000

DeepSpeed ZeRO 训练大模型实战

Sat, 05 Jul 2025 00:00:00 +0000

PyTorch DDP 分布式训练实战

Sun, 15 Jun 2025 00:00:00 +0000

拓扑优化与CFD — 高功率芯片微流体冷却系统设计

Fri, 02 May 2025 00:00:00 +0000

LLM底层架构 — 手撕 FlashAttention

Sun, 27 Apr 2025 00:00:00 +0000

LLM分布式训练 — DeepSpeed 实操

Wed, 23 Apr 2025 00:00:00 +0000

LLM分布式训练 — 数据并行策略

Wed, 23 Apr 2025 00:00:00 +0000

Awards & Competitions

Sun, 19 May 2024 00:00:00 +0000

奖项与竞赛

Sun, 19 May 2024 00:00:00 +0000

AGV Reception & Inspection Robot — Tongji Deployment

Wed, 01 May 2024 00:00:00 +0000

Participated in the R&D of an intelligent AGV robot platform deployed across Tongji University’s exhibition hall and teaching buildings. The system integrates two robot roles — reception (迎宾) and inspection (巡检) — on a shared AGV chassis with a modular AI brain architecture.

My contribution: Led the voice module localization for Middle East clients — adapting the NLP pipeline for Arabic speech recognition, TTS, and interaction flows to support overseas commercial deployment.

Deployment

Left: Reception robot in Tongji University Exhibition Hall. Right: Inspection robot in Tongji teaching building.

System Architecture

Dual-brain architecture: AI大脑 (data analysis / model inference / HRI) + AGV大脑 (autonomous navigation controller) on a unified AGV platform.

The robot uses a dual-brain architecture:

AI 大脑 — handles 数据分析, 模型推理, 人机交互 (vision, NLP, multimodal interaction)
AGV 大脑 — autonomous navigation controller (SLAM, path planning, motor control)

Hardware Specs

Hardware: T1 industrial LiDAR, SONY 4G i640 compute unit, 60W×2 brushless drive motors, 24V/16Ah battery pack.

Module	Spec
LiDAR	单线激光雷达，180° FOV，测距精度 0.1°
Compute	SONY 4G i640，Ubuntu 16.04
Drive	橡胶车轮，60W×2 无刷电机，最高速 0.5m/s
Battery	18650锂电，24V/16Ah，续航 2h

Perception Capabilities

人员监测（人脸/穿戴/姿态/行为识别）× 环境监测（温湿度/烟雾/火警）

人员监测：

人脸识别与比对
穿戴识别（衣物、着装规范）
姿态检测（人体骨骼关键点）
行为识别（吸烟检测、摔倒预警）

环境监测：

温湿度检测（区域/物体温度）
烟雾报警（有害气体 + 烟雾检测）
火警预警（融合温度、热图、烟雾多源判断）

Face Recognition & Edge AI

人脸识别 + 红外测温实时上传，支持二次开发与定制化功能扩展。

人脸识别 + 红外测温数据实时上传
考勤数据大屏可视化
支持二次开发，可为客户定制化功能模块（含中东客户阿拉伯语语音交互落地）

AGV 迎宾巡检机器人 — 同济大学落地部署

Wed, 01 May 2024 00:00:00 +0000

参与研发面向同济大学展厅与教学楼的智能 AGV 机器人平台，集迎宾与巡检两大角色于共用 AGV 底座，搭载模块化 AI 大脑架构。

个人贡献： 主导中东客户阿拉伯语语音模块本地化落地，包括阿拉伯语 ASR、TTS 及交互流程适配，支撑海外商业部署。

落地场景

左：迎宾机器人同济展厅内投放使用。右：巡检机器人同济教学楼投放使用。

系统架构

双脑架构：AI大脑（数据分析/模型推理/人机交互）+ AGV大脑（自主导航控制器）统一底盘平台。

机器人采用双脑架构：

AI 大脑 — 负责数据分析、模型推理、人机交互（视觉、NLP、多模态）
AGV 大脑 — 自主导航控制器（SLAM、路径规划、电机控制）

硬件配置

硬件：T1 工业级激光雷达、SONY 4G i640 计算单元、60W×2 无刷驱动电机、24V/16Ah 电池组。

模块	参数
激光雷达	单线，180° 视角，测距精度 0.1°
计算单元	SONY 4G i640，Ubuntu 16.04
驱动	橡胶车轮，60W×2 无刷电机，最高速 0.5m/s
供电	18650 锂电，24V/16Ah，续航约 2h

感知能力

人员监测（人脸/穿戴/姿态/行为识别）× 环境监测（温湿度/烟雾/火警）

人员监测：

人脸识别与比对
穿戴识别（衣物、着装规范）
姿态检测（人体骨骼关键点）
行为识别（吸烟检测、摔倒预警）

环境监测：

温湿度检测（区域温度 + 物体温度）
烟雾报警（有害气体 + 烟雾）
火警预警（融合温度、热图、烟雾多源）

人脸识别与边缘 AI

人脸识别 + 红外测温实时上传，支持二次开发与定制化功能扩展。

人脸识别 + 红外测温数据实时上传后台
考勤数据大屏可视化
支持二次开发，可定制化功能模块（含中东客户阿拉伯语语音交互落地）

Robotic Arm Simulation Engine — Tongji × Siemens Industry 4.0 Lab

Thu, 01 Feb 2024 00:00:00 +0000

Three.js real-time robotic arm visualization — adjusting slider parameters updates the 3D model in real time.

A joint research project between Tongji University’s Sino-German Industry 4.0 Lab and Siemens, replacing legacy particle swarm optimization (PSO) with deep reinforcement learning for higher-precision robotic arm control.

Technical work:

DQN agent for joint trajectory optimization, replacing PSO baseline
Three.js 3D visualization — interactive slider-based parameter control, real-time model updates, importable industrial equipment scenes
SITP project certification completed

Key insight: After exposure to NVIDIA Isaac Sim, identified that the core need is not model import/visualization but custom algorithm interfaces and GPU-accelerated physics simulation — pivoted research direction accordingly.

Affiliations: Tongji University Sino-German Industry 4.0 Lab × Siemens | 2023.11 – 2024.02

机械臂仿真引擎 — 同济×西门子工业 4.0 实验室

Thu, 01 Feb 2024 00:00:00 +0000

引擎演示视频 · Bilibili Three.js 机械臂仿真引擎实时演示 Bilibili

Three.js 实时机械臂可视化 — 调节滑动条旋转参数，模型相应变化。

同济大学中德工业 4.0 实验室与西门子联合研究项目，用深度强化学习替代传统粒子群优化（PSO），实现更高精度的机械臂控制。

技术工作：

DQN 智能体 用于关节轨迹优化，替代 PSO 基线
Three.js 3D 可视化 — 滑动条交互式参数控制，实时模型更新，支持导入工业设备场景
SITP 项目结项认证 已完成

关键洞察： 接触 NVIDIA Isaac Sim 后，识别到核心需求并非模型导入/可视化，而是自定义算法接口与 GPU 加速物理仿真 — 据此调整了研究方向。

归属： 同济大学中德工业 4.0 实验室 × 西门子 | 2023.11 – 2024.02

Experience

Tue, 24 Oct 2023 00:00:00 +0000

工作经历

Tue, 24 Oct 2023 00:00:00 +0000

Smart Car Design — Provincial Competition Silver Award (Team Lead)

Thu, 01 Jun 2023 00:00:00 +0000

Led a team in designing and manufacturing a cam-steered autonomous smart car for the provincial-level competition, taking the project from concept through mechanical design, simulation, and hardware implementation.

Role: Team Lead — responsible for overall mechanical architecture, steering system design, trajectory modeling, and circuit design.

Mechanical Design

Early-stage CAD concept model — initial chassis layout and wheel configuration.

Final SolidWorks detailed render — cam steering mechanism, gear transmission, drive wheels, and onboard camera mount.

The steering system uses a cam-based mechanism to convert rotational motion into precise lateral displacement, eliminating the need for servo actuators and improving mechanical reliability. The drivetrain uses a gear reduction stage paired with brushed DC motors.

Trajectory Simulation

MATLAB trajectory simulation — left: full path trace (x/y in mm); top-right: vehicle turning angle vs. displacement; bottom-right: cam curve profile.

Developed a MATLAB model to simulate the vehicle trajectory based on the cam profile. Key outputs:

Path trace — verifies the car follows the intended curved route
Turning angle curve — validates smooth, continuous steering input
Cam profile — designed for minimal acceleration jerk and stable contact force

Charging Circuit

Custom charging circuit schematic — onboard battery management for the competition vehicle.

Designed a custom charging circuit with battery management to ensure reliable power delivery during competition runs.

Award: Silver Award, Provincial Smart Car Competition | Team Lead Stack: SolidWorks · MATLAB · PCB Design · DC Motor Control

智能小车设计 — 省赛银奖（队长）

Thu, 01 Jun 2023 00:00:00 +0000

担任队长，带队设计并制造一辆凸轮转向自主智能小车，参加省级竞赛。项目覆盖机械设计、轨迹仿真到硬件实现的全流程。

职责： 队长 — 负责整体机械架构、转向系统设计、轨迹建模与电路设计。

机械设计

初版 CAD 概念模型 — 底盘布局与车轮配置初稿。

SolidWorks 最终详细渲染 — 凸轮转向机构、减速齿轮、驱动车轮与摄像头支架。

转向系统采用凸轮机构，将旋转运动转化为精确的横向位移，无需舵机，提升机械可靠性。传动部分采用减速齿轮级配合有刷直流电机。

轨迹仿真

MATLAB 轨迹仿真 — 左：完整路径轨迹（单位 mm）；右上：车辆转角随位移变化；右下：凸轮曲线轮廓。

基于凸轮轮廓建立 MATLAB 仿真模型，验证车辆行驶轨迹。核心输出：

路径轨迹 — 验证小车沿预定曲线行驶
转角曲线 — 确保转向输入平滑连续
凸轮轮廓 — 设计目标：最小加速度冲击、稳定接触力

充电电路

自制充电电路原理图 — 含电池管理，保障比赛期间稳定供电。

奖项： 省级智能小车竞赛银奖 | 队长 技术栈： SolidWorks · MATLAB · PCB 设计 · 直流电机控制

Liu Yue — Embodied AI Researcher

Example Talk

GDN-Memory: Constant-Footprint Associative Memory for Embodied World Models

GDN-Memory: Constant-Footprint Embodied Memory for World Models

Demo

Experiment Log

Exp A — GDN Object Memory: Synthetic Validation ✅ PASS

Exp B — GenieSim Real-Scene Validation 🔜 Planned

Exp C — GDN + GE-Act Integration 🔜 Planned

Exp D — System 2 Surprise Routing 🔜 Planned

Exp E — System 3 Persistent Prior 🔜 Planned

GDN-Memory: Constant-Footprint Embodied Memory for World Models

演示视频

实验记录

实验 A — GDN 物体记忆：合成数据验证 ✅ 通过

实验 B — GenieSim 真实场景验证 🔜 计划中

实验 C — GDN + GE-Act 集成 🔜 计划中

实验 D — System 2 惊奇路由 🔜 计划中

实验 E — System 3 持久先验 🔜 计划中

GDN-Memory：具身世界模型的恒定占用联想记忆系统

Endovascular Surgical Robot Platform (stEVE)

System Architecture

Clinical Navigation Demo

Synthetic-Data-Driven Diffusion Models for Endovascular Intervention Guidance

合成数据驱动的扩散模型用于血管腔内介入引导

血管介入手术机器人平台（stEVE）

系统架构

临床导航演示

MacroHard Maker — CCF 3D Printing Path Planner

MacroHard Maker — 连续碳纤维 3D 打印路径规划

Stress-Driven G-Code Planning for Multi-Axis High-Speed Continuous Carbon Fiber 3D Printing

面向多轴高速连续碳纤维 3D 打印的应力驱动 G-code 规划

Efficient Inference Infrastructure for Deployable Vision-Language-Action Policies

面向可部署视觉-语言-动作策略的高效推理基础设施

Open-Source Robotics Collaboration with 子豪兄

OpenDuckMini — Bipedal Duck Robot

Quadruped Platform

Community & Mission

OpenDuckMini — 开源双足机器人

综述：VLA 如何落地医疗机器人

综述：VLA如何落地医疗机器人

LLM Finetuning Practice

LLM Finetuning Technical Report

VLA 具身模型后训练综述

VLA具身模型后训练综述

LeRobot & Embodied AI Hackathon Projects

LeRobot — Study & Deployment

tri.me — Home-Care Robot Platform

LeRobot 与具身 AI 黑客松项目

LeRobot — 学习与部署

tri.me — Home-Care Robot Platform

LLM 微调实战报告

LLM 微调实战：从 LoRA 到全参数

CFD 散热仿真：从建模到优化

Medical AI Consultation Platform

Model Training Pipeline

Coze Multi-Agent Workflow

Platform Frontend

医疗 AI 问诊平台

模型训练架构

Coze 多智能体工作流

平台前端

FlashAttention 原理与工程实现解析

DeepSpeed ZeRO 训练大模型实战

PyTorch DDP 分布式训练实战

拓扑优化与CFD — 高功率芯片微流体冷却系统设计

LLM底层架构 — 手撕 FlashAttention

LLM分布式训练 — DeepSpeed 实操

LLM分布式训练 — 数据并行策略

Awards & Competitions

奖项与竞赛

AGV Reception & Inspection Robot — Tongji Deployment

Deployment

System Architecture

Hardware Specs

Perception Capabilities

Face Recognition & Edge AI

AGV 迎宾巡检机器人 — 同济大学落地部署

落地场景

系统架构