第二代实验助教机器人在大学物理实验课堂中巡视

AI 赋能课程教学改革创新项目

基于机器人及大语言模型的理工科实验助教

面向《大学物理实验》的真实课堂,把大语言模型的认知推理、多模态感知和机器人操作能力结合起来, 让实验助教从屏幕后走进三维实验空间,完成演示带教、现象答疑、安全巡视与过程评价。

多模态感知 原子技能库 云边端协同

Project Snapshot

让实验教学的“经验”被感知、被复现、被传承

项目构建了一套自主研发的机器人实验助教系统,以“物理具身智能”为基石, 以“领域专家大脑”为核心,以“人机协同教学”为场景,将标准化实验操作、现场答疑和过程数据记录连接成闭环。

Why It Matters

传统实验助教的四个痛点

中期与结题汇报中反复指向同一个问题:实验课最需要及时、稳定、标准一致的现场指导, 但人力助教很难长期覆盖所有学生、所有台位和所有异常情形。

01

水平参差

不同助教对仪器操作、异常判断和讲解尺度不完全一致。

02

响应不及时

实验现场学生多、问题密集,助教难以同时巡视和答疑。

03

安全盲区

电学、光学、理化实验中的风险动作需要持续监控。

04

评价主观

过程性表现、操作规范性和纠错轨迹难以客观记录。

Four Roles

机器人实验助教的四大职能

演示带教

复现示波器调节、信号发生器设置、光路调整等标准操作。

问题解答

结合课程知识库回答“为什么不显示波形”“触发准位如何设置”等现场问题。

安全监控

通过视觉和传感器识别不规范连接、异常状态与潜在风险。

成绩考评

记录实验过程数据,为过程性评价和个性化反馈提供依据。

System Architecture

“云 - 边 - 端”协同的实验助教系统

系统把课程知识、实验操作技能和机器人执行能力分层组织:云端沉淀垂直领域大模型与知识图谱, 边端负责多模态感知和数据采集,终端机器人完成实体操作与现场交互。

领域专家大脑

大学物理实验知识图谱、课程语料、答疑记录和大模型推理。

多模态感知

RGB / 深度相机、光电传感、触觉反馈共同理解仪器状态。

具身执行

机械臂、底盘、腰部升降与低层控制模块执行原子技能。

云边端协同架构图
云端、边缘层与终端设备协同
项目工作方法图
知识库、技能建模、大模型与具身能力的工作路径
仪器固定与扫描硬件平台设计图
面向仪器坐标建模的硬件平台设计
第二代机器人操作示波器和信号发生器

Atomic Skill Library

从高层问题到可执行动作

“请演示如何用示波器测量信号频率”会被拆解为定位仪器、识别旋钮、调节时基、 稳定触发、读取波形等原子技能,再由机器人运动控制和实时视觉反馈闭环执行。

Robot Evolution

从第一代验证样机到第二代课堂助教

项目先用第一代机器人验证“AI + 机械臂 + 仪器操作”的可行性, 再迭代为更轻量、更贴近课堂的第二代平台,提升交互、感知与部署适配能力。

Generation 01

第一代:完成实验演示与现象答疑验证

第一代设计聚焦核心闭环:机械臂靠近实验仪器、读取和调节示波器/信号源, 配合大模型进行实验现象解释,为中期汇报中的演示带教、巡视答疑和仪器坐标映射奠定基础。

第一代助教机器人在实验台前操作仪器
第一代助教机器人实验场景
第一代机械臂近距离操作示波器和信号发生器
机械臂近距离操作仪器面板

Generation 02

第二代:轻量化、可巡视、可课堂协同

结题汇报中的第二代机器人强化了轻量化底盘、大行程腰部、高灵活机械臂、 原子技能库、多维传感反馈和课程友好交互,面向真实课堂中的持续巡视与主动纠偏。

Teaching Data

来自真实答疑记录的能力样例

项目沉淀了围绕示波器实验的高频问题:李萨如图形调试、波形不显示、两条直线、 触发准位、占空比、信号源输出电压等。机器人助教将这些问题映射到仪器状态、 原理解释和操作步骤,形成可复用的课程知识库。

李萨如图形怎么调试? 为什么波形是两条直线? 示波器不显示是什么原因? 触发准位 LEVEL 什么时候调? 示波器一格代表多少? 信号源输出电压为什么不一致?

Technology Transfer

从教学改革走向公安理化实验实战

厦门市公安局司法鉴定中心“理化实验具身智能机器人操作系统”沿用本项目的 “大模型 + 具身机器人 + 多模态感知”核心框架,将教学端能力迁移为规范操作辅助、 安全风险防控、鉴定流程标准化与专家经验固化。

教学研发 课程知识库、原子技能库、仪器感知模型
技术迁移 面向试剂操作、仪器使用和流程规范做专业化适配
实战落地 辅助司法鉴定流程标准化、风险防控和专家经验沉淀
反哺教学 以真实应用场景促进课程案例、算法和系统集成迭代

Outcomes & Roadmap

面向可推广的理工科 AI 助教矩阵

项目下一阶段将横向拓展到化学、生物、工程训练等操作性课程, 纵向形成“操作性知识代际传承平台”,并通过低代码实验构建器降低教师部署门槛。

横向拓展

构建理工科实验教学 AI 助教矩阵,覆盖更多实验课程。

纵向传承

沉淀标准操作、名师经验与异常处置,形成可复现知识资产。

深度开放

降低技术门槛,探索开源社区与可持续运营生态。

XMU · Physics

让机器人成为理工科实验课堂里稳定、耐心、可迭代的AI助教