项目说明
2023年chatgpt横空出世,第一时间打通chatgpt chat上下文与机器人API,实现巡检类机器人的自然人机交互范式MVP,实验过程中涌现出机器人自己“创造行为”的模式,微微验证了机器人自我进化的可能性。整体基于达摩院“小金牛”与“瓦力”平台开发,二者都是用于电网自主巡检场景的机器人,一个用于室内,一个用于室外。
我的角色
AI自然交互技术负责人。负责RoboChat框架搭建,解决基于LLM的Robo大脑设计、返回处理、python可执行代码提取、env创建、API调用、事件调度等。
关键决策
- 利用大模型的“理解能力”生成并组合行为而非传统“关键词”式的检测识别。
- 搭建大模型生成内容->可执行代码提取(早期tool use)->API调用->行动反馈框架。
- 已落地实际机器人应用场景,融入工作流程。