【新智元导读】近日,HuggingFace开源了低成本AI机器人LeRobot,并指导大家从头开始构建AI控制的机器人,包括组装、配置到训练控制机器人的神经网络。
项目基于开源的Koch v1.1机器人套件(也可以是别的硬件或者虚拟平台),包含两个六电机的机械臂,可使用一个或多个摄像头作为视觉传感器。
目前的HuggingFace上给出了四种模型,以及98个数据集,开发者还可以选择在训练过程中上传自己的数据集。
下图是前辈的样子,总体的硬件差别不大,但为了方便大家复刻和使用,LeRobot做了一些改进。
Koch v1.1拿掉了之前硬件模型中一些干扰材料,让尺寸标准化,并为引导臂添加了一个平台,允许从动臂从地面拾取物体。
下表是需要购买的部件,主要的开销在6个舵机上面,剩下的包括电机驱动板、固定装置、电源、杜邦线之类的。
他这里给出的两种电机扭矩都不大,但精度和转速倒是都挺高,不知道替换后会有多大影响,感兴趣的小伙伴不妨一试。
DynamixelMotorsBus会自动检测当前电机索引,如果电机中保存的索引与配置文件中不匹配,会触发一个配置过程,需要拔掉电机的电源,按顺序重新连接电机。
手动调节机械臂到几个固定的位置,相当于给电机一个相对的归零位置,同时也保证引导臂和从动臂的静止位置大致对齐。
准备就绪,下面可以开始控制机械臂了,比如让从动臂模仿引导臂,设置采样频率200Hz,操作30秒:
那么由此可知,训练机械臂模仿人类的原理就是,在从动臂模仿引导臂的同时,加上一个摄像头的实时画面,
在模仿(训练)的过程中,模型收集了手臂位置和对应的图像数据,之后(推理)就可以根据当前摄像头看到的画面来预测各个电机需要到达的角度。
除了ACT,你也可以使用或者训练自己的模型,可以改成ALOHA那样的双臂模式,或者在虚拟环境中进行训练和验证。
一旦您熟悉了数据记录,就可以创建更大的数据集进行训练。一个好的开始任务是在不同位置抓取一个物体并将其放入箱子中。
实现可靠的抓取性能后,您可以开始在数据收集过程中引入更多变化,例如额外的抓取位置、不同的抓取技术以及改变相机位置。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
上一篇:佳源科技申请基于python的台区低压负荷数据提取分析专利能够全面掌握设备运行状态
下一篇:用 Python 分析过去四年的比赛数据实力最强的 NBA 球队原来是它