案例简介

水稻是我国三大主粮之一。水稻田的田间管理复杂、重复度高（诸如打药、锄草等）且工作极其繁重，给从业人员造成了极大的负担。苏州博田利用百度飞桨(PaddlePaddle)的深度学习技术让拖拉机和农业机器人学会了视觉导航，可以根据水稻秧苗的种植情况实时调整航向，避免压苗等情况出现，从而更好地保养和管理水稻秧苗。这一改进，让“节省人力的同时大幅提高农作物产量”的梦想成为了现实。

相关产品

PaddleSeg

合作伙伴简介

苏州博田自动化技术有限公司是一家专门从事农业智能装备技术研发与产业化的高新技术企业。公司秉承“科技创新、智能引领、众创共享、机器助人”的发展理念，创造性的开发出植保机器人、果蔬采摘机器人、锄草机器人、设施农业机器人、农机智能管理系统、农机辅助导航系统等智能农机装备，多项产品填补国内空白，并在全国二十多个省市广泛应用。

业务挑战

由于水稻是按列种植的，列与列之间近似平行，因此，实现农机视觉自动导航的基础在于实时准确地检测出秧苗列中心线。虽然使用传统图像处理算法也能够提取到秧苗列的中心线，但是自然光照下的水田为非结构化环境，不同天气不同时段图像亮度的差异、水田里夹杂浮萍蓝藻等与秧苗特征相似的植物、偶发缺苗和反光等干扰因素还是对传统算法的鲁棒性形成了很大的挑战，精准度难以保证。

水田环境如图：

解决方案

为解决这一难题，苏州博田技术人员综合分析稻田图像特点，基于百度飞桨(PaddlePaddle)深度学习平台研发了水田导航线自动检测系统。他们应用飞桨图像分割开发套件PaddleSeg中的ICNet模型将秧苗按列从背景中分割出来，并以此为基础实现了秧苗列中心线的精准提取。

第一阶段：数据集制作

技术人员分别在一天内不同时间段采集插秧1周后和插秧3周后两个典型时期的水稻秧苗的图片各400幅，并且在每个时段通过设置不同的曝光时间以采集不同亮度的图片。

第二阶段：模型选择

农机视觉导航任务与自动驾驶有一定的相似性，都需要保证一定精度的情况下有高实时性，并且能够在嵌入式设备等移动端部署。飞桨PaddleSeg语义分割库支持的主流语义分割网络之一ICNet，属于参数量较小的轻量级语义分割网络，为自动驾驶等需要低内存和高实时性的应用场景而设计，非常适合农机视觉导航。与U-Net系列、DeepLab系列等预测精高的网络相比，ICNet在精度降低较少的情况下大幅度减少了预测时间和占用内存，能够在像1024*2048像素这样高分辨率的图像上达到实时效果。

第三阶段：模型训练

在模型训练过程中，可以通过修改相关配置文件自定义优化器、迭代次数等训练使用的超参数，以及训练时图像裁剪的尺寸等。此外，飞桨还加入了图像增强模块，可以通过修改配置文件决定是否采用图像增强以及修改图像增强的策略等，这样在数据量不足的时候也能训练得到泛化能力强的网络。模型输入设为为640 x 512，配置完毕后即可调用训练脚本对模型进行训练。

第四阶段：最优模型选取

训练网络时，每5个epoch保存一次参数。采用飞桨的可视化工具VisualDL查看训练的损失值随训练轮数的变化情况以及在验证集中的准确率，选取在验证集上准确率最高的模型，这样可以防止过拟合。

VisualDL可视化图：

第五阶段：测试效果

利用PaddleSeg，苏州博田农业机器人已经拥有排除干扰精确地将秧苗从背景中分割出来、提取外轮廓和原图特征点、进而准确提取到中间4~5列秧苗中心线的能力，为实现农机视觉导航打下了坚实的基础。自动检测系统配上GPS，苏州博田农业机器人已经实现从出库到入库全程自动导航的无人化作业，大大减少了人力物力的投入，为农民的耕作效率、健康等提供了保障。

分割结果展示，从左至右为：图像分割结果示意图、原图特征点提取示意图、秧苗列中心线提取结果示意图。

价值成果

基于飞桨平台，苏州博田技术人员实现了在复杂的水田环境中的视觉导航线提取，提取准确率达到95％以上，处理每帧图像耗费的时间（包括ICNet网络的分割预测时间和后续导航线提取的时间）达到300ms左右，效率满足农机作业环境下的速度要求，将农民从重复、枯燥的劳动中解放出来。最为显著的提升是提取导航线精度的提升，使用PaddleSeg之前，苏州博田试验过其它多种方法，但遇到特殊工况时精度均难以保证，使用基于PaddleSeg的导航线提取方法后，在试验图像中的平均角度误差从3.27°降低到了1.65°。在反光、缺株等情况下也基本不会出现角度误差大于5°的情况。

博田的研发人员称赞：“PaddleSeg语义分割库使用简单，部署方便，功能丰富。可根据实际需要以及试验结果选用不同的分割模型和配置参数，节省了很多因‘造轮子’而浪费的时间。这不仅简化了我们的工作，还真正实现了技术上的革新。大大加快了农机智能化发展的步伐。”

苏州博田的此项应用为自动导航农业机器人提供了精准、高效、可靠的技术支持，让农机智能化、农民职业化的伟大愿景迈出了重要的一大步，为我国精细农业的推广起到了促进作用。下一步，苏州博田还计划在温室环境下果蔬采摘、智能巡检等设施农业机器人方面应用飞桨，希望未来可以让更多的农业从业者能实实在在地感受到智能农业带来的便利。