2020-05-06

基于5G+工业边缘云的机器视觉带钢表面检测平台

分享:

作为全球通信技术的领导者,中兴通讯在工业互联网、大视频、能源等行业领域形成超过30个5G+系列解决方案并成功实践了50多个示范项目,与超过300个行业客户建立战略合作,合力部署5G应用。与超过200家行业领先的产品提供商达成合作,推出面向不同行业基于5G的解决方案。

5G基础网络建设和工业互联网应用推广涉及高额持续的投入和长时间的积累,不仅需要龙头企业引领,更加需要政府、企业、联盟和科研院所等多方力量协同,共同构建开放共享的产业生态。


一、 项目概况

钢铁行业是复杂流程工业的典型代表,对网络的可靠性和稳定性有极高的要求,钢铁制造企业的生产线存在高温、粉尘、腐蚀和电磁干扰等复杂、恶劣的环境,迫切需要更泛在的设备互联、更智能的图像识别和自动化操作控制,提高生产效率、降低生产成本并保障作业人员安全。

钢铁行业是能耗和温室气体排放大户,通过5G+工业互联,推动绿色、环保的生产方式,具有巨大的社会效益。

1. 项目背景

随着科学技术的进步,钢铁行业的后续加工工业正向高速度、高精度和自动化方向发展。为了发挥自动化作业线生产稳定、材料利用率高、产品一致性好、成本低的优势,必然要求原材料的化学成分均匀、机械性能一致、尺寸公差小、表面质量好。而影响带钢表面量的主要因素是带钢在制造过程中由于原材料、轧制设备和加工工艺等多方面的原因,导致其表面出现的划痕、擦伤、结疤、粘结、辊印等不同类型的缺陷。这些缺陷不仅影响产品的外观,更严重的是降低了产品的抗腐蚀性、耐磨性和疲劳强度等性能。数十年来一直沿用人工开卷抽检或频闪光法等检测方法进行表面质量检测。这些方法不能完整可靠地反映带卷上下表面的质量状况,只能用于检测运行速度很慢的带钢表面,实时性差。因此,实现对带钢表面缺陷图像的准确分析,进而实现对表面缺陷分类和记录,并加以实时控制,对于提高生产效率和产品质量,从而提高企业竞争力将起到非常积极的作用。

2. 项目简介


为解决以上表面质量检测系统以及网络连接的问题,本项目根据钢铁行业的质量检测目前现状,结合工业互联网、机器视觉研究、5G网络及MEC、大数据平台、云计算等技术,利用工业相机拍摄高清图片,通过5G网络将检测图像上传至云平台,结合大数据分析图像数据,给出数据分析检测结果。依托5G网络的大带宽和低时延特性,使得系统的高清图像得以快速上传和分析,满足生产线高速运转的要求。本项目引入MEC工业边缘云,将本地应用进行数据分流,实现工业数据不出厂,保障工业数据安全和信息安全。同时,本项目在带钢表面检测系统中的图像处理软件、图像拼接合成软件、缺陷检出算法、缺陷识别分类等模块,在5G网络中的5G模组、MEC服务器及5G核心网软件均自主研发,开发基于工业边缘云的质量检测算法。本项目为钢铁企业提供工业相机、5G网络接入、MEC服务、工业云平台、带钢表面检测系统应用等端到端解决方案,以服务模式向钢铁企业提供服务,减少钢铁企业在网络、表检系统方面的投资和维护成本。本项目可快速复制到钢铁行业其他产品的表面质量检测场景,也可以推广到其他型材制造业、造纸业等行业。

3. 项目目标

基于5G+工业边缘云的机器视觉带钢表面检测项目包括以下四个目标:

一是提供钢铁企业内网的5G网络服务。根据钢铁企业需求,建设5G网络,根据需求部署MEC系统,以实现企业私网模式。

二是提供钢铁企业云平台服务,可以选择公有云模式和私有云模式。

三是提供带有5G模组的工业相机、机器视觉的带钢表面质量检测系统。

四是以服务模式进行推广,为其他钢铁企业或制造业企业客户提供5G+工业互联网机器视觉解决方案。


二、项目实施概况

中兴通讯、辽宁移动和鞍钢集团联合研发的“基于5G+工业边缘云的机器视觉带钢表面检测系统”,能够在带钢高速生产条件下,快速拍摄带钢表面高清图像并实时上传至MEC工业边缘云与缺陷库进行分析比对,通过缺陷分类记录和实时控制,可以大幅提升识别率和产出率。

1. 项目总体架构和主要内容


整体解决方案分为平台层、网络层、终端层、应用层四部分,组网图如下:

终端层:使用工业相机加5G模组,实现高清图像的拍摄与回传。

网络层:由5G基站和MEC组成,5G基站网络覆盖生产线,将回传的数据流通过PRRU、BBU进行编码传输,在MEC处进行信令解析,完成本地分流,将数据流解析后传输给云平台层。

云平台层:工业边缘云提供IaaS、PaaS、SaaS服务,为工业企业提供一站式上云服务。

应用层:表检系统应用层,包含图像预处理、缺陷检出、识别、信息管理等模块。


2. 5G网络架构

无线技术在工业领域的应用主要包括移动性刚需、数据采集、远程控制/巡检/维护和柔性生产等场景,当前工业领域使用的无线通信协议众多、各有不足且相对封闭,导致设备互联互通难,亟需构建一种新的无线技术体系,满足如下特性:

• 连续覆盖、安全性及高可靠性

• 上下行均支持高速率的数据传输

• 毫秒级时延的实时控制

• 支持局部区域内海量高并发、中高数据速率的物联网连接

5G具备更高的速率,更低的时延,更大的连接,有感知泛在、连接泛在、智能泛在的特点,5G将成为未来工业互联的基石。本项目网络组网架构见下图:

2. 具体应用场景和应用模式


带钢表面质量检测系统的工作流程包括图像采集、图像传输、图像处理、缺陷检出、缺陷识别、缺陷信息管理等过程。系统的工作流程如图所示,系统将采集到的带钢表面图像首先通过5G网络和MEC,将图像上传至云平台,然后进行图像预处理,将多相机采集到的图像进行拼接及带钢边部检测等处理。预处理后的图像一方面进行全幅带钢图像存储及输出,另一方面继续对预处理后的图像进行分析前处理,包括降噪、缺陷轮廓增强等图像处理流程。然后进行缺陷检出,标注缺陷区域,再进行缺陷识别,确定缺陷类别。最后将分析后的缺陷信息进行信息管理及人机交互等操作。

系统功能简介

(1)冷轧带钢表面质量缺陷检出;

(2)冷轧带钢表面质量缺陷分类;

(3)冷轧带钢宽度在线检测;

(4)冷轧带钢表面图像数据存储与查询;

(5)冷轧带钢表面质量缺陷数据存储与查询;

(6)冷轧带钢表面图像在线监控;

系统采用高速线阵CCD相机,线扫专业滤光镜头,高频漫射LED线光源,保证600m/min以下级别产线最小精度0.18mm的图像检测水平。系统分布式架构、全以太网万兆集成通讯、UPS稳压供电,构建简单安全通讯框架,使系统可以长期稳定运行。针对酸洗冷连轧等恶劣生产环境,系统还有针对性的增加了防酸气设计外罩、自适应光控系统、无源涡流冷却系统等设计。

软件运行平台在保证多相机高速碎片图像的自动拼接、精准带钢跟踪定位的前提下,同步实现对全幅带钢图像的光感平衡,目标区域标注、数据图像分发及优化关系型存储。采用标准缺陷特征模型快速处理框架,保证在线高速运行系统缺陷识别执行效率;通过基于CNN卷积神经网络+GPU深度学习框架,保证复杂、混合、轻微、模糊缺陷的精准分析。系统还基于缺陷样本大数据分析,确定样本关联模型,通过具备智能参数设定的分类模型正训练系统及误报缺陷反训练系统保证在线生产操作人员可全方位自行维护表检分析系统,保证系统分类效果的持续提升。


图像处理方法

图像拼接:离线时,进行基于直方图均衡化图像及优化SURF算法的离线分析,确定融合参数 。在线时,进行基于定位横移和灰度偏移的加权融合 。

带钢边部检测:依据带钢边部与带钢区域的灰度波动差异及波动程度来综合确定带钢边部位置。

降噪:主要采用灰阶边缘Gauss过滤 ,有效降低图像噪声的干扰,并抑制伪缺陷的产生。

轮廓增强:主要采用灰度直方图偏移方法 ,强化缺陷轮廓处的灰度对比度。


缺陷检出方法

缺陷检出是表面质量检测系统的基本功能,也是最主要的功能,缺陷检出率越高,说明系统对缺陷的判别能力越灵敏,通常情况我们要最大化系统的检出率,而最小化系统的检错率。系统缺陷检出方法主要分为三个流程。


缺陷识别方法

缺陷识别过程是人工智能技术在带钢表面质量检测系统中最为突出的体现,它使带钢表面质量检测系统具备现场质检人员的能力,能够根据缺陷图像的表象,判定缺陷的类别,进而辅助操作人员对生产状况作出判定并给与决策。本系统缺陷识别主要包括缺陷分类以及伪缺陷辨识两部分。

缺陷识别方法采用基于特征描述、结论输出的类决策树分类模型。

二次分类 :采用采用CNN深度学习网络,利用离线统计的各类缺陷经典域及扩展域及在线有教师的模型训练,持续丰富运行模型,在线智能判定缺陷类别归属。


4. 安全及可靠性

MEC工业边缘云利用5G无线接入网络就近提供工业企业用户IT服务和边缘计算功能,具备高性能、低延迟与高带宽的电信级服务能力,加速网络中各项内容、服务及应用的快速处理。

MEC的本地分流功能使得本地业务数据流无需经过核心网,直接由MEC平台分流至本地网络。本地业务分流可以降低回传带宽消耗和业务访问时延,提升业务体验。 通过MEC本地分流和网络切片技术,可实现机器视觉质量检测业务的5G网络端到端QoS保障,一方面确保高清图像在规定的时间内传输到工业边缘云,处理和分析的结果能够及时反馈并作用到生产控制一线,另一方面企业内5G局域网也可以使核心生产数据不出工厂,确保数据安全。

鞍山钢铁的5G+机器视觉质量检测系统对于可靠性的要求较高,因此MEC自身的硬件配置也需要具有容灾保护:

(1) MEC提供双交换板,两个交换板负荷均衡。

(2) MEC提供双电源备份,主用电源故障,备用电源启用,充分保障系统的可靠性。

(3) MEC提供双计算节点,对业务提供负荷均衡和灵活部署;

MEC采用虚拟化技术,也考虑的系统的保护:

(1) 虚机采用资源池方式部署,做冗余配置。

(2) 服务故障,PaaS平台能够提供快速重生。目前MEC上的服务是容器的方式部署在虚机上,当容器故障可以快速重生。当虚机故障,可以将服务在另外一个虚机上部署。

(3) 关键服务采用负荷分担方式。


5. 社会效益

制造强国战略第一个十年行动纲领《中国制造2025》强力推动智能制造。钢铁业正在从制造大国向制造强国迈进,“产品的质量”和“制造装备自主化能力的提升”是重要抓手。机器视觉技术是一项钢铁行业实现智能转型和升级的赋能技术。基于5G的机器视觉带钢表面检测平台,面对的客户均为政府、大型工业企业等重点行业客户,通过基于5G的机器视觉带钢表面检测平台的拓展,可有效指导优化生产工艺,提高生产效率,降低废品率,减少质量成本,是对“中国制造2025规划”行动纲领的实施,有利于工业企业数字化转型,打造全新的工业互联网生态体系。

实现生产设备和工业产品的泛在接入,运用工业互联网新技术新模式实施数字化网络化智能化升级,进一步降低经营成本、提升生产效率、提升产品质量,为企业模式升级奠定基础;帮助广大工业企业学习复制先行企业的工业知识,快速提升能力,降低了企业技术门槛和应用成本,也大大降低了企业投入成本,提高了企业的创新效率,带动其转型升级。

推动企业上云,企业采取按需付费、以租代买、服务租赁的模式,将现有业务系统直接迁移至云端,可有效降低企业基础设施的建设成本、维护成本。通过5G+MEC的部署,将网络能力、计算能力、存储能力、行业应用等实现在工厂的落地,满足用户“数据不出场”、超低时延的需求,极大地简化了工厂机器视觉部署方案,为制造业和互联工厂实现网络化、数字化、智能化升级提供一个可靠、可预期的网络环境,满足行业差异化+确定性的网络需求。

5G+机器视觉的智能制造体系,实现了互联工厂全流程信息自感知、全要素事件自决策、全周期场景自迭代,为制造业转型升级提供样板范例,助力中国智能制造的高质量发展。


三、项目创新点和实施效果

1. 项目先进性及创新点

· 商业模式的创新性

5G网络服务、云平台服务、表检系统应用服务的打包模式。在5G网络服务中,打包云平台服务、MEC服务以及带钢表面检测系统服务,做到一站式的端到端服务。工业企业使用端到端服务可以减少投资、减少人工维护成本,获得业界领先的机器视觉表检系统。中小企业也可享受到高质量低成本的表检服务。

· 技术方案的创新性

云化的带钢表面检测系统,实现网络化协同检测,共享缺陷图像库,提升缺陷识别率。一是共享了缺陷图像库,缺陷图像库由原来的被厂商封闭变成开放。二是由于算力、存储的提升,缺陷识别率提升至95%以上。三是表检系统软件仅需要部署一次,减少了投资和维护成本。

· 解决方案的开放性

本项目可部署在公有云、私有云和混合云平台,对中小企业服务。中小企业可选择利用互联网提供服务,也可以选择利用5G切片提供定制化的服务。中小企业省了动辄几百万元的机器视觉系统购置费用,有利于机器视觉系统在钢铁行业的推广。同时,产品均采用开源产品和自主研发产品,自主掌控力强,不会受制于人。

· 解决方案的易实施性和灵活性

本项目既支持公有云部署又支持私有云部署,满足工业企业绝大部分场景需求。无线网络实施快速,生产线停机时间短。采用5G网络部署机器视觉表检系统,生产线发生移位、生产工序发生变化时,网络很容易调整到位,实现柔性制造。

· 一站式服务节省了企业管理成本

终端、网络、平台、应用全部打包成一站式服务,企业节省了备品备件的服务费用、网络维护人工成本、平台投资费用和维护成本、应用投资费用和终端投资费用。


· 5G网联、边云协同的柔性质检

部署机器视觉带钢表面质量检测系统的MEC工业边缘云采用专门针对制造业企业机房特点设计的边缘计算服务器,支持宽温工作和强异构、大存储以及灵活的配置,可以满足多检测点5G接入时对数据进行快速处理和实时分析的业务需求。高速图像检测光学系统采用5G无线组网,相比传统单机版机器视觉系统可以通过算法上云和缺陷库共享大幅提升检出率、缩短调测扩展和升级维护时间,减少物理空间占用和能耗,并支持快速灵活调整,能够适应生产流程和检测点位置经常变化的场景。


· 识别技术的先进性

1)光照自适应,抗品种多变性影响

系统通过LED漫射光组架设系统成像照明机构,根据成像纹理特性及灰度特性建立照度控制模型,可随生产产品动态变规格,自适应调整光源组照明强度,同时抑制产品特性及产品缺陷干扰

2)针对冷轧带钢的图像处理技术

研发出基于曲线拟合的方式对光照不均匀性进行校正;基于空间域和频率域的双重滤波降噪方法;基于灰度拉伸的暗域图像优化方法;基于领域加权均值处理及非线性变换曲线的目标图像轮廓增强方法;基于边缘检测及梯度算子的图像拼接方法;基于边缘保持的优化加权平滑的图像融合方法。为进一步图像分析奠定基础。

3)建立冷轧缺陷快速辨识模型

缺陷识别流程分为一次识别和二次识别一次识别为快速识别疑似有缺陷的部位,并进行标记。二次识别为细致识别,并进行缺陷定位及尺寸描述等流程,系统采用基于分块自适应结合缺陷饱和度的快速缺陷辨识方法。

4)基于缺陷目标特征的双层分类器

从产品缺陷特征共性出发建立类决策树缺陷识别粗检模型,从产品缺陷特征特性出发建立智能缺陷识别精检模型,从产品表面质量信息大数据入手,自适应反向训练在线缺陷识别模型,优化缺陷判别及分析参数。

满足于冷轧板、冷轧镀锌板等多品种的表面质量在线检测系统,可实现长期、稳定、在线识别及存储带钢表面缺陷信息,同时分析检测带钢宽度信息。系统通过LED漫射光组架设系统成像照明机构,根据成像纹理特性及灰度特性建立照度控制模型,可随生产产品动态变规格,自适应调整光源组照明强度。采用综合图像处理方法,构建缺陷识别系统,基于分块自适应结合缺陷饱和度的快速缺陷辨识。从产品缺陷特征共性出发建立类决策树缺陷识别粗检模型,从产品缺陷特征特性出发建立智能缺陷识别精检模型,从产品表面质量信息大数据入手,自适应反向训练在线缺陷识别模型,优化缺陷判别及分析参数。


2. 实施效果

· 节省成本

原有工作站模式,采购一套表检设备,在100万元/套,然后每年付出成本12万元进行备件和维护服务。表检设备生命周期一般为7年,7年TCO为184万元。采用服务模式,每年支出服务费20万元,7年内总拥有成本140万元,每台节省成本44万元。鞍钢共有冷轧生产线13条,共计节省成本572万元。

二、提升检出率和识别率

基于5G+工业边缘云的机器视觉带钢表面检测平台每秒可处理带钢图像10 米以上,常规缺陷检出率95%以上,常规缺陷识别率(73%-95%)。通过对带钢缺陷的实时检出,可降低可控重复缺陷的持续产生,减少因产品质量产生的客户异议,避免因缺陷引起的废品产生、停机和伤辊等事故。

· 自主可控

采用自主研发的表检系统,机器视觉表面检测技术不再受制于美日韩德,可以很方便的升级维护、更新补丁。

· 机器视觉,智能制造的必由之路

目前全球带钢产线中仅有约15%使用了机器视觉表面质量检测系统,绝大多数都是单机版系统。钢铁业正在成为机器视觉的应用蓝海,基于5G的机器视觉带钢表面检测相关服务,具有广阔的市场前景。


中兴通讯作为全球通信技术的领导者,始终致力于将5G技术与智能制造相结合,为制造业企业提供端到端解决方案及服务,具体包括:

面向钢铁行业企业:深耕钢铁行业,聚焦机器视觉领域,针对基于5G机器视觉有需求的钢铁行业企业重点进行推广,成为钢铁行业的机器视觉检查方向的供应商,使机器视觉成为新的业务增长点,并推动企业加快数字化、网络化、智能化转型。

面向板材制造业企业:支持各类企业和创业者以机器视觉平台为基础,利用大数据、物联网、人工智能、区块链等新技术,将应用市场从钢铁业再延伸至汽车、铝业、造纸业等其他细分市场,积极培育平台经济、分享经济等新业态、新模式。

中兴通讯将协同政府从政策引领和操作指导方面加快推动企业上云,助力各级企业上云,支持各市工业和信息化主管部门建立完善公共服务平台,为企业提供网络、云平台、解决方案设计等各类服务。