万纬在昆明高新区为褚橙打造29000㎡的分拨中心,每一颗新鲜采摘的褚橙均经过万纬物流园区发往全国。
2024-10-23顺丰国际化能力进一步得到证明
2024-10-08运满满货主:借助数字物流平台灵活应对光伏产业运输路线、车型变化
2024-09-20电商平台正在打通中西部偏远地区的新物流体系,免中转费物流时代到来。
2024-09-19什么是智能OCR或者智能文档处理?
来源/王继祥(ID:qq1900915002)
作者/曾志宏
物流是世界上最大的产业之一,涵盖公路、铁路、航空、海运、仓储和储存等众多部门。据称,到 2027 年,全球物流市场预计将达到 6.55 万亿美元。
运输和物流行业运营产生大量数据,例如费用管理、报关单、发票、运输、客户管理、供应商管理、路线和运输管理。物流在很大程度上依赖于“大数据”,这些数据分布在各种文件中,包括商业发票、空运提单、提货单、海关表格、形式发票以及许多其他结构化、半结构化和非结构化文件类型。物流公司通常在分类账、文件、文件夹和数据库中处理和存储数据,其中可能包含纸质文件、电子邮件、文本、电子表格、word 文档、PDF 和/或扫描图像。
目前物流业严重依赖蓝领工人来处理庞大的非结构化数据存储。不幸的是,手动数据管理既费时又容易出错。研究表明,人类在电子表格数据输入方面的错误率为 18-40%。这些错误最终会耗费企业的时间和金钱。
01
什么是智能OCR或者智能文档处理?
智能文档处理 (IDP) 是物流领域的重要工具,为文档的逻辑和语义分析提供了方便、准确和快速的解决方案,IDP 非常适合各种文件中提取有用信息,可以从结构化、半结构化和非结构化文档中准确提取和处理姓名、日期、地址和金额等数据。
AI 支持的 OCR 解决方案最大限度地减少了文档处理中的人工参与,人类工作者训练持续学习的 AI 模型,随着时间的推移提高准确性和自动化率。
02
智能OCR可以自动化的 10 种物流文件
1.提单(Bill of Lading)
通过承运人将产品从供应商运送到客户需要一份称为提单或 BoL 的文件。提单是一份具有法律约束力的文件,为托运人和承运人提供处理货物的所有必要细节。它是所运输物品、来源和目标目的地的书面记录,它是货物交付的物权凭证。
BoL 在出口方面尤为重要,因为它包含重要信息,例如运输产品的安全性和合法性,以及供应商、托运人和收货人的合法性。它还包含有关货运/港口当局应付的运费和海关费用的信息。最重要的是,它在运送到最终目的地的整个过程中建立了对运送产品的所有权。
几乎所有的 BoL 都包含以下信息:
(1)货件参考 ID 或编号
(2)供应商/发货人的详细信息,包括名称、地址和联系信息
(3)承运人详细信息,例如名称、地址和中间装运编号
(4)收货人/收货人详细信息,包括姓名、地址和联系信息
(5)运输产品的详细信息,包括物品的数量/重量/尺寸、货运等级以及运输和处理说明
(6)货物的申报价值,例如保险详情和交货失败时的赔偿要求
(7)定价和付款,交货时间表
(8)运输过程中所有利益相关者的日期签名
对于与较少供应商和采购商打交道的小型承运人来说,手动提取和管理 BoL 数据可能是易于管理的,但随着承运人扩大其产品组合,某种自动化数据管理系统就变得必不可少。
2. 交货单 (Proof of Delivery)
调查显示,仅在 2020 年,美国就运送了 200 亿个包裹。每批货物都会创建文件的书面记录,其中交付证明是最关键的文件之一。它不仅确认客户收到产品,增加供应商的可信度,交货单证明还可帮助供应商评估延误并更好地规划未来的交货时间表。
大多数交付证明文件都打印在纸上,需要收件人签名。最近,交付证明文件进入了数字领域。这是有道理的,因为纸张对于任何类型的官方通信来说都是一种低效的媒介,因为它很容易丢失或损坏,从而导致延误开具发票,也可能导致欺诈,不法行为者声称未收到已交付的货物,导致多次交付,给客户带来信用伤害并给供应商造成损失。
对于数字送货单,客户通常需要使用数字笔或他们的手指在手持设备上签名,然后将其存储在数据库中。除签名外,交货证明还包括供应商和收货人的姓名和地址,以及对所交付货物的描述。所有这些信息都必须转移到物流数据存储库中,这涉及大量的人工操作。无论物流文件是数字格式还是纸质格式,如果人工在工作流程中的某个时刻需要手动输入数据,错误仍然会发生。
智能文档IDP对于POD的好处如下:
(1)从交付证明文档中提取结构化、半结构化和非结构化数据。
(2)将提取的数据转换为可进行数字化操作以供后续使用(例如分析、会计、审查或存储)的格式。
(3)提供数据安全性,包括防止盗窃、黑客攻击和敏感信息管理不善的功能。
3. 运费发票
将产品从源头运送到目的地通常需要中间商,例如货运代理。货运代理包括运输和仓储、包装和文件、保险和增值服务等各种活动,是供应链中的重要环节。货运代理是来源地和目的地之间的联系点。据预测,到 2026 年,全球货运代理市场规模将增长到 2203.4 亿美元。
在货运代理处理的众多文件中,货运发票或货运单可能是最重要的,因为它不仅可以登记货物的详细信息,包括来源、收件人和产品,还包括付款详情。它由货运代理创建并由托运人和承运人签署。
运费发票的管理很繁琐,因为通常单个货物可能有多个发票要发送给供应链的各个参与者,所有这些都必须记录在更大的存储库中。这些发票中的庞大数据量会使货运发票管理容易出错和延误。货运发票的自动化可以简化大部分管理流程并防止代价高昂的错误。
4. 运输标签
运输标签是运输包裹的 ID 标签,在运输标签的格式因供应商或货运代理而异,但必须包含重要信息,例如收件人的姓名和地址、供应商/货运代理的名称和地址、联系电话号码、物品说明、其数量和/或重量、装运等级等。如今,运输标签还包含条形码和电子跟踪号。
从运输标签中提取数据对于供应链的所有环节都很重要。供应商或货运提供商通常会打印标签,很可能来自现有的客户信息数据库,其他临时和最终收件人需要扫描运输标签并提取所有相关信息以存储在数据库中,以便链上的所有成员都可以轻松跟踪包裹。收件人通常会收到一个电子标签,用于跟踪产品从来源地到目的地的整个过程,为此,必须在每个阶段更新包裹的位置。
如前所述,运输标签可能有多种格式。源地址和目标地址可能位于包裹上的不同位置。条形码可以对不同类型的数据进行编码,并且可以放置在包裹中的任何位置,等等。此外,由于包裹必须跨越地理距离移动,标签可能会在通道上变脏、撕裂或弄脏。
传统的 OCR 系统在这种情况下几乎没有用,因为 (a) 包裹太大而无法放在这些 OCR 系统工作的扫描仪下,以及 (b) OCR 也可能受于因各种信息的不同位置标签。人类的智慧和眼睛很容易出错,尤其是在要交付的包裹数量增加的情况下。
IDP是唯一的解决方案,它可以高效地提取各个字段并准确分类,以进行数据存储和数据分析处理。IDC 中的 AI 和 ML 引擎使用统计方法、神经网络、决策树和规则学习技术进行数据理解,而不是简单的识别。例如,许多 IDC 中存在的基于计算机视觉的文档排版工具可以区分相关字段并识别内容,而不管它们在标签上的位置如何。命名条目识别 (NEM) 算法经过训练,可以挑选出特定类型的信息,例如参考号、姓名、地址、成本等,并将它们以高精度和高效率的方式传输到工作流程中的下一个工作。因此,IDP 比现场级识别更能实现直通式处理,因为位置坐标不是必需的。
5. 货运代理/货物保险表格和证书
保险是一个数据丰富的行业,依赖于大量的大数据分析。鉴于海陆空运输的产品种类繁多,针对物流业的保单也有多种。物流行业中使用的一些常见保险类型包括货物保险、货运代理责任保险、海事服务责任险、船体和机械险、保障和赔偿险、能源物流险、危险品和燃料物流险、商业车辆险、一般责任险。
物流保险部门处理大量文书工作,有车祸索赔、年金账户表格、损坏表格、受益人表格等。无论保险类型如何,都有表格需要填写和处理。
保险处理需要关联来自多个来源的数据,这是一个繁琐的过程,因为它涉及从不同的文档中提取、处理和分析数据。需要类似人类的认知来整理不同文档中的所有细节。随着接近类人认知(甚至有些人可能会说是感知)的人工智能工具的出现,现在它们在保险领域的使用范围很广。许多保险公司已经在寻求完全自动化的操作;预计到 2030 年,美国 46% 的保险理赔活动将实现自动化,其中大部分自动化将由人工智能驱动,包括 IDP或者智能OCR解决方案。
6. 报关单
报关单提供了正在进口或出口的货物的详细信息。它包括原产国、货物描述、成本、保险和运费 (CIF) 详细信息、海关分类编号、关税等信息。人工处理报关单需要发票、运单、原产地证、装箱单等各种单据的数据。与早期案例一样,此类手动活动可能既乏味又耗时。IDP解决方案可以通过提取相关数据、智能分类并按需处理,实现报关单处理自动化。
当收到进口或出口报关单时,IDP引擎会自动识别和捕获其中的相关字段,无论这些字段位于文档的哪个位置。此类信息被分类并存储在适当的索引表中。
7、装箱单
装箱单,也称为交货单,用于国际贸易,提供有关出口商、货运代理人和收货人的信息,以及运输物品的详细信息及其包装规格,例如尺寸和重量。出口装箱单很重要,因为它是正在运输的物品的记录,是内陆和国际提单的证明。它提供材料安全数据。装箱单还可以作为信用证项下偿付的支持文件。虽然装箱单的格式因公司而异,但几乎所有装箱单均包含以下基本信息:
(1)日期
(2)出口商联系信息
(3)收货人联系方式
(4)商品原产地地址
(5)产品的目的地址
(6)每批货物的包裹总数
(7)每个包的详细说明
(8)每个包裹的体积和重量
(9)整个货件的体积和重量
(10)货件的发票编号
从装箱单中提取信息对于买方、卖方和任何中介机构来说都很重要。这对买方很重要,因为它允许通过与订单和/或发票的交叉检查自动检查购买情况。从装箱单中提取数据有助于审查公司的库存和绩效。
从装箱单中提取数据对卖家来说很重要,因为装箱单通常由买方保留,因此它可以作为装运信息的档案。来自装箱单的数据还可以帮助卖家进行审计和库存管理。
IDP 解决方案可以智能地从装箱单中捕获所有相关数据。这些解决方案的持续学习功能允许从所有格式的装箱单中提取数据,实现全面的文档和数据管理。
8. 危险品申报
易燃品、腐蚀性化学品、健康危害等危险品通常通过公路、铁路、空运或海运进行远距离运输。此类货物必须与称为危险品申报表 (DGD) 的表格相关联。DGD 证明货物已按照来源国和目的地国的规定进行标记和包装。例如,IATA 的危险品条例 (DGR) 对危险品的包装和空运提供了严格的规定。DGD 帮助承运人了解货物的性质以及处理货物时必须采取的预防措施
DGD 通常包含以下信息:
(1)寄件人和收件人的地址和联系方式
(2)紧急联系信息
(3)运送物品的正确名称
(4)数量
(5)联合国编号
(6)重量
(7)包装组
(8)放射性
(9)处理信息
危险品申报表也因国家/地区而异,并且通常很复杂且令人困惑。使用 AI支持的智能文档方案或智能OCR方案帮助从 DGD 中自动提取信息,而不管格式和内容布局如何。这将人类工作者从繁琐的数据提取任务中解放出来,可免除90%以上的人工数据录入。
9. 采购订单
采购订单或 PO 是具有法律约束力的文件,用于确定买方从卖方/供应商处购买商品或服务。买方创建 PO 以授权后续交易,以便将货物从卖方转移到买方并支付相同的款项
采购订单包含以下信息
(1)用于跟踪的购买编号或 ID
(2)所购买产品的详细信息
(3)所购买产品的数量或重量。
(4)买卖双方联系方式
(5)订单日期
(6)时间表和细节
(7)购买商品的价格
(8)付款条款和条件
PO 是双向匹配过程的组成部分,在该过程中,发票与 PO 和送货收据相匹配,以完成购买并启动付款。因此,必须准确捕获和存储来自 PO 的所有数据。IDP 解决方案不仅可以智能地从现有文档中捕获数据,还可以管理文档工作流并减少整个流程的采购周转时间。
10. 空运货物舱单
货物可能是来自不同供应商的产品,运往不同的购买者。因此,空运货物清单将列出与该特定飞机上运载的所有产品相关的提单,以及与货物相关的空运单和主空运单编号,所运产品的详细信息、每批货物的重量/数量和其他数据。
根据 Statistica 的数据,全球货运航空业产生的收入为 1750 亿美元。美元在 2021 年。鉴于空运的货物量如此之大,空运货物清单的数量是惊人的。从空运货物舱单中手动甚至基于传统 OCR 的数据提取不再现实。启用 AI 的自动文档处理是处理航空货运舱单的唯一方式。
来源/王继祥(ID:qq1900915002)
作者/曾志宏
我们期待与您互动,不要吝啬您的建议与意见。
黄刚老师深入交流请加微信:huanggang36
商务合作、爆料、投稿请加微信:logvip56
猎头、跳槽、招聘服务请加微信:headscmhrv
汉森商学院学员申请咨询请加微信:scmschool
线下活动、峰会合作请加微信:scmgroup
投稿邮箱:tougao@headscm.com
汉森总部电话11:010-62656566(工作时间:周一至周五 9:30-18:30) 地址:北京市亦庄经济技术开发区荣华南路13号中航国际广场L1栋9层