案例:BI工程师的困惑
从大学毕业至今,陆艺从事BI(Business Intelligence商业智能)工作已有多年。这些年,陆艺虽然换了不少公司,但BI工作却是万变不离其宗。基本上是围绕ETL(Extract抽取-Transform转换-Load加载)、数据仓库、数据挖掘等工具方法,为企业管理者提供可视化的报表用于展示和发现问题并提供辅助决策。
最近,伴随着互联网公司的快速崛起,关于数据中台/数据平台的新概念在许多场合被频繁提及,甚至还出现了类似DI(Data Intelligence数据智能)这样的新词汇。
一直以来,陆艺对互联网公司所创造出来的新词汇都持谨慎开放的态度。前几年“数据湖”的概念曾经风靡一时,相关的解决方案公司提出把数据比作大自然的水,将各个江川河流的水(各种类型的数据)未经加工源源不断地汇聚到数据湖中,不需要预定义模型就能进行数据的分析工作。
听上去很美好,但陆艺判断“数据湖”的实现会有诸多困难。
例如,数据湖的数据如何实现实时性?这么多的原始数据放到数据湖里虽然容易,但提取和使用的难度又将如何解决?数据不经处理进入数据湖,如何进行数据的治理?数据的安全如何保证?……
陆艺担心不仅没有办法建设出美丽的“数据湖泊”,还有可能变成了恐怖的“数据沼泽”。这几年下来,在数据湖的实施方面取得成功的企业案例并不多,这也从侧面证明了盲目追逐新概念会是多么的不靠谱。
当然,陆艺并不是一个两耳不闻、盲目自大的人,虽然对于新词汇新概念不怎么“感冒”,他却愿意花费时间去学习和研究这些新概念背后的知识,然后再通过他的专业能力进行判断甄别。这一次,他打算报名参加“数据中台/数据平台”的相关培训,是骡子是马拉出来溜溜就一清二楚了。
抱有和陆艺同样观点的人不在少数,在面对新概念、新词汇的时候以一种客观谨慎但开放的态度也是十分正确的。作为从IT时代到DT时代的重大跨越,我们十分有必要花费一定篇幅来阐述数据中台/数据平台的重要性。
数据是供应链的基石,正是因为有了数据,供应链才有可能插上智慧的翅膀。
为什么是有可能?因为单纯来说,数据只是生产资料,它就好比水电煤或者说是石油,自己并不具备生产力,只有通过合理地使用数据才能产生出价值。如果说石油驱动了工业化时代的发展,那么大数据则驱动了信息化和智能化时代的发展。
我们生活的这个时代并不缺少数据,据IDC发布的《数据时代2025》报告显示,到2025年全球每年产生的数据将增长到175ZB,这是一个什么概念呢?1ZB相当于1.1万亿GB,如果把175ZB全部存在DVD光盘中,那么叠加起来的长度可以绕地球222圈。
置身在如此浩瀚的数据海洋中,无论企业还是个人都容易迷失自己,甚至惶恐不知所措。恐惧是一件好事,因为它会带来认知的改变。最为可怕的是不少企业对于数据的认知依旧停留在IT时代。
IT时代的信息化系统以提升效率和流程管控为核心,在初级供应链形态下发挥了重要的作用。但是IT时代的信息化系统往往以分模块、打补丁的方式建立,各个模块来自不同的供应商,为不同的部门所建立,在企业内部竖立起了一根根的烟囱,产生了大量的数据和信息孤岛。
典型的例子是,企业上了很多系统,有ERP、生产管理、计划管理、人力资源管理、设备管理等。这些系统产生了大量的数据,我们通过excel或者是数据BI工具,对这些数据进行了加工分析,通过看似简单的导入导出来解决业务的问题。
这个场景想必对于大多数从事供应链管理工作的人员并不陌生。毫不夸张地说,从总监到基层,每一个供应链管理者都是Excel的重度使用者。总监以上的高层管理者则严重依赖BI人员的辅助。
作为上世纪末和本世纪第一个十年比较流行的概念,BI(商业智能)是基于企业各类业务系统如ERP,CRM,HR等,为了更好地分析此类业务系统中的数据而发展建立的一套技术体系。它是一个技术驱动的流程,用于分析数据和提供可操作的信息,帮助高管、经理和其他公司最终用户做出明智的业务决策。
因此,DI(数据智能)和BI(商业智能)两个概念经常被混淆。尽管他们有一定的相似之处,也都是以数据为基础,但二者还是存在本质的区别。
首先是实现目标不同:BI用来将企业中现有的数据进行整合后提供报表并提出决策依据,它并不会帮助企业解决底层数据孤岛的问题。而数据智能的目标则是通过构建企业的数据平台(中台),将业务数据进行统一和打通,在此基础上形成的数据不仅可以辅助决策,还能够直接触发并驱动业务应用。
如果将企业比作一部汽车,BI商业智能是驾驶舱里的各类仪表盘,那么DI数据智能就是企业这部车子的引擎发动机,数据就是源源不断注入的汽油。
其次是技术实现的不同:在讨论BI商业智能时,我们讨论的是ETL、数据仓库、OLAP、数据挖掘,可视化报表等技术方法。而在讨论数据智能时,我们讨论的是大数据,云计算,物联网,人工智能,分布式数据库等。
两者的技术处理流程虽然类似,但技术实现的手段却有着极大的区别。
然后是智能化手段的不同:商业智能因为囿于所处时代技术限制,大多依赖于统计学算法使用各类经典的聚类,分类算法。而数据智能随着机器学习和神经网络的进一步发展,更全面地融合了各类智能算法,智能化的手段更加多样化。
最后是数据基础的不同:随着大数据的兴起,数据智能涉及的数据范围将不再仅限于原来的业务系统或者交易系统,而有更多来自于企业外部的数据,如互联网,社交网络,第三方社会资源数据等。
同时数据的来源也将不仅限于业务处理和交易过程,更海量的实时数据,如来自于物联网连接下的机器、设备等。数据的种类也将极大丰富和扩展,不再简单的局限于结构化数据和非结构化的文本,视频和音频数据在智能化解构之后也将越来越多的参与数据智能应用。
毫无疑问,传统的BI并未触动和改动企业的底层及核心数据架构,因此BI工程师的工作好比在原始森林里采摘果实,他们工作的好坏很大程度上取决于BI工程师的个人水平。
但是DI则是采用现代化的种植手段,从育种、耕种、施肥、除虫、采摘全过程进行管理,不仅产出的果实质量有保证,也减少了对数据工程师个人能力的依赖。这从根本上改变了我们对于数据的理解和认识。
由此可见,数据平台(中台)的建设是数据智能DI的源头和根基。根基不牢,数据智能就成了无源之水了。
那么,数据中台如何建设,它和业务中台的关系是什么?限于篇幅,我们将在未来的文章中继续探讨。
注:本文部分内容参考文章《数据智能DI和商业智能BI有何不同?》,作者狄安
农夫山泉23-25届校园招聘供应链类岗位
5404 阅读特斯拉智能制造校招专项:24-25届物流、供应链类岗位
4772 阅读益海嘉里(金龙鱼)2025校招供应链、物流储备生
4716 阅读盒马社招运输经理;店仓管理专员;仓储业务物资管理高级专员;店仓经理
4460 阅读京东社招项目运营岗;客户体验分析;配送运营岗;客户经理岗;营业部负责人岗
4468 阅读亚马逊全球物流团队「物流销售岗位」热招中
4299 阅读中远海运特运启动2025校园招聘~
4262 阅读曼伦2025校招供应链物流岗位
4138 阅读KK集团2025届全球校园招聘供应链岗位
4052 阅读SHEIN 100+热招岗位等你投递
4065 阅读