以所,本来也没有错立异一些概念,些很保守的、有着良多年实践落地沉淀的经验总结错的是把这些概念当成尚方宝剑就去急于否认一,是不合错误的这种做法。
以所,一个新颖的概念若是你只是听了,否认一些保守的概念就急于拿这些概念来,大可不必我感觉,白了再回头看看这些说法对不合错误仍是先把一些根本的概念弄明。
合目标、过程目标、成果目标像原子目标、衍生目标、组,智能BI里面按照用户分层这也不就是我们凡是在贸易,的是原子性的根本性目标越面向一线营业的越关心,明细数据统计报表看的是根本的二维,的是高度聚合的成果性目标越方向高层办理的越关心。

少个TB以上的数据好比每天如果处置多,必定是搞不定的一般的ETL,+1的体例就算是T,上也有可能就处置不完晚上跑八个小时到早,据的数据处置能力来处理这些问题这个时候底层就必然要借助大数。部门的企业但对于大,到这种程度数据量达不,库和ETL是完全能够搞定的一般的贸易智能BI数据仓,、数据中台这种量级底子就到不了大数据。
部门释放到大数据、数据中台的数据仓库中去实现所以是把本来贸易智能BI的数据仓库算力的那一,智能BI数据仓库的数据集市层两头库的感化就相当于本来贸易,析展示来利用纯粹是将来分。其实仍是要做成数据仓库但我们的建议这个两头库,的薄一些只是会做,础的维度和现实仍是要保留基,做的宽一些罢了只不外现实表。
数据进行分层处置和规划只需是数据仓库城市对,库中我们讲到要建立ODS层好比在贸易智能BI的数据仓,on维度和尺度的Fact现实层再建立DW里面的Dimensi,rt 数据集市层到Data Ma,能BI可视化阐发使用最初面向前端的贸易智。数据仓库DW层、TDM、ADS层等等数据中台数据仓库就提到了贴源层、同一,贸易智能BI可视化阐发最初也是面向使用端好比。
有区别吗?并没有这些分层从素质上,一些概念都是在讲。标签层好比,DS层不就是我们凡是讲到的数据集市层做一些数据的特定加工不就是描述一个对象、一个实体的阐发维度属性吗?使用数据A,中通过ID编码将各类数据串联起来做一个ID的对照和映照关系吗?素质上都在做什么工作?数据的尺度化分类、归档好比聚合、跨现实的聚合去拆卸各类阐发的根本数据表吗?所谓的One ID 打通的不就是在一个或者多个营业流程,成一种规范、法则、可阐发的数据过程将不规范、犯警则、不成阐发的数据变。I数据仓库要进行分层实现这就是为什么像贸易智能B。
LT的说法只是按照E,的时候就间接在SQL里面临数据进行一些转换贸易智能BI数据仓库在从营业系统抽取数据,经进行清洗和格局转化之后的数据落到数据仓库表的时候存储的是已,样就欠好所以这。们还在讲ETL所以结论就是你,ow了太L,是ELT了此刻大师都。
也差不多了说到这里,大师就可以或许看出来通过上面几个点,上都是相通的良多概念素质,业智能BI的数据仓库区别之间的会商上也回到了主题的数据中台的数据仓库和商。
的话就去看过程目标两头如果去追过程,标梳理、目标计较的贸易智能BI实现过程吗?有很是出格的处所吗?并没有所谓衍生、组合不都是基于原子性目标计较来的吗?这不就长短常简单的指。
概念的提出者我想问下这些,各个营业系统原始数据给抽取到ODS原始数据层之后再去加工构成DW贸易智能BI的数据仓库在处置数据的时候不也是这么干的吗?不也是把,划分吗?有没有区别做维度表和现实表的,区别啊也没有,么干的啊都是这。
尺度的SQL就能够进行数据的操作在贸易智能BI的数据仓库中通过,中是通过Hive SQL进行数据操作数据中台大数据架构Hive数据仓库。编程MapReduce的人也能利用Hadoop进行数据处置但Hive SQL最后的设想目标就是为了让会SQL可是不会,尺度的SQL那么矫捷所以在良多语法上不像。数据中台数据仓库在手艺架构上所以贸易智能BI的数据仓库和,系型数据库来实现一个是基于保守关,大数据来实现一个是基于。QL有一些语法上的差别操作底层数据的根基S,同小异但也大。
智能BI数据仓库是ETL还有人会提到保守的贸易,就是ELT数据中台,玩一些概念这些仍是在。据抽取加载到数据仓库贴源层所谓的ELT就是先把原始数,据的转换再进行数,了原始数据如许既保留,的计较能力做转化操作又能够充实操纵大数据。
角度上来说从手艺实现,业智能BI项目中我们在凡是的商,型数据库为代表的数据库上数据仓库大多建立在以关系。层是以大数据为根本架构的数据中台的数据仓库在底。
的好,享就到这里今天的分,台、贸易智能BI、数据阐发等学问后续还会持续更新大数据、数据中,接待关心点赞珍藏支撑喜好我们内容的伴侣,谢大师很是感。
么来说能够这,的数据仓库怎样建立的十来年前贸易智能BI,仓库就是怎样建立的此刻的数据中台数据,分层、打标签、建模子一样的写SQL、做,么特殊的并没有什。
据仓库Hive好比大数据的数,oop分布式根本架构之上就是建立在大数据Had。统为海量数据供给文件式的存储底层的HDFS分布式文件系,海量数据供给了计较能力MapReduce为。educe使命与底层HDFS文件系统进行因映照和数据交互在Hive数据仓库上能够将Hive SQL转化成MapR。
没有凹凸之分我认为手艺并,处理的体例分歧面临分歧的问题,术路线分歧选择的技。
样新的概念满天飞只是此刻各类各,分不清晰良多人。把这个问题给大师讲清晰今天我想通过文字尽量,些素质上的问题能让大师看到一。、数据中台、贸易智能BI方面的视频大师也能够看下之前讲的相关大数据,起来看下能够连系。
据资产办理、数据办事等等还有像及时数据处置、数,BI数据仓库都不具备的能力这些也都是保守的贸易智能,虑规划大数据、数据中台这些手艺架构的若是企业对这种诉求很是火急也是能够考。把它们数据仓库的数据推送到一个两头库而且此刻良多大数据、数据中台的搞法是,间库取数做阐发展示贸易智能BI再从中。
定大数据、数据中台如许讲并不是去否。也是有它本人的不足之处的保守贸易智能BI数据仓库,保守ETL的数据处置能力、算力就摆在那好比保守贸易智能BI数据仓库存储能力、,处置效率瓶颈的是无数据存储和。
I的数据仓库素质上没有任何区别数据中台的数据仓库和贸易智能B,上层使用之间做了一个隔离层都是在底层营业系统数据源和,层的解耦合进行上下两。使用角度来讲从数据阐发,据仍是小数据不管是大数,析的数据变陈规范、法则、可阐发的数据过程都是把营业系统中不规范、犯警则的、不成分,成描述营业阐发数据模子的转换过程都是把描述营业过程的数据模子变。据中台仍是贸易智能BI不管你是做大数据、数,数据仓库只需实现,就是如许的素质过程。
|