数据仓库的过去和现在

时间:2021-10-17
数据仓库的起源可以追溯到计算机开发的早期,而数据仓库是信息技术长期发展的产物,并将在未来继续发展。 1.文件系统在1960年代初期,计算机领域的主要工作是创建在主文件上运行的单个应用程序。这些应用程序具有报表处理和程序的特征,并且通常以早期编程语言(例如Fortran或COBOL)编写。主文件存储在便宜的磁带上,缺点是只能顺序访问。例如,如果我们要在磁带上的第20分钟获取数据,则必须顺序访问前19分钟。磁带虽然提供廉价的存储空间,但它也带来了许多数据冗余。在1960年代中期,大量的主文件带来了许多问题,例如在更新数据时需要保持数据一致性。程序维护的复杂性。开发新程序的复杂性。支持所有主文件需要添加大量硬件。 1960年代,General Mills和达特茅斯学院在一项联合研究项目中开发了维度(维度)和事实(事实)这两个术语。 2. DASD和DBMS的出现1970年,出现了一种新的存储和访问技术,即磁盘存储,或称为直接访问存储设备(DASD)。磁盘存储和磁带存储之间的根本区别在于,可以直接访问磁盘上的数据。 DASD希望访问n + 1条记录,不再需要顺序访问前1、2、3 ... n条记录,但是一旦知道n + 1条记录的地址,就可以直接访问它。随着DASD的发展,出现了一种称为数据库管理系统(DBMS)的新型系统软件。这种新型软件的目的是使程序员易于在DASD上进行存储和访问。连同DBMS一起,“数据库”的概念被使用。出现了。 1975年,Sperry Univac推出了MAPPER(维护,准备,生成执行报告),​​这是一个数据库管理和报告系统,包括世界上第一个为信息中心建设而设计的平台4GL(当代数据仓库)。技术先驱)3.数据仓库之父的出现。在1980年代,出现了一些更新颖的技术,例如个人计算机(PC)和第四代编程语言(4GL)。随着PC和4GL的发展,除了高性能的在线交易处理之外,人们还可以使用数据来做更多的事情,例如早期的管理信息系统(Management Information System,MIS),如今该技术已成为DSS。 1990年-由Ralph Kimball创立的Red Brick Systems推出了Red Brick Warehouse,这是一个专门用于数据仓库的数据库管理系统。 4.多个独立的数据库大型在线交易处理系统问世不久后,数据提取技术应运而生,该技术可以将所需的数据与在线交易处理系统分离开来,从而解决了数据分析的性能问题;萃取;产生的数据为人们在使用数据方面带来了极大的灵活性,我们可以将这些数据用于各种分析。首先,仅提取在线交易处理系统中的数据。人们慢慢发现,在提取结果中添加一些条件可以使获取所需数据更加方便。然而,“数据仓库”不限于此。这时有许多单独的数据库,在使用过程中逐渐出现以下问题:数据时间不均匀,提取过程不同,外部数据加载问题,没有通用的起始数据源,可能会出现上述问题,不同部门提取的数据存在差异,因此当时的分析结果也有所不同。 V.数据仓库当人们意识到无休止的提取会带来很多问题时,他们开始考虑是否可以建立一个系统和体制的环境来减少数据差异。这就是为什么出现数据仓库的原因。数据仓库从可操作的数据库中提取数据,并通过标准化的处理过程获得精细的数据,这些数据是面向主题的,集成的,非易失性的且随时间变化的数据。基于数据仓库,可以建立具有不同分析角度的BI报告系统。随着大数据的出现,阿里巴巴大数据技术人员的宣传以及一些书籍(《大数据之路》)的出版极大地促进了该数据仓库的普及。免责声明:本文内容经21ic授权后发布,版权归原作者所有。该平台仅提供信息存储服务。本文仅代表作者个人观点,不代表本文立场。