近日,滴普科技完成1.1亿元B+轮融资,成为国内新一代湖仓一体数据智能基础软件领域独角兽,这一赛道在国内也正式迎来爆发式增长,湖仓一体正成为数据库行业发展新趋势。
过去几年,全球数据库行业发展迅猛,过去的数据库已难以匹配眼下日益增长的数据复杂度需求,基于扩展性和可用性划分,分布式架构突破单机、共享、集群架构下的数据库局限,近些年发展态势迅猛,已经进入发展的黄金时代,一众新兴势力的加速崛起,最典型的例子就是Databricks推出“湖仓一体”,估值一路飙升至360亿美金。而滴普科技也是众多“新势力”之一。
那么,湖仓一体到底是什么?在湖仓一体出现之前,数据仓库和数据湖是被人们讨论最多的话题。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,主要用于支持管理决策和信息的全局共享。简单点说,数据仓库就像是一个大型图书馆,里面的数据需要按照规范放好,你可以按照类别找到想要的信息。到了移动互联网时代,数据量呈现“井喷式”爆发,数据类型也变得异构化。受数据规模和数据类型的限制,传统数据仓库无法支撑起互联网时代的商业智能,随着Hadoop与对象存储的技术成熟,数据湖的概念应用而生,相比于数据仓库,数据湖是一种不断演进中、可扩展的大数据存储、处理、分析的基础设施。它就像一个大型仓库,可以存储任何形式(包括结构化和非结构化)和任何格式(包括文本、音频、视频和图像)的原始数据,数据湖通常更大,存储成本也更为廉价。但它的问题也很明显,数据湖缺乏结构性,一旦没有被治理好,就会变成数据沼泽。
从产品形态上来说,数据仓库一般是独立标准化产品,数据湖更像是一种架构指导,需要配合着系列周边工具,来实现业务需要。换句话说,数据湖的灵活性,对于前期开发和前期部署是友好的;数据仓库的规范性,对于大数据后期运行和公司长期发展是友好的。而湖仓一体,则兼具了数据仓库和数据湖的优点。
湖仓一体是一种结合了数据湖和数据仓库优势的新范式,在用于数据湖的低成本存储上,实现与数据仓库中类似的数据结构和数据管理功能。湖仓一体是一种更开放的新型架构,就类似于在湖边搭建了很多小房子,有的负责数据分析,有的运转机器学习,有的来检索音视频等,至于那些数据源流,都可以从数据湖里轻松获取。
这里需要注意的是,“湖仓一体”并不等同于“数据湖”+“数据仓”。现在很多公司经常会同时搭建数仓、数据湖两种存储架构,一个大的数仓拖着多个小的数据湖,这并不意味着这家公司拥有了湖仓一体的能力,湖仓一体绝不等同于数据湖和数据仓简单打通。
随着企业数字化驶入深水区,对于数据使用场景也呈现多元化的趋势,从技术维度和应用趋势来看,如果业务侧提出了更高的性能要求,那么在大数据架构建设的过程中,就需要数据库架构建设上进行技术升级。对于高速增长的企业来说,选择湖仓一体架构来替代传统的独立仓和独立湖,已经成为不可逆转的趋势。
和国外企业不同,中国大客户群体需要更与客户资深场景深度融合的解决方案,解决方案需要兼顾通用性和定制化。以滴普科技为例,依托实时湖仓平台FastData,基于对先进制造、生物医药、商品流通、金融科技等行业的深度洞察,滴普科技从实际场景切入,为客户提供了一站式的数据智能平台技术建设方案。
滴普科技认为,“在数据分析领域,湖仓一体是未来。它可以更好地应对AI时代数据分析的需求,在存储形态、计算引擎、数据处理和分析、开放性以及面向AI的演进等方面,要领先于过去的分析型数据库。”以AI应用层面为例,湖仓一体架构天然适合AI类的分析(包括音视频非结构化数据存储,兼容AI计算框架,具有模型开发和机器学习全生命周期的平台化能力),也更适合大规模机器学习时代。
一般来说,大体量的企业想要保持持续增长,往往需要依靠大量、有效的数据输出,进而实现智慧决策。以与滴普科技的合作的某大型品牌零售商为例。在此前,该品牌就已经完成了统一数仓的搭建,实现了多个业务线的数据采集和各个业务域的数据建设。在保证前端数据正常运行、“热切换”底层应用的前提下,滴普科技与其紧密协作,在短短几个月时间里将多个数仓整合为统一数仓,有效统一了业务口径,大幅缩减了开发运维工作量,整个业务价值链也形成了闭环。
尤其就可以看到“湖仓一体”的能力价值所在:随着数据结构的逐渐多样性,3D图纸、直播视频、会议视频、音频等数据资料越来越多,为深度挖掘数据价值,依托于领先的湖仓一体技术架构,该集团可先将海量的多模数据存储入湖,在未来算力允许时,及挖掘深度的业务分析场景后,从数据湖中抓取数据分析。
滴普科技实时湖仓平台FastData,具备低成本、高性能、易使用的主要特性,产品采用新一代存算分离数据处理技术,帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台,实现海量数据实时分析,成为支撑企业数字化转型的核心基础软件设施。除此之外,滴普科技FastData Cloud产品云服务体系,还以灵活部署、易操作的模式,为企业的不同需求提供多样性选择,通过云服务的方式为众多行业客户构建数据智能基础设施。
通过湖仓一体架构,让之前被限制的数据价值得以充分发挥,加快企业的数字化进程,滴普科技自然成为了众多企业的选择。