PingCAP 是国内第一家开源的新型分布式 NewSQL 数据库公司,秉承开源是基础软件的 未来这一理念, PingCAP 持续扩大社区影响力,致力于前沿技术领域的创新实现。其独 立研发项目 TiDB 灵感来自于 Google Spanner/F1,具备「分布式强一致性事务、在线弹 性水平扩展、故障自恢复的高可用、跨数据中心多活」等核心 NewSQL 特性,是大数据时 代理想的数据库集群和云数据库解决方案。
数据库发展史简介
2013 年以后2008 年至 2013 年2008 年以前
• 背景:应用为广泛的数据库; 能很好的解决复杂的数据运算及 表间处理;多用于银行、电信等 传统行业复杂业务逻辑场景中, 以 Oracle 为代表
• 挑战:成本高,随着数据量增加, 只能通过购买更贵更好的服务器; 无法线性扩容,海量数据下处理 能力大幅下降
单机关系型(SQL) 分布式非关系型(NoSQL) 分布式关系型(NewSQL) • 背景:随着搜索 / 社交的发展, 数据量爆发增长,传统数据库高 成本,无法线性扩容问题日益突 显;分布式及 NoSQL 开始快速 发展,如 MongoDB,HBase
• 挑战:擅长简单读写,无法处理 交易类数据及复杂业务逻辑的特 性限制其在非互联网领域的发展
• 背景:随着互联网向银行、电信、 电力等方向的渗透,传统行业数据 量迅速提升,需要同时满足低成本、 线性扩容及能够处理交易类事务的 新型数据库,大数据的存储刚需不 可避免
• 挑战:基于 Google Spanner/F1 论 文,基础软件前沿的领域之一, 技术门槛高
数据库技术发展演进(1/2)
NewSQL: 兼具 NoSQL 扩展性又不丧失传统关系型数据库 ACID 特性的分布式数据库
1960s 1970 1980 1990 2000 2010
Network Model Hierarchical Model
E.F. Codd Relational Model
Ingres@UCB
System R@IBM
SQL Informix Teradata Sybase
DB2 MySQ L
SQL Server PostgreSQL
Greenplum Vertica
Redis HBase Cassandr a MongoDB
Spanner / F1
CockroachDB
TiDB / TiKV
MySQL Sharding
GFS BigTable MapReduce
VoltDB OceanBase
2020
Hana
Oracle
数据库技术发展演进(2/2)
Google -大规模分布式计算领域的领跑者
2003 GFS
2004 MapReduce
2006 BigTable
2012 Spanner
2013 F1
BigTable Map Reduce
GFS
Google 十年前基于内部分布式处理框架发表的三篇论 文奠定了大数据分析处理基石。 开源社区以此为基础打造了 Hadoop.
F1 Data Flow Spanner
Colossus
Google 内部新一代分布式处理框架,于 12/13 年发表相关论 文,奠定下一代分布式 NewSQL 的理论和工程实践基石。 PingCAP 以此为基础打造了 TiDB & TiKV.
HBase Map Reduce
HDFS
TiDB
TiKV
NewSQL | TiDB
Google Spanner | F1 - 第一个真正意义上NewSQL 数据库
● 全球级分布式关系型数据库,数十万机器组成一个超大的数据库集群 ○ Spanner - 有状态分布式 Key-Value 数据库 ○ F1 - 无状态分布式 SQL 解析器 ● 支撑 Google Adwords、Wallet 等核心金融业务 ● 根据业务压力,水平无限扩展或者伸缩,底层七副本,保证任意一个 数据中心宕机,底层自动切换,上层业务不中断,无需人工介入 ● 2017年2月,Google 在其 GCP 公有云平台正式提供 Cloud Spanner 服务,并于5月 GA。
PingCAP 是国内第一家开源的新型分布式 NewSQL 数据库公司,秉承开源是基础软件的 未来这一理念, PingCAP 持续扩大社区影响力,致力于前沿技术领域的创新实现。其独 立研发项目 TiDB 灵感来自于 Google Spanner/F1,具备「分布式强一致性事务、在线弹 性水平扩展、故障自恢复的高可用、跨数据中心多活」等核心 NewSQL 特性,是大数据时 代理想的数据库集群和云数据库解决方案。
数据库发展史简介
2013 年以后2008 年至 2013 年2008 年以前
• 背景:应用为广泛的数据库; 能很好的解决复杂的数据运算及 表间处理;多用于银行、电信等 传统行业复杂业务逻辑场景中, 以 Oracle 为代表
• 挑战:成本高,随着数据量增加, 只能通过购买更贵更好的服务器; 无法线性扩容,海量数据下处理 能力大幅下降
单机关系型(SQL) 分布式非关系型(NoSQL) 分布式关系型(NewSQL) • 背景:随着搜索 / 社交的发展, 数据量爆发增长,传统数据库高 成本,无法线性扩容问题日益突 显;分布式及 NoSQL 开始快速 发展,如 MongoDB,HBase
• 挑战:擅长简单读写,无法处理 交易类数据及复杂业务逻辑的特 性限制其在非互联网领域的发展
• 背景:随着互联网向银行、电信、 电力等方向的渗透,传统行业数据 量迅速提升,需要同时满足低成本、 线性扩容及能够处理交易类事务的 新型数据库,大数据的存储刚需不 可避免
• 挑战:基于 Google Spanner/F1 论 文,基础软件前沿的领域之一, 技术门槛高
数据库技术发展演进(1/2)
NewSQL: 兼具 NoSQL 扩展性又不丧失传统关系型数据库 ACID 特性的分布式数据库
1960s 1970 1980 1990 2000 2010
Network Model Hierarchical Model
E.F. Codd Relational Model
Ingres@UCB
System R@IBM
SQL Informix Teradata Sybase
DB2 MySQ L
SQL Server PostgreSQL
Greenplum Vertica
Redis HBase Cassandr a MongoDB
Spanner / F1
CockroachDB
TiDB / TiKV
MySQL Sharding
GFS BigTable MapReduce
VoltDB OceanBase
2020
Hana
Oracle
数据库技术发展演进(2/2)
Google -大规模分布式计算领域的领跑者
2003 GFS
2004 MapReduce
2006 BigTable
2012 Spanner
2013 F1
BigTable Map Reduce
GFS
Google 十年前基于内部分布式处理框架发表的三篇论 文奠定了大数据分析处理基石。 开源社区以此为基础打造了 Hadoop.
F1 Data Flow Spanner
Colossus
Google 内部新一代分布式处理框架,于 12/13 年发表相关论 文,奠定下一代分布式 NewSQL 的理论和工程实践基石。 PingCAP 以此为基础打造了 TiDB & TiKV.
HBase Map Reduce
HDFS
TiDB
TiKV
NewSQL | TiDB
Google Spanner | F1 - 第一个真正意义上NewSQL 数据库
● 全球级分布式关系型数据库,数十万机器组成一个超大的数据库集群 ○ Spanner - 有状态分布式 Key-Value 数据库 ○ F1 - 无状态分布式 SQL 解析器 ● 支撑 Google Adwords、Wallet 等核心金融业务 ● 根据业务压力,水平无限扩展或者伸缩,底层七副本,保证任意一个 数据中心宕机,底层自动切换,上层业务不中断,无需人工介入 ● 2017年2月,Google 在其 GCP 公有云平台正式提供 Cloud Spanner 服务,并于5月 GA。