海量结构化数据解决方案-表格存储场景解读

简介:数据是驱动业务创新的最核心的资产。不同类型的数据如非结构化数据(视频、图片等)、结构化数据(订单、轨迹),面向不同业务的使用要求需要选择适合的存储引擎,能够真正发挥数据的价y X s z $ i值。针对于海量的非强事务的海量结构化/半结构数据,表格存储一站式解决。这里详细解读该适合场景的使用解读。

数据是驱动业务创新的最核心的资产。不同类型的数据如非结构化数据(视频、图片等)、结构化数据(订单、轨迹),面向不同业务的使用要求需要选择适合的存储引擎X k ^ @ C S },能够真正发挥数据的价值。

比如:非# R u y = s F |结构化的数据-视频图片等适合对象存储OSS,强事务的结构化数据-交易订单{ 2 0 ) ,适合MySQL。

而针对于海量的非强事务的海量结构化/半结构数据:

海量结构化数据解决方案-表格存储场景解读

这些场景特点是: 1. 数据规模大,常见的关系型数据库难以存储。 2.需要支持很高的读写吞吐与极低的响应延迟。 3. 数据结构[ ~ ( 7 { - z ; a相对简单,无跨数据表的关联查询,数据存储写入是无需复杂的事务机制。

表格存储Talest@ - v ; 9ore正是为了解决上述数据的存储、访问以及计算

历史订单场景

在电商、金融、外卖、新零售等所有涉及交易与协定的所O ? _ H + 5 ( p有场景中,都涉及大量的订单。记录社会方方面面。B J 8 T p 6 R @ ~传统关系型数据能够解决需要支持强一致k H ; v K { Y 1 K的事务的在H R j a L - L线业务,但海量的订单关系型数据无法保存全量数据,需要数据分层。 架构核心需求

  • 在线数据同步:做实时数据与历史数据分层—支持实时同步在线业务
  • 历史数据存储:历史订单数据存储—支持低延迟数据点查,搜索。
  • 高性价比海量l ) m U v s c存储数据分析:针对历史库进行报备统计分析—需支持计算组件分析统计!

海量结构化数据解决方案-表格存储场景解读

核心优势

  • 弥补在线库容量问题,降! ? ! _ s F $ q 5低在线库压力
  • PB级历史库存储+ X @ 0 : $,可全量保存所有数据,并能提供低延迟高并发查询
  • 索引订单内多字段,提供任意条件组合查询

IM/Feed流场景

IM(Instant Messaging,即时通讯)成为当前互联网业务基础组件,在社交、游戏、直播等场景广泛需要。需要高效支持海量消息的存储、同步、检索。 架构核心组件

  • 消息历史库:按对话存储历G ( k ;史消息—需海量数据,存储易拓展
  • 消息同步O t 7 . p J o库:按接受者存储同步消息—需支持高并发写入,实时拉取(写扩散0 o $ B w : 3
  • 消息索引:针对历史库数据支持数据检索—需数据更新同步

核心优势

  • Tablestore Timeline 消息模型,专为 IM/Feeds 场景设计,简化开发
  • 同步表百 TB 存储,存储表 PB 级存储。
  • 分布式架构,LSM存储引擎,支撑每秒百万写扩散消息写入,毫秒级同步库拉取
  • 读写扩散混合同步模型

时序场景-监控/IOT

针对实时数据的记录与分析极大的丰富了我们对于数据的使用场景。针对系统的运维监控、针对Iot场景中对于环境与人的监控都更有效帮助我们做事实理解与决策。这里需要面临众多设备与系统的高并发写入与数据存储,以及决策分析。

场景核心需求

  • 数据高并发写入:面向众多设备与系统支持百万级节点实时写入
  • 数据实时聚合:针对原始数据监控预聚合,降低精度—支持数据实时同步对接流计算
  • 数据存储:长o Z !久保存G ^ n W :数据—需单表6 l w , Z n Np F F ! @ / a r D模极大,高# B w P 1性价比存储

海量结构化数据解决方案-表格存储场景解读

核心优势

  • 核心单表数据规模达Z m i A 10 PB,可自定义数据生命周期
  • 核心单表T B } W H z j持续每秒写入进 5000万个数据点
  • 数据实时写入,大大/ ~ u B G m `提升数据可见时效性
  • 毫秒级实时查询展示趋势图和报表,查询性能不受单表规模约束

舆情&amU h I , y i {p;风控分析

针对舆情信息的分析与把控,可以有效1 w a ^ , ^ U -的分析与_ n f C洞察市场。比如针对点评、新闻、评论等信息的收集分T $ V 8 Y ? }析。需要2 x g y ] Z |丰富的多类数据高并发写入与便捷的数据流转进行计算分析

场景核心需求

  • 原始数据写入存储:海量数据爬虫需要高并发M : f y 3 w :写入能力与PB及存储。
  • 多数据类型存储:爬取的内容与生成的标签类似丰富! q m / ! | . 1 W需要写入Schema-Free
  • 数据分析:针# b X ^ H I S u对数据分阶段处理原~ Q y [ m g v始信息->结构化标签->结X Y & }果存储—需要支持实时计算与离线计算对接

海量结构化数据解决方案-表格存储场景解读

核心优势{ w A b ( K

  • 分布式 LSM 引擎数据存储,提供高并z . Z V W v f发高吞吐写入,PB 级数据存储
  • 通过数} m . , 4据更新捕获,实时触发后续对数据的自定义处理逻辑
  • 与大数据平5 h _ I ] g台实时数据同步,分析结果写入结果表,供应用层实时查询

推荐系统

推荐系统作为当前所有业务p V / U精细化运营的主要抓手,颠覆了传统内容输出方式,成为当前海量信息时代流转的核心引擎。广泛0 - ~ q z k [ L [在电商、短视频、新闻等场景应用。需要高效支持海量消息存储与实时、离线分析。 架构核心组件

  • 行为日志:存储客户端写入实时数据—需高并发写入,支持对接= ; ~ k N V流式计算实时分析
  • 历史数据f Z I z I ~ 2:冷数 2 d L w g w 8据同步下. M Z O w U d沉至OSS数据湖—需支持数据投递、便于数据分层
  • 用户标签:针对分析标签与推荐信息存储—需支持属性列{ A t j s T X %横向拓展,高效检索

海量结构化数据解决方案-表格存储场景解读

核心优势

  • 数据规模:存S ( O M h储量无上限,冷热数据分层灵活定义
  • 海量并发:单表写入水平扩展,支持亿行每秒级别
  • 数据实时写入,实时* S h % Z / $ c z可见
  • 数据实时投递 OSS数据湖, Tablestore 只存储热数据,提供丰富索引,高吞吐扫] Q E ( 6 ! 8

作者:oss-dx

本文为阿里云原创内容,未经允许不R ( D l T S T } f得转载。