打开游戏首页(新标签页)亚马逊云科技 User Group 云上大亨服务知识点架构讲解

从对局打开的学习页,可切回原游戏标签继续。

ARCHITECTURE数据与分析 · 5 块

数据库变更入湖

业务库的每一次改动近实时同步到数据湖、搜索或数仓,分析拿到的总是新数据

必须 4 块可选 1 块过路费约 $196–$440(7 点、没升级)

架构图

ARCHITECTURE · 数据库变更入湖
RDS数据库组
或
Aurora数据库组
→
DMS数据库组
→
Kinesis分析组
→
S3存储组
或
Redshift分析组
或
OpenSearch分析组
+
可选
EventBridge应用集成组
→往下走⇄去问一下再回来+一起配合←从后面流进来可选没有也算凑成鼠标移到每一块上,看它在这里干什么

数据怎么走4 步

  1. 01

    DMS 持续抓 RDS 或 Aurora 的变更日志(CDC:MySQL 的 binlog、PostgreSQL 的 WAL)

  2. 02
    → 往下走

    写进 Kinesis Data Streams

  3. 03
    → 往下走

    Data Firehose 落进 S3 数据湖或写进 OpenSearch 做实时检索,或者 Redshift 流式摄取直接从 Kinesis 读,几秒内就能查到

  4. 04
    + 一起配合可选

    DMS 任务的状态变化发到 EventBridge,同步断了马上告警

每一块干什么8 块服务

01RDS必须几选一

数据库组 · PaaS · 按小时 · 售价 $280
在这里
DMS 持续抓 RDS 或 Aurora 的变更日志(CDC:MySQL 的 binlog、PostgreSQL 的 WAL)
为什么用它
要关系库又不想自己运维时用它:备份、补丁、多 AZ 故障切换都托管,引擎选择最多
它是什么
托管的关系数据库:支持 MySQL、PostgreSQL、MariaDB、Oracle、SQL Server、Db2,帮你做备份、打补丁和故障切换。多 AZ 部署会在另一个 AZ 放一台备用实例。
常见用法
传统业务系统、电商订单库
RDS 的知识点 →

01Aurora必须几选一

数据库组 · PaaS · 按小时 · 售价 $280
在这里
DMS 持续抓 RDS 或 Aurora 的变更日志(CDC:MySQL 的 binlog、PostgreSQL 的 WAL)
为什么用它
要更高性能和可用性的 MySQL、PostgreSQL 时选它:存储自动跨 3 个 AZ,只读副本延迟低
它是什么
亚马逊云科技自研的云原生关系数据库,兼容 MySQL 和 PostgreSQL:数据在 3 个 AZ 里存 6 份,最多 15 个只读副本;Aurora Serverless v2 按负载自动伸缩,Global Database 能跨区域。
常见用法
高并发的核心业务数据库
Aurora 的知识点 →
这一环怎么选

Aurora 兼容 MySQL 和 PostgreSQL,性能和高可用更好(存储跨 3 个 AZ);要 SQL Server、Oracle,或者想省钱,用 RDS

02DMS必须

数据库组 · PaaS · 按小时 · 售价 $340
在这里
DMS 持续抓 RDS 或 Aurora 的变更日志(CDC:MySQL 的 binlog、PostgreSQL 的 WAL);DMS 任务的状态变化发到 EventBridge
为什么用它
直接读数据库的变更日志,不用在业务代码里埋点,也不用定时全表扫描压源库
它是什么
数据库迁移服务:把机房或别的云上的数据库搬到亚马逊云科技,同构(MySQL 到 RDS for MySQL)、异构(Oracle 到 Aurora PostgreSQL)都行;全量搬完以后还能持续抓源库的变更(CDC),新旧库一直对得上,割接时停机很短。按复制实例的小时计费,也有按用量的 DMS Serverless。
常见用法
数据库上云、把业务库的改动实时同步到数据湖、搜索或数仓(CDC)
DMS 的知识点 →

03Kinesis必须

分析组 · 托管服务 · 按小时 · 售价 $300
在这里
写进 Kinesis Data Streams
为什么用它
数据一条条持续进来、要实时处理时用它:扛得住突发流量,多个消费者能同时读
它是什么
实时数据流:Kinesis Data Streams 接住每秒大量的事件,多个程序同时读;Data Firehose 能把数据直接送进 S3、Redshift、OpenSearch。
常见用法
点击流和日志实时分析、实时大屏、IoT 数据
Kinesis 的知识点 →

04S3必须几选一

存储组 · Serverless · 按用量 · 售价 $60
在这里
Data Firehose 落进 S3 数据湖或写进 OpenSearch 做实时检索
为什么用它
不用规划容量,存多少付多少,数据持久性 11 个 9;越放越冷的数据还能自动转到更便宜的存储类别
它是什么
对象存储:文件当成「对象」放进桶里,按存的数据量和请求次数收费,容量不用提前规划。标准存储类会把数据存到一个区域里至少 3 个 AZ。
常见用法
网站图片和静态资源、数据湖、备份归档、日志
S3 的知识点 →

04Redshift必须几选一

分析组 · PaaS · 按小时 · 售价 $340
在这里
或者 Redshift 流式摄取直接从 Kinesis 读
为什么用它
数据量大、报表和复杂 SQL 多时用它:列式存储加大规模并行,几十亿行也查得动
它是什么
云数据仓库:列式存储、大规模并行处理,用 SQL 分析海量数据;有预置集群和 Redshift Serverless 两种用法。
常见用法
BI 报表、经营分析
Redshift 的知识点 →

04OpenSearch必须几选一

分析组 · PaaS · 按小时 · 售价 $360
在这里
Data Firehose 落进 S3 数据湖或写进 OpenSearch 做实时检索
为什么用它
要全文搜索、模糊匹配、日志实时检索时用它,这些用关系库做又慢又压库
它是什么
托管的 OpenSearch(从 Elasticsearch 分出来的开源项目):全文搜索、日志分析和可视化,也能当向量数据库用。
常见用法
站内搜索、日志检索、RAG 的向量检索
OpenSearch 的知识点 →
这一环怎么选

便宜地长期存、离线分析,放 S3 数据湖;要秒级 SQL 报表,进 Redshift;要实时检索,进 OpenSearch

05EventBridge可选

应用集成组 · Serverless · 按用量 · 售价 $240
在这里
DMS 任务的状态变化发到 EventBridge
为什么用它
发事件的和处理事件的互不认识:多加一个处理方不用改发送方,还能按时间表触发
它是什么
Serverless 事件总线:把亚马逊云科技服务、自己的应用和 SaaS 发出的事件按规则转给 Lambda、Step Functions 等,也能定时触发。
常见用法
事件驱动架构、跨账户分发事件、定时任务
EventBridge 的知识点 →

在游戏里怎么算

必须的
4 块:RDS 或 Aurora、DMS、Kinesis、S3 或 Redshift 或 OpenSearch
可选的
1 块:EventBridge,没有也算凑成,有的话一起收
怎么收
凑齐以后,别人落在这套里你的任意一块,按整套架构所有服务的过路费加起来收;「或」的几块都在你手上就都算进来
大概多少
按没升级、骰子 7 点估:最省的凑法每次约 $196,每一环都配满(最优架构)约 $440;升级以后还会高很多

游戏内价格为虚构,不代表实际定价;$ 是游戏币单位。