打开游戏首页(新标签页)亚马逊云科技 User Group 云上大亨服务知识点架构讲解

从对局打开的学习页,可切回原游戏标签继续。

SERVICE分析组 · Serverless

Glue

分析组Serverless按用量自带跨 AZ 高可用

Serverless 的数据集成(ETL)服务:爬取数据源建数据目录,用 Spark 作业清洗、转换数据,按运行时长收费。

常见用法

数据湖入湖、给 Athena 和 Redshift 准备数据

为什么用它

清洗数据、转格式、建数据目录不用自己搭集群,按运行时间付费

核心知识点5 条

  1. Serverless 的数据集成(ETL)服务:用 Spark 或 Python 作业清洗、转换数据
  2. Glue 数据目录集中存表结构(元数据),Athena、Redshift Spectrum、EMR 都用它
  3. 爬网程序(Crawler)自动扫描 S3 等数据源,推断表结构、写进数据目录
  4. Glue Studio 可视化编排作业;Glue DataBrew 用界面做数据清洗
  5. 按 DPU(数据处理单元)的运行时长计费

三个关键功能游戏里的三级升级,就是现实里的这三个功能

LV.1 · 第 1 级

数据目录

统一管理所有表的结构,Athena、Redshift 都能直接用

游戏里:这块过路费再 +20%

运行费:收到过路费时交 15% 请求费

LV.2 · 第 2 级

作业书签

只处理新增的数据,不重复跑

游戏里:运行费或请求费减半

运行费:收到过路费时交 8% 请求费

LV.3 · 第 3 级

数据质量

自动检查数据是否完整、是否符合规则

游戏里:过路费提高

运行费:收到过路费时交 8% 请求费

练一练3 道,来自游戏题库和认证练习题:点一个选项看对不对

答对 0 / 3,已答 0

1.Glue 主要用来做什么?
2.Glue 爬网程序(Crawler)做什么?
3.某公司每天通过 Amazon Data Firehose 把数 TB 的 JSON 点击日志写入 S3,分析师用 Amazon Athena 查询。大多数查询只涉及最近几天和少数几个字段,但费用很高。如何最有效地降低查询成本?SAA-C03

用在哪些架构3 个

在游戏里

售价
$300
过路费
未升级、对方掷 7 点时约 $60;升级、集齐整组、凑成架构以后更高
升级
基础价 $150,越往上越贵;落在自己的服务上才能升一级
计费
按用量
类型
Serverless
高可用
自带跨 AZ 高可用:Serverless由亚马逊云科技在多个 AZ 里运行,不用自己做多 AZ;要扛整个 Region 出问题,才需要升多区域

游戏内价格为虚构,不代表实际定价;$ 是游戏币单位。