字节跳动流式数仓和实时分析服务的思考和方法论

ser Case沙载简单，必要搜索 DFS

从 Flink Table Store 的定位来看，Flink Table Store 有 Snapshot，赞同批执行，沙上 Log 流向，同时还共享确立的沙载，可充分利用所有为中所心即时分析方法免费的 User Case。

其次，Flink Table Store 沙载简单，可必要像 DFS 分布式文件姪系统或普通人沙载一样用作，这对整个灵活性的强转化、沙载生产成本和效能的平衡都有相当大功用。

（2）沙载结构设计

Flink Table Store 的沙载结构设计有数两其余部分:

依赖于高密度的其他消息函数调用缓冲器的 Log Queue基于列存的分布式文件姪系统

两其余部分相结合可以赞同流向读书（Streaming Reading）、批读书（Batch Reading）以及 Lookup Join。

（3）流向批依托

Flink 有赞同流向批依托的连续性，在读书取之外，可以赞同流向读书，可以读书取 Log Changes，也可以赞同批读书，读书 Snapshot，还可以对批流向顺利进行融合读书取，Hybrid read 读书，还可以赞同点查。在读书取之外，既可以赞同持续地高密度由此可知列于插入，也可以赞同分组，赞同 Overwrite 的批写。

整个中层跟由此可知列于免费是完全相同的，可以基于分布式文件姪系统，中层是无免费的稳定状态，能明白分析和沙载除去。同时，Flink Table Store 本身是基于列存的，也符合列存所较强的更高效能的分析方法连续性，比如压缩比。

（4）年底赞同 SQL

目前为止业界不会外部沙载可以赞同 Flink SQL 的所有技能，要么不赞同定义，要么不赞同 Change，或者不赞同批写，也有的不赞同 Online 搜索，这就会造成高密度沙载、读书取、搜索的紧迫。

Flink Table Store 可以年底赞同 Flink SQL。通过 Flink Table Store 沙载后的由此可知列于，只要有这个业务范围语义，有null可选，就必需顺利进行若有的 DDL 定义，还赞同所有的一般来说，如消息一般来说或 DML。在此细转化，我们就可以把搜索或定义继续做得更好。

（5）Merge Tree

Merge Tree 是用作即时分析两大的内外基础，FlinkState，ClickHouse 及 HBase，有数 HSAP，都是基于 Merge Tree 的。Merge Tree 本身赞同大量短时间内备份的技能，有数备份写增量文件，以及基于 Sorted File 按需 Merge。

Merge Tree 还可以赞同更高效分析方法和点查，它的全局有序性可以明白很好地 Data Skiping，强转化检索系统、搜索的灵活性。

根据这些列于现形式，字符小组用 Flink Table Store 搭建即时数佐和即时免费分析方法的中层根基，并在上面顺利进行进一步最佳转化。

（6）字符 Flink OLAP 最佳转化

Flink OLAP 技能是流向数佐的两大之一，字符小组基于 Flink 构建了全新的 OLAP 涡轮引擎，已赞同 User Growth、电姪商务、幸福里、飞书等业务范围，共约 11 个空降兵 6000+ Core AP 天然资源，每天 Query 50w+。同时为了赞同业务范围在用作 Flink OLAP 的执行过程中所搜索 Latency 和 QPS 的市场需求，对 Flink 涡轮引擎体系结构设计和机制意味着顺利进行了大量有系统最佳转化，使业务范围搜索效能强转化 50% 以上，节省时间了分析天然资源；在小规模由此可知列于量下，Flink 复杂施作执行者的 QPS 从 10 提更高到 100 以上，简便施作执行者的 QPS 从 30 提更高到 1000 以上。

我们在最佳转化字符内外 Flink OLAP 技能的同时，早就跟社区共同开发方案，鼓励将之外最佳转化透过社区，在 [FLINK-25318] Improvement of scheduler and execution for Flink OLAP 下创建了 20 多个姪任务，有其余部分现在合并入主支系，悉数的也在内部设计和开发方案中所，后续方案跟社区一起共约同完成推进 Flink OLAP 技能新建和完善。

4. 意味着由此可知列于流向口到口连续性

在 ETL 执行过程中所，同一份由此可知列于源就会顺利进行多次分析，一些 ETL 的结果由此可知列于在对使用者共享搜索分析方法免费的同时也作为由此可知列于源执行者下一轮，这时就就会导致三个连续性难题：

由此可知列于源到 ETL Exact OnceETL 读书取单列于 Exact Once多个中所间列于的区别连续性

如上文所提到，在不会 Flink Table Store 和意味着流向批依托早先，分析细分流向分析口口和批分析口口，两条口口有各自独立自主的分析空降兵和调配，由此可知列于有完全相同的入口和完全相同的执行方式，这种方式上下继续做由此可知列于的口到口连续性考验相当大，生产成本颇为更高。

意味着流向批依托后，通过定时调配天然资源，定时调配高密度口口的由此可知列于执行步骤，把口口中所的由此可知列于步骤通过中所间列于的行政事务读书取，保证中所间由此可知列于口口的连续性。同时 Flink 的本身的 Exact Once 连续性也能保证在 ETL 中所间执行过程的口口上连续性。

字符小组通过流向批依托转化消除了由此可知列于跟姪系统的由此可知列于分块以及连续性的难题，在此细转化，我们进一步对效能顺利进行了最佳转化。

5. 运用于尘原生和即时免费分析方法强转化效能

（1）尘原生体系结构设计

字符的的产品基本都是基于尘原生体系结构设计顺利进行整修，基于容器转化，在公共约尘上全行政当局的 Serverless 方式上。

在这个方式上下，上层的使用者只须要关注业务范围分析方法和规划内部设计，下面的天然资源运维管理者和调配重新分配由姪系统内部设计小组执行，使用者用作门槛高，同时也避免业务范围深介入运维管理者。

同时，尘原生基于存算除去，黏性很更高，必需充分利用更高效的侧向扩充。像号外和抖音等的产品，在晚上到起床早先，使用者的用作市场需求很更高，这个时候对即时分析效能促请也颇为更高，使用者起床后，用作市场需求升高，此时对效能的促请相对较高，黏性就可以往下放，尘原生的黏性战术上在这个片中所下得到了颇为好的体现。

此外，小组还通过更高效的分布式涡轮引擎来消除免费效能难题：

多方式沙速搜索，通过 SSD、RDMA、PMEM、闪存等手段，强转化搜索及 Shuffle 灵活性物转化视由此可知充分利用由此可知列于预分析用 C++ 重写向分析涡轮引擎，强转化连续性灵活性

几个忽略下来，可以充分利用像号外、抖音等的产品即时的读书取、备份、更高都将促请以及由此可知列于的可视转化，使用者在的产品内顺利进行该网站跳跃后就可以立即自带其关心或感兴趣的图片和新闻。

（2）即时免费分析方法涡轮引擎

字符小组制造了新一代为中所心大由此可知列于片中所的即时免费分析方法姪系统，既必需充分利用使用者更高 QPS，高 Latency 的应用软件 Serving 市场需求，也能充分利用使用者对于海量由此可知列于的即时分析方法市场需求。

有别于的 OLAP 分析方法方式上本来是静态的，在分析方法的时候须要附加好的视由此可知或模型，海量分析方法时，通过附加的分析方法模型，分析方法出来的结果给到 Serving 近似于的由此可知列于库，如 HBase，Redis，MySQL，在这个执行过程中所 Serving 跟分析方法是除去的。

同时字符小组在业务范围的议程执行过程中所见到，用 OLAP 的使用者对分析方法的促请本来是不互换的，且与 OLAP 本身的现状不相符，使用者须要的是灵活性、不互换、按需的分析方法。

因此，我们对即时分析方法的免费涡轮引擎继续做了零点最佳转化：

1. 免费与分析方法整合，使分析方法和免费依托转化

2. 赞同海量由此可知列于即时读书取、即时备份、即时分析方法，赞同标准规范 SQL（并行MySQL语法）

（3）即时免费分析方法涡轮引擎类似片中所

字符内外在用作即时免费的类似片中所主要是延揽类的构造分析方法，如延揽中所用的机器学习构造，这类片中所造成了新的考验：

由此可知列于即时可见由此可知列于须要即时读书取，即时搜索，使用者须要由此可知列于即时可见由此可知列于读书取吞吐大搜索都将更高（QPS 百万等级），对于搜索时域促请（毫秒等级）；使用者构造明细由此可知列于庞大，若有时间窗口的应用软件交联较难充分利用时域的市场需求这两项不会一个姪系统必需充分利用使用者所有市场需求，使用者往往须要 KV+OLAP+Batch 来充分利用业务范围市场需求

对于这些考验，字符小组继续做了两个最佳转化：一是用作 MV 对明细由此可知列于顺利进行交联，二是通过脏读书来充分利用使用者对时效性的促请。

以上，是字符尘原生部门的两个近期的的产品，高密度数佐和即时免费分析方法涡轮引擎。

---

03

喷发涡轮引擎尘原生分析

喷发涡轮引擎的产品的列于现形式是，基于字符内外业务范围孵出，经过了大规模的实践检验后才顺利进行商业，姪系统内部设计比较成熟，相对于源代码第二大的列于现形式是尘原生转化。

上由此可知是喷发涡轮引擎尘原生分析的大由此可知列于消除方案，共约由5其余部分组合而成。最中所间其余部分是两大涡轮引擎，分别是：

用作高密度分析的 Serverless Flink用作批式分析的 Serverless Spark 和 Ray 时序涡轮引擎用作沙载的喷发涡轮引擎自研的大由此可知列于确立沙载 CloudFS 和 Iceberg

上述涡轮引擎基于源代码，但根据字符的业务范围连续性顺利进行了增强和沙固。

上层是由此可知列于的开发方案和管理者，项目和特权管理者可以对每个人口众多顺利进行细转化的特权管理者；此外还有元由此可知列于管理者、施作开发方案、任务调配，及 API 免费，总的来说必需明白口到口的公共安全。

右侧的由此可知列于免费，右侧的由此可知列于免费，有数必需共享标准规范的消息函数调用、100% 并行 Kafka 的 BMQ，还有开放搜索涡轮引擎 Open Search，及即时分析 Flink 到即时免费分析方法的由此可知列于免费。

最下层的天然资源和调配，共享尘原生 Operator 对天然资源调配顺利进行最佳转化，还赞同多尘管理者和混合协同作战，强转化分析口口用作执行过程中所的天然资源利用灵活性。

在业务范围步骤上，从由此可知列于集成到由此可知列于分析方法，再到由此可知列于免费，尘原生分析的产品体系可以口到口地免费顾客的整个步骤。

总的来说，喷发涡轮引擎尘原生分析的产品体系在尘原生的细转化，共享了一火车站式的大由此可知列于管理者网络服务，必需意味着即时和备份分析合一，通过天然资源调配和由此可知列于开发方案管理者，顺利进行了连续性的口到口的最佳转化。

---

04

QBellA环节

Q1：由此可知列于源继续做 ETL 读书取到单列于时 Exact Once 的度怎么保证？

A1：运用于了 Flink 的 Exact Once 连续性。

Q2：Starrocks 的效能对比次测试

A2：据了解目前为止不会过效能的对比次测试，另外，字符内外的火车站内片中所比较多，丢下的难题也比较多，我们是基于尘原生整修的，所以在 QPS 上继续做得比较深的，这是我们跟源代码不太一样的人口众多。

Q3：怎么样是非 Flink Table Store？

A3：Flink Table Store 在流向批依托的片中所下是有颇为好的技能，目前为止字符内外用作的 Flink Table Store 跟源代码并行并行的。

从前的社交就到这里，谢谢大家。

社交郑裕玲：汪建锋 喷发涡轮引擎 姪系统内部设计专业人士

编辑整理：张玮

摄制网络服务：DataFunTalk

01/社交郑裕玲

汪建锋｜喷发涡轮引擎 尘原生即时数佐姪系统内部设计专业人士

喷发涡轮引擎尘原生即时数佐的产品主管，拥有十多年大由此可知列于和AI之外的产品和方案体系结构设计等管理工作，这两项主要负责喷发涡轮引擎尘原生即时由此可知列于库的产品的的产品内部设计和商业管理工作。

02/关于我们

DataFun：专注于大由此可知列于、人工智慧姪系统内部设计分析方法的社交与交流向。发起于2017年，在北京、北京、深圳、杭州等的城市举办多达100+线下和100+线上拉斐尔、研讨会及峰就会，已邀请多达2000位专业人士和历史学家参与社交。其公众号 DataFunTalk 累计生产商原创文章800+，百万+读书到，15万+精准Fans。

。

石家庄白癜风治疗费用多少钱
石家庄男科病治疗费用
艾得辛效果好吗
有什么方法可以治疗干眼症吗？对付干眼症试试这样做！
扶他林和英太青的区别是什么