作者：韩山杰
Databend Cloud 研制工程师
github.com/hantmac
根底架构在云核算年代也发生着翻天地覆的变化，对于事务的支撑变成了如何能利用好云资源完成降本增效，一起更好的支撑事务也成为新年代技能人员的挑战。本篇文章通过：凭借 Tapdata Cloud 完成从阿里云 RDS 到云原生数仓 Databend 的数据同步，给我们展现一下 Tapdata Cloud 和 Databend Cloud 在数仓范畴的实践。
Tapdata Cloud 是由 Tapdata 供给的集数据仿制、数据开发为一体的实时数据服务，能够在跨云、跨地域、多类型数据源的场景下，供给毫秒级的实时数据同步服务和数据融合服务。
Databend 是根据 Rust 开发的一个开源、弹性、负载感知的现代云数仓，赋能企业降本增效。在之前的文章中介绍了如何快速布置 Databend。Databend Cloud 是根据 Databend 完成的云上大数据解决方案。
1.体验 Tapdata 到 Databend Cloud 数据搬迁
布置架构如下
-
数据源上布置 Tapdata Agent
-
Tapdata Agent 从 Tapdata Cloud 上获取使命执行
-
apdata Agent 获取的数据写入 Databend Cloud
具体操作如下：
1.1.布置 Tapdate Agent
Tapdata Agent 是数据同步、数据异构、数据开发场景中的关键程序。以上场景对数据的流通有着极高的实时性要求，因而，通过下载 Tapdata Agent 并将其布置在你的本地环境，根据低延迟的本地网络，Tapdata Agent 能够发挥最佳性能以保证数据流通的实时性。
能够参考 Agent 下载及安装[4]。
1.2 数据同步 （From MySQL to Databend ）
这里假定用户现已创立阿里云 MySQL RDS 并在 RDS 中存储了一定量的数据，预备把数据同步到 Databend。
1.2.1 创立 MySQL 衔接
在 Tapdata Cloud 中创立 MySQL 衔接
填写相应的衔接参数，衔接测试通过后保存。
1.2.2 创立 Databend 衔接
在 Beta 数据源中选择 Databend 衔接并填写相关衔接参数，测试通过后保存。
1.2.3 创立数据仿制使命
将 MySQL RDS 数据源和 Databend 数据源拖到画布中衔接起来，表示预备从 MySQL 同步数据到 Databend。同步形式选择为 `全量同步`（增量同步的形式正在开发中），发动使命。
开端从 MySQL 同步数据到 Databend，下面展现了同步进程中的信息和数据。
1.2.4 检查结果
首先看一下 MySQL 中的表：
一起咱们也能够在 Databend 中查询出现已同步过来的表和数据：
1.3 小结
上面的比如是通过 Tapdata Cloud 跑通一个 MySQL 表以及数据同步到 Databend 。Tapdata 非常强壮，能够支撑多种异构数据源之间的同步，我们能够到 Tapdata Cloud 上持续探索。
2. Databend 生态介绍
Databend: 是新一代根据目标存储的弹性云数仓产品。地址：github.com/datafuselab…
OpenDAL: 是 Databend 中负责和底层存储打交道的一个组件，现在被 Rust 多数据库产品及 Rust sccache 中很多运用，估量不远的将来会成为一个多云目标存储支撑最好的产品。地址：github.com/datafuselab…
Openraft: 是 Databend 中负责 Databend Meta 中的集群组件，现在被 SAP 及 许多交易所运用。地址：github.com/datafuselab…
Databend k8s operator： Databend 开源了 helm 根据 k8s 布置的 operator。地址：github.com/datafuselab…
文档网站： databend.rs/
Databend Cloud： Databend Cloud 是根据 Databend 完成的云 SAAS 的数仓项目，希望把底层的运维及生态悉数封状好，对用户供给一站式 SAAS 数仓服务。
现在 Databend Cloud 分为：海外和国内两个版别。
海外版别主要布置在 AWS上，地址：databend.com，
国内版别主要布置在阿里云和国内 AWS 上：databend.cn , 运用 Databend Cloud 的优势：
-
根据 Databend 供给云上一站式数仓服务，有相应的安全和降本最佳实践
-
根据 Databend 存储运用 Parquet 格局，一起支撑update, delete, alter table 操作，简化数据保护和 ETL 进程
-
根据 Databend Cloud 能够打造内部的数据集市
3.运用 Databend 的场景及优势
现在适用场景：
-
海量日志存储及分析
-
部分 ES 场景
-
订单及商品销售状况分析
-
数据审计场景
运用 Databend 的优势：
-
根据 Rust + 目标存储 及 k8s 架构，真实完成了存算别离
-
根据目标存储本钱及 Databend 的紧缩技能，使存储有 10 倍左右的优化，一起也能够让存储完成按需付费
-
核算节点无状况，能够让核算完成按需扩缩容
关于Databend
Databend 是一款开源、弹性、低本钱，根据目标存储也能够做实时分析的新式数仓。等待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。
-
Databend 文档：databend.rs/
-
Twitter：twitter.com/Datafuse_La…
-
Slack：datafusecloud.slack.com/
-
Wechat：Databend
-
GitHub ：github.com/datafuselab…
