Databend 开源周报第 118 期

Databend 是一款现代云数仓。专为弹性和高效规划,为您的大规模剖析需求保驾护航。自由且开源。即刻体会云服务:app.databend.cn

What’s On In Databend

探究 Databend 本周新进展,遇到更贴近你心意的 Databend 。

MERGE INTO 现已支撑分布式履行

MERGE INTO 句子会依据指定的条件和匹配标准,运用来自指定源的数据,在方针表中履行对行的刺进、更新或删除操作。

现在 Databend 中的 MERGE INTO 现已支撑分布式履行,这将会带来更高效的数据集成才能,其物理方案如下图所示:

Databend 开源周报第 118 期

假如您想了解更多信息,欢迎联系 Databend 团队,或检查下面列出的资源。

Code Corner

一起来探究 Databend 和周边生态中的代码片段或项目。

运用 LakeFS 将数据版别化嵌入你的剖析工作流

lakeFS 致力于为同享和协作处理数据供给解决方案,用相似 Git 的操作逻辑赋能目标存储,采用版别化方案为数据供给逻辑共同的视图,为现代化数据工作流嵌入有意义的分支名和提交信息,而且为数据、文档的一体化供给解决方案。

Databend 在供给分布式、弹性可拓宽、运维方便的高性能查询引擎,相同支撑相似Git的多版别存储,能够轻松查询、克隆和复原恣意时间点的数据。

结合 LakeFS 的数据版别化才能和 Databend 的类 Git 数据管理才能,能够保证数据齐备性,而且为数据剖析工作流供给高效、高可用的共同视图。

假如您想了解更多信息,请检查下面列出的资源。

Highlights

以下是一些值得注意的事情,或许您能够找到感兴趣的内容。

  • 支撑 JSON 运算符:??|?&
  • 支撑对 STAGE 和 UDF 的权限管理。
  • 支撑 flatten 表函数。
  • 支撑运用 URL 创立外部表:CREATE STAGE test_stage [URL =] 's3://load/files/'
  • 阅览文档 Example 2: Attaching Table in READ_ONLY Mode 了解如何运用 ATTACH TABLE 的只读模式。
  • 阅览文档 Conversion Functions 了解 Databend 中的类型转化函数与规矩。

What’s Up Next

咱们始终对前沿技术和立异理念持敞开态度,欢迎您参加社区,为 Databend 注入活力。

支撑读取 Delta 表格局

Databend 目前支撑经过 Catalog 挂载并读取 Iceberg 表格局中的数据,方案支撑的下一个方针是 Delta Lake 。

Delta Lake 是由 Databricks 建议并开源的存储格局。它经过根据文件的业务日志扩展了 Parquet 数据文件,使其能够处理 ACID 业务和可扩展的元数据。 Delta Lake 彻底兼容 Apache Spark API,而且其规划与结构化流式处理紧密集成,使您能够轻松地在批处理和流式处理操作中运用单个数据副本,并供给大规模增量处理。

Issue #13429 | add read only support for Delta table

假如你对这个主题感兴趣,能够测验解决其中的部分问题或者参加评论和 PR review 。或者,你能够点击 link.databend.rs/i-m-feeling… 来选择一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

Changelog

前往检查 Databend 每日构建的改变日志,以了解开发的最新动态。

地址:github.com/datafuselab…

Contributors

非常感谢贡献者们在本周的卓越工作。

Databend 开源周报第 118 期

Connect With Us

Databend 是一款开源、弹性、低成本,根据目标存储也能够做实时剖析的新式数仓。期待您的关注,一起探究云原生数仓解决方案,打造新一代开源 Data Cloud。