GeoParquet 简介：实现数据云之间的地理空间兼容性

tasmiyajannatrr

今天我们很高兴向大家介绍的第一个社区提案。我们的目标是标准化中地理空间矢量数据的存储是一种非常流行的表格数据列式存储格式。愿景是在使用地理空间数据时实现同云数据仓库和计算引擎之间的互操作性。所谓的数据云是增长最快的企业软件领域之一正在使大量新用户涌入分析领域。通过这一举措我们希望为这个快速增长的用户社区解锁空间分析。公司标志为什么选择实木复合地板？在过去几年中广受欢迎尤其是在大数据分析领域。其基于列的格式特别适用于包含许多列的非规范化数据集并且可以高效地查询。您可以了解此格式与等其他格式相比的主要优点。从本质上讲它更快更便宜更方便。但除了作为数据格式的优点之外还提供了一种在现代云计算领域构建数据湖的方法。想象一下作为一个组织您可以在文件中处理数据这使您能够高效地使用许多同的计算引擎而无需复制或移动数据。

现在还想象一下与您合作的数据提供商的数据也在中可用。突然间您就好像拥有了自己的数据湖并与其他数据湖进行了扩展并兼容。数据永远新鲜涉及一路方便图表我们使用作为 保加利亚 电话号码数据库 示例但其他查询和计算语言也适用。我们正在进入完全分布式数据分析的世界。当然需要考虑很多因素但您可以明白为什么是实现这一愿景的基本构建块。即使您将数据导入云数据湖拥有高效云优化的数据格式也可以为整个数据生态系统提供令人难以置信的价值。为什么选择？现在如果所有这些系统都能理解空间数据那么对于空间用例来说这一切都是可能的。尽管具有复杂的数据类型系统但没有关于如何存储位置数据的标准或指南因此每个产品都以自己的方式实现。结果是您无法从一个系统导出空间数据并将其导入到另一个系统中而无需在它们之间进行大量处理。数据提供者无法以统一格式共享其数据。



如果他们想要支持同系统中的用户他们需要在同引擎中支持同的空间支持变化。几乎这些互操作性问题使我们之前描述的所有好处失效了这就是为什么地质镶木地板如此重要。通过定义编码和描述空间数据的通用方法整个生态系统都会受益。创建和共享数据变得更容易成本更低我们可以实现无数据复制的云原生数据湖架构的完整愿景。访问导航新地理空间景观的终极指南。下载免费报告立即实现地理空间分析堆栈的现代化。下载报告的横幅现代化地理空间分析堆栈定义了什么？数据集具有很强的可扩展性使用其功能来表明哪些列包含空间数据数据在哪个空间参考系中几何地理是如何编码的底层坐标是平面坐标还是球面坐标？将来我们还将考虑定义空间数据分区索引或对象但我们正在采取逐步的方法。查看存储库以获取文档示例和讨论。我们很乐意得到反馈。共同前进为了使这一举措取得成功我们需要许多组织的合作。目前我们已经得到了三大云的支持以及生态中的很多产品。开放地理空间联盟我们认为推动此类倡议的正确地点是开放地理空间联盟。