构建可伸缩事务数据湖的关键考虑因素
数据驱动型公司正在利用云数据湖推动快速业务转型. 云数据湖 是否启用了新的业务模式和接近实时的分析来支持更好的决策. 然而, 随着迁移到云数据湖的工作负载数量的增加, 公司被迫解决数据管理问题.
数据隐私法规和对数据新鲜度和数据完整性的需求相结合，产生了对云数据湖的支持需求 酸 更新、删除或合并数据时的事务. 云数据湖要满足这一需求，有几个架构上的考虑. 这些都是:
数据湖上的事务性
数据的湖泊 不再用作冷数据存储，而是用作 特别的分析 近实时数据与数据仓库中的热数据相结合. 数据湖已经有了很大的发展，使企业能够使用商业智能仪表板或构建人工智能功能获得实时洞察. 构建可支持这些扩展用例的可靠分析平台, 数据工程师需要一种机制来构建:
- 缓慢改变维度(Type-I和Type-II):这是任何数据分析系统的常见需求，并且需要INSERT功能, 更新, 和UPSERT数据
- 数据重述:组织正在集成来自事务数据库等各种来源的数据, CRM, ERP, 物联网, 以及其他SaaS应用程序和来自社交媒体的数据. 这可能导致不正确或数据质量差，需要在后续步骤中纠正. 依赖于这些数据的业务规则需要清理, 完整的, 准确的, 以及最新数据，这进一步增加了数据重述的重要性.
安全 & 隐私条例 & 合规
对“删除权”或“被遗忘权”(RTBF)的新要求源于一系列新的和不断扩大的全球数据隐私法规. 这些法规规定了消费者对其数据的权利，并对违规行为实施严厉的经济处罚. 鉴于罚金数额巨大(高达全球营业额的4%), 他们不能被忽视. 企业面临着满足这些数据隐私的挑战 & 在确保业务连续性的同时保护需求. RTBF需要能够在有限的时间内有针对性地删除可能驻留在数据湖中的特定数据-记录或行或列. 随着数据湖中大量数据的扩散, 在不中断现有数据管理流程的情况下删除特定的数据子集是一项挑战. 虽然不同的供应商出现了一些新的解决方案，但并不是所有的解决方案都能充分满足需求. 因此，组织仍在构建定制解决方案来满足这些新法规. 但就像大多数内部构建的解决方案一样, 它们围绕更新呈现问题, 维护, 以及可审计性.
快time-to-insight
快, 基于“黄金标准”数据集的交互式分析可以让用户信任结果，并缩短洞察时间. 快速读取需要准备好的数据和正确的分析引擎. 数据工程师经常会问:“对于我的数据类型，什么是最好的数据格式??以及“为了获得更快的性能，正确的文件和分区大小是多少”?”
快time-to-writes
典型的分布式系统在完成写操作时，除了延迟之外，还会经历额外的开销. 开销来自于在写入云存储之前写入临时位置, 或者更新整个分区而不是一条记录. 对整体性能的影响是显著的, 随着组织开始大规模运营数据湖，这很快成为一个主要问题.
数据一致性 & 完整性
并发控制对于数据湖非常重要，因为它需要支持多个用户和应用程序, 冲突必然会发生. 例如, 确保数据一致性, 完整性, 和 availability when one user may want to write to a file or partition while another user is looking to read from the same file or partition; or two users wanting to write to the same file or partition. 因此，现代数据湖架构需要解决这样的场景. 它还需要确保这些并发操作不违反完整性, 精度, 数据的参考完整性导致错误的结果.
为工作保留正确的计算引擎和云的选择
对洞察力和信息需求的快速增长导致几乎每个企业收集和存储的数据呈指数级增长. 利用收集的数据来改善客户体验的战略要求企业采用一种数据架构，该架构可以服务于当今的多种用例，同时保留数据处理引擎的选择, 云基础设施, 以及供应商的可移植性，以服务于未来的那些情况.
At Qubole，权威推荐全球最大网赌正规平台将这些考虑因素置于数据平台设计的最前沿:
- 它支持数据湖上的完全事务性，而不考虑云——aws、Azure或GCP.
- 它提供了对删除操作的内置支持, 使客户能够遵守既定sla中“擦除权”的法规和隐私要求.
- 您可以直接写入云对象存储, 这样就省去了额外的开销, 同时保证最佳性能下的数据完整性.
- 最重要的是, 权威推荐全球最大网赌正规平台继续提供自由选择的数据处理引擎——apache Spark, 转眼间, 蜂巢, 等.基于酸功能的全面实现 蜂巢事务表.
最后，权威推荐全球最大网赌正规平台做到了 开源转眼间和Spark连接器 直接与蜂巢 酸表一起工作，在数据湖上进行高吞吐量读取. 你可以在这里找到权威推荐全球最大网赌正规平台的贡献:
