Apache气流

Apache气流 是一个开源工具,以编程方式编写、调度和监控数据工作流. 使用气流,用户可以将工作流作为任务的有向无环图(dag). DAG是完成管道所需的一组任务,其组织反映了管道之间的关系和相互依赖性. Qubole将Apache气流作为一种易于管理和可扩展的托管服务提供给您,以满足您的数据工程需求.


阿帕奇气流

Apache气流与quole

Apache气流在quole上提高了性能, 降低成本, 改善用户体验, 并使气流集群的顺利管理. 在quole上使用Apache气流, 数据工程师可以在几秒钟内设置气流集群, 使用单个面板来跟踪使用情况, 管理集群和acl, 轻松编辑dag和插件,并利用Qubole Operator上集成的“Goto QDS”按钮无缝导航到相应的Qubole命令页面.

Apache气流对quole的好处

灵活的敏捷性

减少管理气流资源的复杂性,同时允许您对集群类型和大小进行细粒度控制, 遗嘱执行人数目, 气流版本, 安全和RBAC策略

集成监控和警报

通过集成监控服务,降低停机时间,提高业务连续性,监控并自动启动所有相关的气流服务. 带有grafana的Prometheus,可以更好地监控资源,并向电子邮件等端点发出警报, 松弛, 和通知等.

可在多个云中使用

未来证明您的解决方案与气流对quole. 它与云无关,通常可在AWS、Azure和Google云平台上使用.

quhole上的气流vs Apache气流

 

易用性 & debuggability

quole上的气流Apache气流
版本控制
使用包资源管理器轻松部署包
从云存储自动同步数据包
Git集成
自动日志备份和清理
Anaconda虚拟环境中的气流

监控

quole上的气流Apache气流
集成Graffana & 基于普罗米修斯的警报和监控
集成监控服务,提高可用性
监视指示板以更好地了解服务运行状况
监控(Ganglia, DataDog等)

安全

quole上的气流Apache气流
集成RBAC的气流集群
使用SAML 2的SSO.0支持
数据加密(静态和动态)
审计终端用户活动日志
符合HIPAA, SOC2 Type2, ISO-27001的环境

支援及服务

quole上的气流Apache气流
权威推荐全球最大网赌正规平台的气流专家提供全天候支持
支持多个版本的气流
友情链接: 1 2 3 4 5 6 7 8 9 10