介绍
如今的企业越来越受数据驱动，因为数据是他们构建新产品的创新引擎的燃料, 战胜竞争对手，为客户提供更好的体验. 因此， 大数据管理 和处理各种利益相关者，如数据分析师, 数据工程师, 数据运营组织应该快速, 自动化, 和可伸缩的.
不可预测的意外账单的四个常见原因
从事多个大数据项目的企业使用公共云服务进行计算和存储. 公共云提供了敏捷性和可伸缩性，只需点击几下即可执行这些项目，并广泛地匹配供应与需求. 此外，云可以让企业构建和运行最好的大数据处理系统. 所提供的服务都是按需付费的服务，因此，让 特别的分析由大数据驱动的poc很容易启动，不需要任何巨额的前期费用. 随着时间的推移，随着项目的成熟或临时查询变得更长, 看似无穷无尽的底层资源导致了在计算和资源上的浪费和极少的责任, 猜测显示回来. 这种使用伴随着成本的不可预测性和缺乏财务管理. 这与以下方面有关:
长时间运行的服务器
大多数应用程序请求是由事先不知道的外部客户端驱动的. 因此，服务器一直处于对这些请求的预期状态.
性能优化
典型的web应用程序, 服务外部请求, 是为了减少延迟而不是成本而优化的吗. 因此， 服务器是提前准备好的, 而不是按需调整，不能适应不断变化的工作负载.
图1:quhole信用单位每月、每小时和每天的消费趋势
均匀负载增加vs突发性
大多数web应用程序的底层需求都是建立在工作负载在一段时间内逐渐均匀增加和减少的假设之上的，而不是资源消耗的急剧增加或急剧减少. 例如, 突发的工作负载产生数千个并行任务，需要1000台服务器/机器在没有提前计划的短时间内运行. 它也不能通过微观管理来保持财务制衡.
空闲时间
不像web应用程序拥有稳定的24/7流量，大数据工作负载可以在给定的一天内分散, 导致在没有工作负载的情况下出现几个块的空闲时间段.
在持续的基础上进行财务治理的最佳实践
随着内部使用公共云的大数据项目数量呈指数级增长，数据驱动型企业经常面临财务治理挑战. 而可追溯性和可预测性是财务治理政策中的重要元素, 成本控制, 削减开支通常是任何财务治理活动的开始重点. 企业采取以下步骤进行财务治理:
优化性能
企业对性能进行优化，不仅考虑查询执行的速度，还考虑执行的时效性.
将容量管理作为一项正在进行的工作进行优先排序
容量管理 在云计算中，现在的重点是基础设施利用优化和财务治理护栏，这样团队不仅可以快速完成项目，还可以不用担心意外的账单. 在优化过程中，组织的目标是构建不断提供足够容量的系统，以略高于所需的容量，同时保持用户的可追溯性和可预测性, 集群, 工作成本指标水平. 各组织正在做以下工作:
- 删除孤立的或未使用的基础设施
删除在另一个基础架构终止时留下的基础架构(例如磁盘卷), 理想情况下，与删除前的自动快照结合使用)或在指定时间内处于空闲状态的基础架构. - 调整未充分利用的基础设施
将具有空闲资源的基础设施的大小调整到适当的水平. 这需要谨慎地创建策略，因为容量必须考虑到预期的使用高峰. - 基于时间表的基础设施生命周期管理
自动化系统的创建和销毁，以适应使用模式. 例如, 创建在办公时间使用的开发环境或在高峰交易时间扩展生产平台. - 异构环境下的成本优化
应用工具(通常是DIY脚本)来自动化系统管理，以使用具有最佳价值的基础架构，同时满足系统所需的弹性和可用性级别. - 有限追溯管理
在集群上应用规则, 集群实例, 用户, 和作业级别，以确保自动配置策略，以销毁所创建的不符合标记策略的任何元素.
图2:基于用户的资源消耗分解
采用内置财务治理指标的数据平台
企业现在利用数据平台等平台来推动组织内部的财务治理，以降低运营成本, 做ROI分析, 进行反馈讨论,S和识别花费资产. 除了…之外 集群生命周期管理, Qubole数据服务提供工作负载感知自动扩展，以加强组织内的财务治理，因为多个团队在共享云环境中运行大数据，或者单独的团队可以组合在一起，在不影响性能的情况下提供更多节省。
成本的探险家
成本资源管理器提供用户, 工作, 以及共享环境中的集群级成本度量，以便为企业中基于事实的讨论提供数据驱动的显示信息.
图3:使用quhole进行成本报告
优化升级
优化升级 从集群中正在运行的容器中回收未使用的资源，并将它们分配给挂起的容器. 这提高了集群吞吐量，减少了由于供应机器造成的延迟，同时降低了TCO和成本规避.
积极缩小规模
在作业完成后，通过关闭空闲节点，积极的缩减规模可以防止成本超支, 跨活动节点重新平衡工作负载, 在没有数据丢失风险的情况下退役闲置的设备.
容器包装
容器包装, 资源分配策略, 在弹性计算环境中提供更多节点可用于伸缩, 同时防止集群中的热点并尊重数据位置偏好.
多元化的地方
Qubole自动提供来自不同Ec2实例类型的节点, 以最大限度地增加云提供商实现的实例数量. 多样化的实例类型减少了云提供商大量中断Spot节点的机会. 当一个特定实例类型的点节点不可用时, Qubole会自动尝试其他实例类型，而不是退回到按需.
托管点块
而 点块 实例提供有限持续时间(1-6小时)的可靠性, AWS将在导致节点丢失(故障)的持续时间之后召回这些节点。. 以防止此故障影响集群操作或工作负载, Qubole具有内置的智能点块管理功能，提供:风险缓解, 影响缓解, 和容错，并确保集群操作可以继续, 没有失败, 超出点块的有限持续时间.
Summary
企业现在可以利用 Qubole 云原生数据平台的成本规避和TCO优化功能，拥有数据驱动的用户, 工作, 集群, 或者集群实例级成本指标讨论，以衡量其大数据项目的投资回报率.
