Sparklens是一个开源框架,用于提高Spark应用程序的性能. Sparklens可以检查Spark应用程序并推荐最佳配置, 例如要使用的执行器或内核的数量.
RubiX 是一个轻量级的数据缓存框架,可以被Hadoop等大数据引擎使用. Rubix使用本地磁盘为大数据引擎提供最佳的I/O带宽. 在数据执行引擎与存储分离的共享存储架构中,Rubix非常有用. 例如, 在AWS或微软Azure等公共云上, 数据存储在云存储中,引擎通过网络访问数据. 类似的, 在数据中心, 转眼间运行在与HDFS单独的集群上,并通过网络访问数据.
RubiX可以扩展到支持任何使用Hadoop文件系统接口通过插件访问数据的引擎. 有插件可以访问AWS S3、Microsoft Azure Blob Store和HDFS上的数据. RubiX可以扩展到任何其他存储系统,包括其他云存储.
免费访问quhole 30天,以建立数据管道, 将机器学习应用到生产中, 并分析来自任何数据源的任何数据类型.