Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。 PrestoDB 是 Facebook 推出...<
Spring XD 是一个统一的,分布式,可扩展的系统用于数据摄取,实时分析,批量处理和数据导出。该项目的目标是简化大数据应用的开发。<
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念 Map(映射) 和 Reduce(化简) ,和他们的主要思想,都是从函数式编程语言借来的,还有...<
Scribe旨在帮助Facebook处理服务器上的大量数据,正像Scribe网页所述“如经常访问Facebook,请使用Scribe。”具体而言,Scribe就是一台服务器,实时收集用网站日志信息。<
Ploomber 是构建数据管道的最快方式。使用你喜欢的编辑器(Jupyter、VSCode、PyCharm)进行交互式开发,并在不改变代码的情况下部署云(Kubernetes、Airflow、...<