日志样式

大数据综合校情剖析渠道

体系可存储、处理PB级数据,包括结构化和非结构化的数据;

布置方法灵敏,支撑多机布置。支撑组件包括HDFS、MapReduce、Hive、Pig、HBase、Zookeper、Sqoop和Hcatalog等;

并行架构、易扩展;

界面友爱,布置简易,可实时监控;

数据高牢靠性:依据分布式、冗余处理技能,确保数据完好,避免数据丢掉。

高性能:选用分布式文件体系的方法,使得负载分摊,节点之间能够动态的移动数据,以确保各个节点之间的动态平衡,因而确保了高效的数据处理才能。

系旋乐吧spin8统能够主动保存数据的多份副本,且能够主动将失利的使命重新分配等。

WSS是一个批量工作流使命调度器;

供给KV 文件格局来树立使命之间的依靠联系;

供给易于运用的 web 用户界面保护和盯梢工作流;

扩展性好,可针对某一问题开发组件(现在有三个插件HDFSBrowser,JobtypePlugins和HadoopSecurityManager);

支撑重试失利job,并设置邮件提示。

依据数据状况区分旋乐吧收集:实时收集、离线收集;数据爬虫体系

经过端口自定义聚集数据流、自定义数据收集资源灵敏分配;

容错性:署理、收集和存储之间均有高牢靠容错机制;

负载均衡:各类节点之间运用Zookeeper作负载均衡,无缝联接;

可扩展性:可依据事务增加或下降,动态增加或削减节点个数;

高牢靠性:体系供给了多样数据缓存方法,直接能够运用,可直接旋乐吧spin8-官方网站渠道支撑HDFS做数据存储;

支撑各种类型丰厚的数据源;

支撑体系预设规矩或自定义规矩进行大批量数据清洗,支撑一键主动化处理;

支撑数据质量主动查看剖析;

支撑数据清洗后动态生成数据质量检测陈述;

支撑数据清洗后一致批量存至HBase数据库。

LPS是可快速开发和调试Hadoop生态体系各种运用的一个依据浏览器的图形化用户接口;

LPS打破传统繁琐拜访方法,经过浏览器直接拜访HDFS;

经过web调试和开发Hive以及数据成果展现;

SQL编辑器,支撑Hive, MySQL, Oracle等;

Spark和Hadoop的友爱界面支撑;

HBase数据查询和修正,数据展现。

SMS是依据Hadoop的一个数据仓库东西

支撑索引,将元数据保存在联系数据库中,加速数据查询时刻

不同的存储类型,例如,纯文本文件、HBase 中的文件

能够直接运用存储在Hadoop 文件体系中的数据

学习成本低,经过类SQL句子快速完结简略的MapReduce计算

具有多种剖析图表类型,给运用者带来全新的视觉享受。其间包括20多种惯例图表和多种大数据可视化图表作用这些非传统交互式可视化作用。

支撑自在布局随意替换赋有表现力的可视化主题;

处理无需学习前端常识即可完结美丽的图表;

供给方便的办理数据和图表。

支撑多数据一致API接口查询对接;

供给用户自定义查询,自设查询条件;

支撑用户依据本身企业需求发布数据或调用数据;

支撑可追溯用户查询。