Loading...
背景随着公司业务越来越多,越来越复杂,执行的脚本已经达到了近百个,像以前那样直接使用linux的crontab来执行脚本,已经满足不了业务需求了。举个例子:我们的大数据团队,他们提供了数据订阅功能给到合作伙伴和公司高管查看统计报表,他们每天都会对所有基础数据进行一些预加工处理,输出的数据,存储到多张不同业务的 Hive 表中,然后对 Hive 中多个表的数据,按照各种关系合并处理,得到一个明...
背景我在公司用过很多服务商的对象存储或者云存储功能,阿里云的OSS,七牛云的Kodo,网宿的WCS,金山云的KS3,小米云平台的FDS,亚马逊的S3等等。...
背景最近有个临时任务要将 OSS bucket 挂载到云服务器上,这样就可以便捷地操作 OSS 上的对象,实现数据的共享。这里选择了使用阿里云的 ossfs 工具将 OSS对象存储 挂载到 ESC服务器上。使用首先查看服务器版本我们的服务器是 Centos 的,所以会在 /etc目录下有个 redhat-release 文件,打开这个文件可以得知服务器版本是 CentOS release 6...
之前已经介绍过了 ELK,并且普及了它的一些基本概念,也画了它的架构。现在来介绍介绍 Filebeat,至于为什么要介绍 Filebeat,相信看完你就知...
简介ELK 是 Elasticsearch、Logstash、Kibana 三大开源框架首字母大写简称。市面上也被成为 Elastic Stack。ElasticsearchElasticsearch 是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放 REST 和 JAVA API 等结构提供高效搜索功能,可扩展的分布式系统。它构建于 Apache Lucene 搜索引...