ElasticSearch


新致云技术团队,结合内部实践经验,回馈技术圈,提供一套 ELK 集群的部署脚本,支持离线方式部署,支持 ES 集群滚动升级。 这套部署整合了 Consul,实现了集群服务自注册,简化了集群弹性伸缩后的配置。 还整合了轻量的 Monit 监控服务,实现基本的服务自修复。 Github 地址 国内码云镜像 欢迎试用并反馈问题,提交建议,参与编写。 ...
Read More


上一篇 使用 ELK 查看 Ceph 读写速度(一) 里,我们通过 ceph monit api 接口,抓取到了需要的数据。接下来,我们就要把这些数据图形化展示出来了。 首先我们使用还在实验阶段的 Visual Builder 建立一个曲线图。进入 Visualize 页面,点击 + 号新建一个 Visual Builder。 然后按照下图所示,分 3 部分填写。你就能得到最上面的曲线图了。 查看大图 查看大图 查看大图 然后保存这个 visual 面板。接着新建一个 Dashboard, ...
Read More


最近用 ELK 解析 Ceph 的性能状态,metricbeat 6.x 版本里放出了测试中的 ceph 模块,但是居然没有读写速度参数。所以我们就改用 logstash 的 http_poller 模块,定时去查 ceph api,解析出需要的数据并绘出图形(我们将在第二章里讲到如何建立 kibana 看板)。 首先是 input 部分里,我们使用 http_poller 来抓取。请把 IP 和端口按实际情况修改。http_poller 是个超好玩的模块,按照官方的举例,你可以用它来定时抓取亚马逊的商品页面, ...
Read More


目前我们使用了 monit 作为监控服务应用,轻量级,易配置。由于是单机版,就产生了一个问题:多个监控节点同时产生内容相同的告警时,伴随而来的就是好几封一模一样的告警邮件。 最近通过学习 ELK 里的 logstash 组件,发现它有 throttle 和 email 插件,可以做到聚合告警。所以,马上验证一下! logstash 的 pipline 配置样例如下: input { beats { port => "5044" } } filter { if "monit.log" in ...
Read More


我们的新致云使用 docker 部署了一套 ELK 的集群,在最近的调整中,我们有 56 台服务器的日志采集(filebeat)、性能采集(metricbeat)和网络采集(packetbeat)都收集在一个 ElasticSearch 的集群里。 通过观察,ES 的磁盘写入在 4~12M/s 左右,数据量的增长还是挺可观的。目前 ES 服务器只配置了 1T 的磁盘,估计 1~2 个星期左右就能撑爆了。 所以,我们需要使用 ES 官方工具 curator,再结合 ...
Read More