利用Grafana为OpenStack搭建现代化监控系统

首先简单说下为什么会用grafana，最近公司在新机房上了300多台物理机，其中有60台分配给我做OpenStack的私有云环境。OpenStack部署很快，三下五除二很快就上线了Mitaka的版本。但是在分给各个运维使用一段时间后，暴露一些问题。

  • 场景一

某个干坏事的小朋友在虚拟机里面搞性能测试，直接打满cpu使用率和物理机的网络IO，影响这个物理机上的其他虚拟机。

  • 场景二

OpenStack的Cinder卷采用的LVM + Iscsi方式提供，线上虚拟机的某个在某个时间点同步大量数据到数据卷，造成打满存储网络。直接表现的现象就是虚拟机里面的/dev/vdb设备掉线，造成异常。

种种现象表明，我需要接入一个监控系统，实现快速定位到某个物理机或者虚拟机的异常指标。之前打算采用公司现有的zabbix监控框架，但是有两个点让我放弃使用zabbix的方案。其一，zabbix在绘图制表以及对指标排序方面相比grafana来还是有一定差距；二来，部门负责监控的同事太忙了,没时间开发我提出的需求，没办法只有自己动手（苦笑脸）。


选择


既然要自己动手，那就要选择合适自己监控系统。目前网上的方案太多，刚开始找的时候简直一脸懵逼，直到我看到一片文章，标题我忘了，大概内容是利用Collectd + Influxdb + Grafana来做虚拟机监控。遗憾的是，那篇文章讲得很短，几乎没有实质性的内容。好吧，既然有人提出过方案，那我没理由不试一下。

Collectd

简单来说Collectd是用C开发一套高性能的监控指标采集agent，官网上已经有丰富的插件，实现各种监控指标。同时也支持通过Shell、Python、Ruby、Perl等一些编程语言实现扩展的监控指标。这里需要注意的是，自定义的监控指标是没有在Collectd默认的类型数据库里面（/usr/share/collectd/types.db）,所以如果要自定义监控，需要创建一个自己的types.db，然后在collectd的配置文件里面加上

TypesDB "/usr/local/share/types.db.custom"

Github上有个collectd-rabbitmq插件，可以让我们很好的理解collectd的采集机制。

另外，无意间发现一位大神的博客bolg.kankanan.com，里面Collectd相关的文章相当不错。

Influxdb

又一个用go语言写出来的时序数据库神器，广泛用于监控系统的后端存储，对计算大量数据的指标有着不俗的表现。同时提供丰富的查询函数。最重要的是提供collectd的插件，可以让collectd直接将采集到的指标通过udp协议发往数据库。

Grafana

不用多说，炫酷的监控前端数据展示工具。支持多种数据源接入，以及多种插件。

开工


既然选好工具，那就开始动手吧。首先我选择CentOS7系统，添加EPEl源。

1.安装Collectd


yum install collectd collectd-lvm collectd-virt

collectd 采集普通指标

collectd-lvm 用来采集cinder-volumes指标

collectd-virt 用来采集虚拟机指标

配置文件


#cat /etc/collectd.conf |grep -v ^#|sed ‘/^$/d‘
LoadPlugin syslog
LoadPlugin cpu
LoadPlugin df
LoadPlugin disk
LoadPlugin interface
LoadPlugin load
LoadPlugin lvm
LoadPlugin memory
LoadPlugin network
<Plugin network>
    server "<influxdb ip>" "25826"
</Plugin>
Include "/etc/collectd.d"

libvirt插件配置


 cat /etc/collectd.d/libvirt.conf
 
 LoadPlugin virt
<Plugin virt>
       Connection "qemu:///system"
       RefreshInterval 60
#       Domain "name"
#       BlockDevice "name:device"
#       InterfaceDevice "name:device"
#       IgnoreSelected false
       HostnameFormat uuid
#       InterfaceFormat name
       PluginInstanceFormat  uuid
</Plugin>

配好后启动collectd即可

2.安装InfluxDB


#axel -n 20 wget https://dl.influxdata.com/influxdb/releases/influxdb-1.1.1.x86_64.rpm
#yum localinstall -y influxdb-1.1.1.x86_64.rpm

配置文件


/etc/influxdb/influxdb.conf
[[collectd]]
  enabled = true
  bind-address = "10.16.30.47:25826"
  database = "collectd"
  retention-policy = ""
  typesdb = "/usr/share/collectd/types.db"

3.安装Grafana

#axel -n 20 https://grafanarel.s3.amazonaws.com/builds/grafana-4.0.2-1481203731.x86_64.rpm
#yum localinstall -y grafana-4.0.2-1481203731.x86_64.rpm

4.构建OpenStack的Influx索引表

由于通过Collectd采集上来的指标中，没有宿主机AZ，也没有物理机与虚拟的映射关系，更没有租户和虚拟机的信息。这个时候就需要自己动手去构建索引表了。我这里写了一个很Low逼的Shell脚本，来帮助我定时向InfluxDB里面Post最新的OpenStack信息。

脚本.

#!/bin/bash
influxdb_url="http://<InluxDB ip>:8086"
database="collectd"
write_data="${influxdb_url}/write?db=${database}"
log_file="/var/log/mitaka/mapping_hosts.log"
log_time=`date +%Y-%m-%d\ %T`
tmp_file="/tmp/.measurement.tmp"
map_file="/tmp/.map.tmp"
tenant_file="/tmp/.tenant_map"
function delete_mensurement_hosts(){
    echo "$(date +%Y-%m-%d\ %T)    Delete measurement from databases collectd." >> ${log_file}
    curl -Ss -POST ${influxdb_url}/query?db=collectd --data-urlencode "q=DROP measurement hosts"  >> ${log_file}
    if [[ $? -eq 0 ]];then
    echo "$(date +%Y-%m-%d\ %T)    Delete successfully" >> ${log_file}
    return 0
    else
    echo "$(date +%Y-%m-%d\ %T)    Delete faild, unknown error." >> ${log_file}
    return 1
    fi
}
function get_mapping(){
    touch ${tmp_file}
    source /root/.keystonerc_admin
    openstack server list --all --long -f value 2>&1 >> ${tmp_file}
    echo "$(date +%Y-%m-%d\ %T)    Get mapping host." >> ${log_file}
    nova list --all-tenants|grep vlan |awk  -F ‘|‘ ‘{print $2 $4}‘ > ${map_file}
    for uuid in `cat ${tenant_file} |awk ‘{print $1}‘`;
    do
    user=`cat ${tenant_file} |grep $uuid | awk ‘{print $2}‘`
    sed -i "s/${uuid}/${user}/g" ${map_file}
    done
}
function Post_measurements_hosts(){
    for uuid in `cat ${tmp_file}|awk ‘{print $1}‘`;
    do
    availability_zone=`cat ${tmp_file} |grep -w $uuid |awk ‘{print $7}‘`
    instance_name=`cat ${tmp_file} |grep -w $uuid |awk ‘{print $2}‘`
    host=`cat ${tmp_file} |grep -w $uuid |awk ‘{print $8}‘`
    ipaddress=`cat ${tmp_file} |grep -w $uuid |awk ‘{print $6}‘`
    tenant=`cat ${map_file} |grep -w $uuid |awk ‘{print $2}‘`
        echo "$(date +%Y-%m-%d\ %T)    Post $write_data  $uuid $availability_zone $instance_name $host ${ipaddress#*=} ${tenant}." >> ${log_file}
        curl -Ss -i -XPOST "${write_data}" --data-binary "hosts,uuid=${uuid},instance=${instance_name},ip=${ipaddress#*=},availability_zone=${availability_zone},host=${host},tenant=${tenant} value=1" >> ${log_file}
    done
}
get_mapping
delete_mensurement_hosts
Post_measurements_hosts
rm -rf ${tmp_file}
rm -rf ${map_file}

然后实现的效果就如下

现在有了这个表，就可以愉快的在Grafana上创建templating了。

5.绘图

DashBoard

dashboard主要汇总OpenStack的资源使用情况，同时对物理机和虚拟机的使用情况做排序。这样在单位时间内，我就能知道是哪台物理机或虚拟机占用的资源最多。

计算节点

templating

计算节点当然需要索引availabilit_zone和host信息了。所以templating的配置如下

show tag values from hosts with key = "availability_zone"
show tag values from hosts with key="host" where availability_zone =~ /$Zone$/

指标

租户信息

templating

show tag values from hosts with key = "tenant"
show tag values from hosts with key = "availability_zone" where tenant=~ /$Tenant$/
show tag values from hosts with key = "ip" where tenant=~ /$Tenant$/ and availability_zone =~ /$Zone$/
show tag values from hosts with key = "instance" where ip =~ /$ip$/show tag values from hosts with key = "uuid" where ip =~ /$ip$/

指标

时间： 2024-03-16 18:41:26

利用Grafana为OpenStack搭建现代化监控系统的相关文章

使用monit搭建一个监控系统

上周用monit搭建或者说定制了一个监控系统,来监控服务器发生事情.当然了主要是监控异常,因为我们的产品属于服务器类型,很多进程都daemon,要不停的运行.我们搭建监控目的不过是出现问题能够及时的知道,平时可从web UI上看到整个系统的状况,同时它本身要轻量级,不要影响性能.当然了类似的产品很多了,比如Ganglia,我在老科长波哥曾经搭建过一个Ganglia系统监控科室十几台服务器,让我很是崇拜.本文重点介绍monit.                      monit是一个可以监控系

搭建前端监控系统（二）JS错误日志收集篇

===================代码展示================    监控系统地址: Demo地址                          页面探针代码: GitHub地址             分析后台地址: GitHub地址                        展示平台地址: GitHub地址                        ===================代码展示================ 对于前端应用来说,Js错误的发生直接

Linux系统搭建zabbix监控系统实例讲解

第一步,配置本地yum仓库,如下 1,挂载,挂载光驱到/mnt mount /dev/cdrom /mnt2,创建目录 mkdir -p /repo/cos7dvd3,然后使用命令创建yum仓库文件,注意指定正确的软件源位置yum-config-manager --add-repo file:///repo/cos7dvd/4,使用 yum repolist命令检测刚创建的yum软件仓库是否正常.5,使用yum clean all 清空缓存(非必要步骤,在yum更新时使用)6,使用vim编辑器给

从零开始搭建前端监控系统（三）——实现控制iframe前进后退

前言 本系列文章旨在讲解如何从零开始搭建前端监控系统. 项目已经开源 项目地址: https://github.com/bombayjs/bombayjs (web sdk) https://github.com/bombayjs/bombayjs-server (服务端,用于提供api)(未完) https://github.com/bombayjs/bombayjs-admin (后台管理系统,可视化数据等)(未完) 您的支持是我们不断前进的动力. 喜欢请start!!! 喜欢请start!

搭建zabbix监控系统详解

博文大纲:一.前言 二.zabbix监控架构三.搭建Zabbix监控服务器 一.前言 : 要想实时的了解服务器的运行状况并且能在出现问题时及时解决,利用监控软件是一个很好的选择,而zabbix监控系统则在众多监控软件中脱颖而出. zabbix是一个基于web界面的企业级开源监控软件,Zabbix服务器需要LAMP环境或LNMP环境,提供分布式系统监控与网络监视功能.具备主机的性能监控,网络设备性能监控,数据库性能监控,多种告警方式,详细报表.图表的绘制等功能.监测对象可以是Linux或Windo

centos 搭建 nagios 监控系统.

linux下搭建nagios监控 一.什么是nagios 1.nagios 简介 Nagios是一个监视系统运行状态和网络信息的监视系统. Nagios能监视所指定的本地或远程主机以及服务,同时提供异常通知功能等. Nagios可运行在Linux/Unix平台之上,同时提供一个可选的基于浏览器的WEB界面以方便系统管理人员查看网络状态, 各种系统问题,以及日志等等. Nagios是十分受欢迎的.开源且免费的计算机及网络系统监控软件. Nagios是"Nagios Ain't Gonna Insi

如何借助Monit搭建服务器监控系统?(1)

许多Linux管理员依赖一种集中式远程监控系统(比如Nagios或Cacti),检查网络基础设施的健康状况.虽然集中式监控系统为管理员在处理许多主机和设备时简化了工作,但专用的监控设备显然成了单一故障点;要是监控设备出现故障或者由于其他原因(比如硬件坏掉或网络停运)而联系不上,你就失去了可见性,无法了解整个基础设施的状况. 想为监控系统增添冗余机制,一个办法就是起码在网络上任何关键/核心服务器上安装独立的监控软件(作为一条退路).那样万一集中式监控系统坏掉,你仍能够通过备用的监控工具,保持可见性

搭建zabbix监控系统

搭建自动化服务平台---zabbix监控平台 准备环境 准备一台Linux主机(CentOS 7举例) 已经安装好LAMP平台 关闭防火墙及SELinux 设置IP地址 设置好yum源 linux指令中的个别符号会与博客的文本编辑语言产生冲突,我会用空格隔开方便阅读 具体的以实际语法为准 实验开始 准备zabbix平台环境 服务器地址设置 更改主机名 [[email protected] ~] hostnamectl set-hostname zabbix-server //设置主机名 配置IP

搭建psdash 监控系统

一.监控系统介绍 Psdash 是一款查看 Linux 系统信息的 web 面板,和另一款系统监控工具 Glances 一样,psDash 的系统信息的采集也是由 psutil 完成的.和 Glances 不同的是,psdash 没有提供 API,只带了一个基于 Flask 的 web 界面,默认每3秒刷新一次数据和界面. 官方介绍:Dashboard overview of the system displaying data on cpu, disks, network, users, me