机器人之Graylog服务器搭建手册,你的私人log服务器
小标 2018-10-17 来源 : 阅读 2740 评论 0

摘要:本文主要向大家介绍了机器人之Graylog服务器搭建手册,你的私人log服务器,通过具体的内容向大家展现,希望对大家学习机器人有所帮助。

本文主要向大家介绍了机器人之Graylog服务器搭建手册,你的私人log服务器,通过具体的内容向大家展现,希望对大家学习机器人有所帮助。


 介绍

发现Graylog其实是在国外IGP项目竞选的时候,一个非常不错的idea,当时是Robert提出的构建这个日志管理平台,私底下看他演示了demo,首先具有可视化后台日志数据,这点很实用。后来发现,graylog的真正强大,是它赋予日志管理系统具有google的能力,即可以对日志进行全文搜索,他多次这样形容:“Anything can be…, Anything can be…”。然而,太过超前的概念,若你所处的环境无法理解,结果总是会很不幸。


我在一篇博客上看到这样的评价“Graylog简直就是开源版的Splunk”,后者是著名的企业级超级日志管理系统,然而收费高达3万美金。再次佐证一个真理:知识就是财富。


其实,对于后台运维的需求,无非“可视化/报警/报告”这些。国内一些相关初创公司发展迅猛,像“轻云”和“one”,可以提供服务器的相关业务的“探针”服务,检测性能及后台日志。整合下来,我知道的还有zabbix,但是配置起来较graylog麻烦一些。所以暂时还没了解。


前面互联网的浪潮快速发展,业务类型跟着层层迭代,而后端对于服务器的运维需求也在不断提高,若初期不能考虑到后端运维,随着业务往后的发展逐渐暴露出问题,运维的效率往往有时候可以决定产品发展的速度。


安装环境


CentOS6.6,服务器IP:ITStudio的linux主机地址,已安装Oracle jdk 7u71


安装步骤


1. mongodb


mongodb 官方网站


[root@logserver yum.repos.d]# vim /etc/yum.repos.d/mongodb-org-3.0.repo
---
[mongodb-org-3.0]
name=MongoDB Repository
baseurl=//repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/
gpgcheck=0
enabled=1
---

[root@logserver yum.repos.d]# yum install -y mongodb-org

[root@logserver yum.repos.d]# vi /etc/yum.conf
最后一行添加:
---
exclude=mongodb-org,mongodb-org-server,mongodb-org-shell,mongodb-org-mongos,mongodb-org-tools
---

[root@logserver yum.repos.d]# service mongod start
[root@logserver yum.repos.d]# chkconfig mongod on

[root@logserver yum.repos.d]# vi /etc/security/limits.conf
最后一行添加:
---
*                soft    nproc           65536
*                hard    nproc           65536
mongod           soft    nproc           65536

*                soft    nofile          131072
*                hard    nofile          131072
---

[root@logserver ~]# vi /etc/init.d/mongod
ulimit -f unlimited 行前插入:
---
  if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
  fi
  if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
  fi
---
[root@logserver ~]# /etc/init.d/mongod restart


2. elasticsearch


elasticsearch 最新版本已经达到2.3,而Graylog官方说明暂不支持2.x版本,推荐1.7.3版本,可自己曾经配置时,依然出现了问题,各种报错。偶然使用了1.5版本却配置成功了。这里就记录下吧,主要是是综合考虑各个组件的相互兼容性,所以这里依然使用1.5版本。


[root@logserver ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@logserver ~]# vi /etc/yum.repos.d/elasticsearch.repo
---
[elasticsearch-1.5]
name=Elasticsearch repository for 1.5.x packages
baseurl=//packages.elastic.co/elasticsearch/1.5/centos
gpgcheck=1
gpgkey=//packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
---

[root@logserver ~]# yum install elasticsearch
[root@logserver ~]# chkconfig --add elasticsearch

[root@logserver ~]# vi /etc/elasticsearch/elasticsearch.yml
  32 cluster.name: graylog

[root@logserver ~]# /etc/init.d/elasticsearch start
[root@logserver ~]# curl localhost:9200


3. graylog


//输入以下命令即安装最新版本的graylog:
$ sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-1.3- repository-el6_latest.rpm
$ sudo yum install graylog-server graylog-web
[root@logserver ~]# /etc/init.d/graylog-server start
Starting graylog-server:                                   [确定]
启动失败!
[root@logserver ~]# cat /var/log/graylog-server/server.log
2015-05-22T15:53:14.962+08:00 INFO  [CmdLineTool] Loaded plugins: []
2015-05-22T15:53:15.032+08:00 ERROR [Server] No password secret set. Please define password_secret in your graylog2.conf.
2015-05-22T15:53:15.033+08:00 ERROR [CmdLineTool] Validating configuration file failed - exiting.

[root@logserver ~]# yum install pwgen
[root@logserver ~]# pwgen -N 1 -s 96
zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz
[root@logserver ~]# echo -n 123456  sha256sum 
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx  -

[root@logserver ~]# vi /etc/graylog/server/server.conf
11 password_secret = zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz
...
22 root_password_sha2 = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
...
152 elasticsearch_cluster_name = graylog

[root@logserver ~]# /etc/init.d/graylog-server restart
启动成功!

[root@logserver ~]# /etc/init.d/graylog-web start
Starting graylog-web:                                      [确定]
启动失败!
[root@logserver ~]# cat /var/log/graylog-web/application.log
2015-05-22T15:53:22.960+08:00 - [ERROR] - from lib.Global in main 
Please configure application.secret in your conf/graylog-web-interface.conf

2015-05-22T16:25:55.343+08:00 - [ERROR] - from lib.Global in main 
Please configure application.secret in your conf/graylog-web-interface.conf

[root@logserver ~]# pwgen -N 1 -s 96
yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
[root@logserver ~]# vi /etc/graylog/web/web.conf
---
2 graylog2-server.uris="//127.0.0.1:12900/"
12 application.secret="yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"
---

注意:/etc/graylog/web/web.conf中的graylog2-server.uris值必须与/etc/graylog/server/server.conf中的rest_listen_uri一致
---
36 rest_listen_uri = //127.0.0.1:12900/
---
[root@logserver ~]# /etc/init.d/graylog-web start


浏览器中输入url: //localhost:9000/ 可以进入graylog登录页,

管理员帐号/密码: admin/123456


4. 添加日志收集器


以admin登录//IP_adress:9000/     注:IP_adress是服务器真实的IP地址。以下同理


4.1 <br>进入 System > Inputs > Inputs in Cluster > Raw/Plaintext TCP  Launch new input      取名"tcp 5555" 完成创建


任何安装nc的Linux机器上执行:


echo `date`  nc IP_adress 5555


浏览器的//IP_adress:9000/登录后首页 ,点击第三行绿色搜索按钮,看到一条新消息:


Timestamp Source Message 
2016-04-10 08:49:15.280 59.70.156.6  2016年 04月 10日 星期日 16:48:28 CST


截图:

<br>


说明安装已成功!!!


4.2<br>进入 System > Inputs > Inputs in Cluster > GELF HTTP  Launch new input

<br>取名"http 12201" 完成创建

<br>任何安装curl的Linux机器上执行:


curl -XPOST //IP_adress/gelf  -p0 -d '{"short_message":"Hello there", "host":"example.org", "facility":"test", "_foo":"bar"}'


浏览器的//IP_adress:9000/登录后,点击第三行绿色搜索按钮,看到一条新消息:


Timestamp Source Message 
2016-04-10 20:50:42.936 59.70.156.6  Hello Graylog,From Bei.


截图:

<br>


说明GELF HTTP Input设置成功!!!


5.时区和高亮设置


admin帐号的时区:


[root@logserver ~]# vi /etc/graylog/server/server.conf
---
30 root_timezone = Asia/Shanghai
---
[root@logserver ~]# /etc/init.d/graylog-server restart


其他帐号的默认时区:


[root@logserver ~]# vi /etc/graylog/web/web.conf
---
18 timezone="Asia/Shanghai"
---
[root@logserver ~]# /etc/init.d/graylog-web restart


允许查询结果高亮:


[root@logserver ~]# vi /etc/graylog/server/server.conf
---
147 allow_highlighting = true
---
[root@logserver ~]# /etc/init.d/graylog-server restart


至此,Graylog服务器的部署工作已完成。后期跟上配置相对应服务的文章。


本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标人工智能智能机器人频道!


本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved