百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

在 Debian 9 上使用 Rsyslog 安装一台中央日志服务器

nanshan 2024-10-22 13:03 39 浏览 0 评论

在 Linux 上,日志文件包含了系统功能的信息,系统管理员经常使用日志来确认机器上的问题所在。日志可以帮助管理员还原在过去的时间中在系统中发生的事件。一般情况下,Linux 中所有的日志文件都保存在 /var/log目录下。在这个目录中,有保存着各种信息的几种类型的日志文件。比如,记录系统事件的日志文件、记录安全相关信息的日志文件、内核专用的日志文件、用户或者 cron 作业使用的日志文件。日志文件的主要作用是系统调试。Linux 中的大部分的日志文件都由 rsyslogd 服务来管理。在最新的 Linux 发行版中,日志文件也可能是由 journald 系统服务来管理和控制的。journald 服务是 systemd 初始化程序的一部分。journald 以二进制的格式存储日志,以易失性的方式写入到内存和 /run/log/journal/ 中的环状缓冲区中,但是,journald 也可以配置为永久存储到 syslog 中。

在 Linux 中,可以配置运行一个 Rsyslog 服务器来中央化管理日志,在流行的服务端—客户端模式中,通过 TCP 或者 UDP 传输协议基于网络来发送日志信息,或者从网络设备、服务器、路由器、交换机、以及其它系统或嵌入式设备中接受生成的日志。

Rsyslog 守护程序可以被同时配置为以客户端或者服务端方式运行。配置作为服务器时,Rsyslog 将缺省监听 TCP 和 UDP 的 514 端口,来收集远程系统基于网络发送的日志信息。配置为客户端运行时,Rsyslog 将通过相同的 TCP 或 UDP 端口基于网络来发送内部日志信息。

Rsyslog 可以根据选定的属性和动作来过滤 syslog 信息。Rsyslog 拥有的过滤器如下:

  1. 设备或者优先级过滤器

  2. 基于特性的过滤器

  3. 基于表达式的过滤器

设备过滤器代表了生成日志的 Linux 内部子系统。它们目前的分类如下:

  • auth/authpriv = 由验证进程产生的信息

  • cron = cron 任务相关的日志

  • daemon = 正在运行的系统服务相关的信息

  • kernel = Linux 内核信息

  • mail = 邮件服务器信息

  • syslog = syslog 或者其它守护程序(DHCP 服务器发送的日志在这里)相关的信息

  • lpr = 打印机或者打印服务器信息

  • local0 ~ local7 = 管理员控制下的自定义信息

优先级或者严重程度级别分配如下所述的一个关键字或者一个数字。

  • emerg = 紧急 - 0

  • alert = 警报 - 1

  • err = 错误 - 3

  • warn = 警告 - 4

  • notice = 提示 - 5

  • info = 信息 - 6

  • debug = 调试 - 7 (最高级别)

此外也有一些 Rsyslog 专用的关键字,比如星号(*)可以用来定义所有的设备和优先级,none 关键字更具体地表示没有优先级,等号(=)表示仅那个优先级,感叹号(!)表示取消这个优先级。

Rsyslog 的动作部分由声明的目的地来表示。日志信息的目的地可以是:存储在文件系统中的一个文件、 /var/log/ 目录下的一个文件、通过命名管道或者 FIFO 作为输入的另一个本地进程。日志信息也可以直达用户,或者丢弃到一个“黑洞”(/dev/null)中、或者发送到标准输出、或者通过一个 TCP/UDP 协议发送到一个远程 syslog 服务器。日志信息也可以保存在一个数据库中,比如 MySQL 或者 PostgreSQL。

配置 Rsyslog 为服务器

在大多数 Linux 发行版中 Rsyslog 守护程序是自动安装的。如果你的系统中没有安装 Rsyslog,你可以根据你的系统发行版执行如下之一的命令去安装这个服务。运行这个命令必须有 root 权限。

在基于 Debian 的发行版中:

sudo apt-get install rsyslog

在基于 RHEL 的发行版中,比如像 CentOS:

sudo yum install rsyslog

验证 Rsyslog 守护进程是否在你的系统中运行,根据发行版不同,可以选择运行下列的命令:

在新的使用 systemd 的 Linux 发行版中:

systemctl status rsyslog.service

在老的使用 init 的 Linux 发行版中:

service rsyslog status

/etc/init.d/rsyslog status

启动 rsyslog 守护进程运行如下的命令。

在使用 init 的老的 Linux 版本:

service rsyslog start

/etc/init.d/rsyslog start

在最新的 Linux 发行版:

systemctl start rsyslog.service

安装一个 rsyslog 程序运行为服务器模式,可以编辑主要的配置文件 /etc/rsyslog.conf 。可以使用下列所示的命令去改变它。

sudo vi /etc/rsyslog.conf

为了允许在 UDP 的 514 端口上接收日志信息,找到并删除下列行前面的井号(#)以取消注释。缺省情况下,UDP 端口用于 syslog 去接收信息。

$ModLoad imudp$UDPServerRun 514

因为在网络上使用 UDP 协议交换数据并不可靠,你可以设置 Rsyslog 使用 TCP 协议去向远程服务器输出日志信息。为了启用 TCP 协议去接受日志信息,打开 /etc/rsyslog.conf 文件并删除如下行前面的井号(#)以取消注释。这将允许 rsyslog 守护程序去绑定并监听 TCP 协议的 514 端口。

$ModLoad imtcp$InputTCPServerRun 514

在 rsyslog 上可以同时启用两种协议。

如果你想去指定哪个发送者被允许访问 rsyslog 守护程序,可以在启用协议行的后面添加如下的行:

$AllowedSender TCP, 127.0.0.1, 10.110.50.0/24, *.yourdomain.com

在接收入站日志信息之前,你需要去创建一个 rsyslog 守护程序解析日志的新模板,这个模板将指示本地 Rsyslog 服务器在哪里保存入站的日志信息。在 $AllowedSender 行后以如下示例去创建一个合适的模板。

$template Incoming-logs,"/var/log/%HOSTNAME%/%PROGRAMNAME%.log" *.* ?Incoming-logs& ~

为了仅接收内核生成的日志信息,可以使用如下的语法。

kern.* ?Incoming-logs

接收到的日志由上面的模板来解析,它将保存在本地文件系统的 /var/log/ 目录的文件中,之后的是以客户端主机名客户端设备名命名的日志文件名字:%HOSTNAME%%PROGRAMNAME% 变量。

下面的 & ~ 重定向规则,配置 Rsyslog 守护程序去保存入站日志信息到由上面的变量名字指定的文件中。否则,接收到的日志信息将被进一步处理,并将保存在本地的日志文件中,比如,/var/log/syslog 文件中。

为添加一个规则去丢弃所有与邮件相关的日志信息,你可以使用下列的语法。

mail.* ~

可以在输出文件名中使用的其它变量还有:%syslogseverity%%syslogfacility%%timegenerated%%HOSTNAME%%syslogtag%%msg%%FROMHOST-IP%%PRI%%MSGID%%APP-NAME%%TIMESTAMP%、%$year%、%$month%%$day%

从 Rsyslog 版本 7 开始,将使用一个新的配置格式,在一个 Rsyslog 服务器中声明一个模板。

一个版本 7 的模板应该看起来是如下行的样子。

template(name="MyTemplate" type="string" string="/var/log/%FROMHOST-IP%/%PROGRAMNAME:::secpath-replace%.log" )

另一种模式是,你也可以使用如下面所示的样子去写上面的模板:

template(name="MyTemplate" type="list") { constant(value="/var/log/") property(name="fromhost-ip") constant(value="/") property(name="programname" SecurePath="replace") constant(value=".log") }

为了让 Rsyslog 配置文件的变化生效,你必须重启守护程序来加载新的配置。

sudo service rsyslog restart
sudo systemctl restart rsyslog

在 Debian Linux 系统上去检查它监听哪个套接字,你可以用 root 权限去运行 netstat 命令。将输出传递给一个过滤程序,比如 grep

sudo netstat -tulpn | grep rsyslog

请注意: 为了允许建立入站连接,你必须在防火墙上打开 Rsyslog 的端口。

在使用 Firewalld 的基于 RHEL 的发行版上,运行如下的命令:

firewall-cmd --permanent --add-port=514/tcpfirewall-cmd --permanent --add-port=514/tcpfirewall-cmd -reload

在使用 UFW 的基于 Debian 的发行版上,运行如下的命令:

ufw allow 514/tcpufw allow 514/udp

Iptables 防火墙规则:

iptables -A INPUT -p tcp -m tcp --dport 514 -j ACCEPTiptables -A INPUT -p udp --dport 514 -j ACCEPT

配置 Rsyslog 作为一个客户端

启用 Rsyslog 守护程序以客户端模式运行,并将输出的本地日志信息发送到远程 Rsyslog 服务器,编辑 /etc/rsyslog.conf 文件并增加下列的行:

*. * @IP_REMOTE_RSYSLOG_SERVER:514*. * @FQDN_RSYSLOG_SERVER:514

这个行启用了 Rsyslog 服务,并将输出的所有内部日志发送到一个远处的 UDP 的 514 端口上运行的 Rsyslog 服务器上。

为了使用 TCP 协议去发送日志信息,使用下列的模板:

*. * @@IP_reomte_syslog_server:514

输出所有优先级的、仅与 cron 相关的日志信息到一个 Rsyslog 服务器上,使用如下的模板:

cron.* @ IP_reomte_syslog_server:514

/etc/rsyslog.conf 文件中添加下列行,可以在 Rsyslog 服务器无法通过网络访问时,临时将客户端的日志信息存储在它的一个磁盘缓冲文件中,当网络或者服务器恢复时,再次进行发送。

$ActionQueueFileName queue$ActionQueueMaxDiskSpace 1g$ActionQueueSaveOnShutdown on$ActionQueueType LinkedList$ActionResumeRetryCount -1

为使上述规则生效,需要重新 Rsyslog 守护程序,以激活为客户端模式。

相关推荐

Linux 的磁盘系统,和你了解的Windows差别很大

我的C盘去哪了?一个系统,如果没有存储,那么也就不能称之为系统。存储性是一个完整系统的重要组成部分。例如AWS最开始的服务就是S3(用来存储数据的云服务),足以见得存储对于一个应用平台是多么的重要。...

一文读懂 Linux 硬盘挂载:从问题到解决方案

各位互联网大厂的后端开发伙伴们!在咱们日常工作中,操作Linux系统是常有的事儿吧。你们有没有遇到过这样的场景:新添加了一块硬盘,满心欢喜准备用来存储重要数据或者部署新的应用服务,却突然发现不知道...

硬盘分区(硬盘分区格式)

 磁盘(硬盘)分区,可以分C、D、E等分区,大家可能都会用,会根据自已的需要确定所需的空间,但分区是如何工作的呢,内容如下。Windows中有3类:MBR分区:MasterBootRecord,也...

parted命令工具分区介绍(particle命令)

linux系统磁盘分区通常可以使用fdisk和parted命令,当分区大小小于2TB的时候,两种皆可以使用,当分区大于2TB的话,就需要用parted分区。以下介绍parted命令相关使用,以sdb为...

Linux 服务器上查看磁盘类型的方法

方法1:使用lsblk命令lsblk输出说明:TYPE列显示设备类型,如disk(物理磁盘)、part(分区)、rom(只读存储)等。NAME列显示设备名称(如sda、nvme0n1)。TR...

Linux分区命令fdisk和parted使用介绍

摘要:一般情况下,Linux分区都是选择fdisk工具,要求硬盘格式为MBR格式,能支持的最大分区空间为2T。但是目前在实际生产环境中使用的磁盘空间越来越大,呈TB级别增长;而常用的fdisk这个工具...

linux 分区原理与名词解释(linux操作系统中的分区类型)

分区的意义将磁盘分成几份,每份挂在到文件系统的那个目录在linux里的文件系统Ext2:早期的格式,不支持日志功能Ext3:ext2改良版,增加了日志功能,是最基本且最常用的使用格式了Ext4:针对e...

linux 分区合并(linux合理分区)

查看虚拟机当前磁盘挂载情况fdisk-l选择磁盘fdisk/dev/sda查看磁盘分区情况p重新选择分区n选择主分区p保存w创建物理卷pvcreate/dev/sda3查看物理卷信息pvdi...

如何在 Linux 系统中永久禁用交换分区 ?

Linux操作系统中的交换分区或交换文件充当硬盘上的临时存储区域,当物理内存(RAM)满时,系统使用该存储区域。它用于交换较少使用的内存页,这样系统就不会因为运行应用程序而耗尽物理内存。随着技术的发...

Linux 如何知道硬盘已用多少空间、未用多少空间

刚出社会时,去了一家公司上班,老板为了省钱,买的服务器是低配的,硬盘大小只有40G,有一次网站突然不能访问了,排查半天才知道原来服务器的硬盘空间已用完,已无可用空间。第一步是查看硬盘的使用情况,第二步...

用Linux系统管理磁盘空间 就该这么来

要想充分有效的管理使用Linux系统中的存储空间,用户必须要做的就是双管齐下,一边扩充空间一边限制空间。不得不说的就是很多时候磁盘空间就像水资源,需节制水流。说到要如何实现限制空间就离不开使用LVM技...

Windows 11 磁盘怎么分区?(windows11磁盘怎么分区)

Windows11磁盘分区技术解析与操作指南:构建高效存储体系一、磁盘分区的技术本质与系统价值磁盘分区作为存储系统的基础架构,通过逻辑划分实现数据隔离与管理优化。Windows11采用NTF...

linux上创建多个文件分区,格式化为 ext2、ext3、ext4、XFS 文件

以下是在Linux系统上创建多个20GB文件分区并格式化为不同文件系统的分步指南:步骤1:创建基础文件(4个20GB文件)bash#创建4个20GB稀疏文件(实际占用空间随写入量增长)ddif=/...

救命的U盘低格哪家最强?(低格优盘)

周二时有位童鞋留言说U盘之前做过引导盘,现在格式化不了,用各种工具都不行,而且因为U盘厂商的关系,查不到U盘主控,无法量产恢复,特来求助。小编花了点时间特意弄坏一个U盘分区,终于试出方法了,特来分享一...

Linux 查看硬件磁盘存储大小和磁盘阵列(RAID)的组合方式

一、查看硬件磁盘存储大小查看所有磁盘信息:#lsblk该命令会列出所有磁盘(如/dev/sda、/dev/nvme0n1)及其分区和挂载点。查看磁盘总容量:fdisk-l#或parted-...

取消回复欢迎 发表评论: