百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

nginx出现大量499响应码怎么办?

nanshan 2025-01-20 15:30 9 浏览 0 评论

一、问题现象

监控发现Nginx服务日志中出现较多的499状态码，499状态码在Nginx中代表的是客户端在服务端返回之前主动断开了连接，由于客户端设置的超时时间为2s，故到达2s未收到服务端响应客户端主动断开了连接造成了499响应码。

二、可能的故障点

  1. 服务器的问题，例如CPU使用率高，队列堵塞，导致无法及时处理请求，从而导致客户端超时断开连接
  2. 网络出现问题，丢包或者出现网络堵塞
  3. 专线线路存在问题
  4. 后端服务存在性能瓶颈，当流量变大时，响应时间提高，导致客户端超时断开连接

三、排查服务器问题

  1. 使用top命令，查看CPU使用率低于10%，内存使用率低于20%，没有明显的性能波动。
  2. 使用vmstat 1 20命令，发现CPU队列为1，服务器具备4个CPU，使用率较低，未有明显异常，io情况也正常。

初步判断与服务器无关。

四、排查网络问题

  1. 使用ethtool eth0命令查看网络带宽配置情况，发现 Speed: 1000Mb/s，Duplex:Full，千兆的网卡全部打满，没有进行带宽限制。
  2. 使用sar -n DEV 1 20命令查看网络的实时流量，可以看到rxkB/s峰值1800多，txkB/s峰值2400多，远远未达到网络上的流量限制，通过sar -n EDEV 1 20查看有网络错误的流量，发现均为0
  3. 使用抓包工具在网络出口上进行抓包，发现网络数据包均正常发送，未有明显延时的情况

初步判断网络设备没有问题。

五、排查专线线路问题

后端服务是合作方的服务，通过专线相连接，专线有主、备两条，分别属于电信和移动运营商，主线经过电信的排查带宽无问题，排查期间将线路切换到备线，问题依旧存在。

初步判断与专线线路无关。

六、排查后端服务性能问题

由于超过2s客户端主动断开了连接，无法判断后端服务是否收到了请求且是否正常响应。在nginx location模块的配置中添加配置: proxy_ignore_client_abort on;，添加此配置以后，虽然客户端到达2s以后会主动断开连接，但是nginx会继续转发到后端服务且等待后端服务返回，并打印日志。

添加完此配置以后，发现日志中已经没有出现499的响应码，查看response time大于2s的请求，发现均正常返回，但是响应时间超过2s，高峰之时，响应时间最高超过10s。

由此可以判断，后端服务是能够正常收到请求的，只是由于后端服务网络设备或者是后端服务在大流量的情况下性能不足，导致响应缓慢，从而出现大量499响应码。

七、排查结果

当流量升高时，大约1000TPS左右，响应时间显著提高，从原来毫秒级别变成最大超过10秒钟，此时使用ping发现没有网络延时，可以确定是后端服务存在性能问题。

以上排查主要是提供的排查的方法，逐步排查各个可能的故障点，实际生产排查中一般根据经验调整排查的顺序，例如直接就先排查后端的服务的响应时间，这个就依赖于个人的经验了。

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中，介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0，本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0，与之前安装C5进行对比。环境介绍：...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes，而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息；o架构：鲲鹏920(Kunpeng920)oOS：ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE：节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存，当然也有很多没有配置虚拟内存的，虚拟内存可以让我们的低配服务器使用更多的内存，可以减少很多硬件成本，比如我们运行很多服务的时候，内存常常会满，当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新，会自动升级系统内核，但是我们依旧可以通过命令行手动升级内核，以获取更好的性能和更多的硬件支持。具体操作：-添加PPAs使用以下命令添加PPAs：```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制（生产环境建议）1.查看宿主机可用内存bashfree-h#示例输出（假设宿主机剩余16GB可用内存）#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置（解决linux内存不够情况）背景介绍　　Memory指机器物理内存，读写速度低于CPU一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时，要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低，则意味着需要更多的节点来满足需求，一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高，...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：地址映射内存管理的方式缺页异常先来看一些基本的知识，在进程看来，内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化，包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前，需要先掌握性能分析的思路和方法，找出问题，...

Linux Cgroups(Control Groups)原理

LinuxCgroups（ControlGroups）是内核提供的资源分配、限制和监控机制，通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析：一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互，允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为，包括网络设置、文件...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表