Linux 系统日志分析与故障排查完全指南

# ── 基础查看 ────────────────────────────────────────────────────────────────
journalctl                          # 全部日志（从最旧开始，按 q 退出）
journalctl -r                       # 倒序显示（最新在最前，排查时最常用）
journalctl -f                       # 实时追踪（类似 tail -f，Ctrl+C 退出）
journalctl -n 100                   # 仅显示最近 100 行
journalctl --no-pager               # 不分页，直接输出（方便管道处理）

# ── 按服务过滤 ──────────────────────────────────────────────────────────────
journalctl -u nginx                 # 只看 nginx 服务的日志
journalctl -u nginx -u mysql        # 同时查看 nginx 和 mysql
journalctl -u nginx -f              # 实时追踪 nginx 日志
journalctl -u nginx --since today   # 今天的 nginx 日志

# ── 按时间过滤 ──────────────────────────────────────────────────────────────
journalctl --since "2026-03-16 08:00:00"
journalctl --since "2026-03-16 08:00" --until "2026-03-16 10:00"
journalctl --since "1 hour ago"
journalctl --since yesterday

# ── 按优先级过滤（0=emerg 1=alert 2=crit 3=err 4=warn 5=notice 6=info 7=debug）
journalctl -p err                   # 只看错误及以上级别
journalctl -p warning -u nginx      # nginx 的警告及以上
journalctl -p 0..3                  # emerg 到 err 级别

# ── 查看上次启动日志（排查死机/重启原因）──────────────────────────────────
journalctl -b                       # 本次启动的所有日志
journalctl -b -1                    # 上一次启动的日志
journalctl -b -1 -p err             # 上次启动中的错误日志（排查崩溃首选）
journalctl --list-boots             # 列出所有可查询的启动记录

# ── 磁盘占用管理 ────────────────────────────────────────────────────────────
journalctl --disk-usage             # 查看 journal 占用的磁盘空间
journalctl --vacuum-time=30d        # 删除 30 天前的日志
journalctl --vacuum-size=500M       # 将日志总量控制在 500MB 以内

# ── auth.log：排查 SSH 暴力破解与入侵 ────────────────────────────────────────

# 查看最近的 SSH 认证失败记录
grep "Failed password" /var/log/auth.log | tail -50

# 统计攻击来源 IP（按攻击次数降序排列）
grep "Failed password" /var/log/auth.log \
  | awk '{print $(NF-3)}' \
  | sort | uniq -c | sort -rn \
  | head -20
# 输出示例：
#   3842 185.220.101.47    <- Tor 出口节点，字典攻击
#    127 45.33.32.156
#     89 103.21.244.12

# 查看成功登录记录（排查是否有未授权登录）
grep "Accepted" /var/log/auth.log | tail -20

# 查看 sudo 使用记录
grep "sudo" /var/log/auth.log | grep "COMMAND" | tail -20

# 实时监控认证日志
tail -f /var/log/auth.log | grep --line-buffered "Failed\|Accepted\|Invalid"

# ── kern.log：排查 OOM（内存不足杀进程）──────────────────────────────────────

# 搜索 OOM killer 触发记录
grep -i "oom\|out of memory\|kill process" /var/log/kern.log | tail -30
# 或用 journalctl：
journalctl -k | grep -i "oom\|out of memory" | tail -30

# OOM 日志示例：
# Mar 16 03:42:17 vps01 kernel: Out of memory: Kill process 12847 (php-fpm) score 892
# Mar 16 03:42:17 vps01 kernel: Killed process 12847 (php-fpm) total-vm:524288kB, anon-rss:418764kB

# 查看当前内存使用详情
free -h
# 查看各进程内存占用排行
ps aux --sort=-%mem | head -15

# ── dmesg：排查硬件错误 ──────────────────────────────────────────────────────
dmesg -T                               # 显示带时间戳的内核消息
dmesg -T | grep -i "error\|fail\|warn" | tail -30
dmesg -T | grep -i "disk\|sda\|nvme"  # 排查磁盘 I/O 错误
dmesg -T | grep -i "oom\|memory"       # 内存相关内核消息

# ── 查看系统崩溃/重启原因 ──────────────────────────────────────────────────
last reboot | head -10              # 最近的重启记录
last -x | grep shutdown | head -5   # 最近的关机记录

# Nginx 默认日志格式字段说明（/etc/nginx/nginx.conf 中 log_format）
# 字段顺序：IP  -  用户  [时间]  "方法 路径 协议"  状态码  字节数  "Referer"  "UA"
#
# 示例行：
# 185.220.101.47 - - [16/Mar/2026:03:42:17 +0000] "GET /wp-login.php HTTP/1.1" 404 162 "-" "Mozilla/5.0"
# 103.21.244.12  - - [16/Mar/2026:03:42:19 +0000] "POST /xmlrpc.php HTTP/1.1" 403 144 "-" "python-requests/2.28"

# ── 推荐开启 JSON 格式日志（更易于程序化分析）────────────────────────────────
# 在 nginx.conf http{} 块中添加（注意 Astro 不解析此处，直接使用即可）：
#
# log_format json_combined escape=json
#   '{'
#     '"time":"$time_iso8601",'
#     '"remote_addr":"$remote_addr",'
#     '"method":"$request_method",'
#     '"uri":"$request_uri",'
#     '"status":$status,'
#     '"request_time":$request_time,'
#     '"upstream_time":"$upstream_response_time"'
#   '}';
# access_log /var/log/nginx/access.log json_combined;

# ── Nginx access.log 常用分析命令 ──────────────────────────────────────────

# 1. 统计访问量最高的 10 个 IP
awk '{print $1}' /var/log/nginx/access.log \
  | sort | uniq -c | sort -rn | head -10

# 2. 统计访问最多的 URL（排除静态资源）
awk '{print $7}' /var/log/nginx/access.log \
  | grep -vE '\.(css|js|png|jpg|ico|woff)$' \
  | sort | uniq -c | sort -rn | head -20

# 3. 统计各 HTTP 状态码数量（判断服务整体健康）
awk '{print $9}' /var/log/nginx/access.log \
  | sort | uniq -c | sort -rn
# 若 502 大量出现 -> PHP-FPM/后端服务崩溃
# 若 499 大量出现 -> 客户端主动断开（CC 攻击特征）

# 4. 找出响应时间最慢的请求（需日志含 request_time 字段）
awk '{print $NF, $7}' /var/log/nginx/access.log \
  | sort -rn | head -20

# 5. 统计某个 IP 今天的请求次数
grep "^1.2.3.4 " /var/log/nginx/access.log | wc -l

# 6. 实时监控 502 错误
tail -f /var/log/nginx/access.log | grep --line-buffered " 502 "

# 7. 分析某个被封 IP 都访问了哪些路径
BANNED_IP="185.220.101.47"
grep "^${BANNED_IP} " /var/log/nginx/access.log \
  | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

# ── 开启 MySQL 慢查询日志（在线热开启，无需重启）────────────────────────────
# 登录 MySQL 后执行：
# SET GLOBAL slow_query_log = ON;
# SET GLOBAL long_query_time = 1;                    -- 超过 1 秒记录
# SET GLOBAL slow_query_log_file = '/var/log/mysql/slow.log';
# SET GLOBAL log_queries_not_using_indexes = ON;     -- 记录未用索引的查询

# 或在 /etc/mysql/mysql.conf.d/mysqld.cnf 中持久化：
# [mysqld]
# slow_query_log      = 1
# slow_query_log_file = /var/log/mysql/slow.log
# long_query_time     = 1
# log_queries_not_using_indexes = 1

# ── 分析慢查询日志 ──────────────────────────────────────────────────────────
# 使用 mysqldumpslow（MySQL 官方自带工具）
mysqldumpslow -s t -t 10 /var/log/mysql/slow.log
# -s t  按总执行时间排序
# -t 10 只显示 Top 10

# 慢查询日志示例：
# Time: 2026-03-16T03:42:17.123456Z
# Query_time: 4.523891  Lock_time: 0.000102  Rows_sent: 1  Rows_examined: 2847361
# SELECT * FROM orders WHERE user_id = 12345;
# 扫描 284 万行只返回 1 行 -> 缺少 user_id 索引！

# 用 pt-query-digest（分析更详细）
apt install percona-toolkit -y
pt-query-digest /var/log/mysql/slow.log | head -100

# ── GoAccess：Nginx 日志实时可视化仪表板 ──────────────────────────────────

# 安装（Ubuntu/Debian）
apt install goaccess -y

# 终端实时查看（TUI 模式）
goaccess /var/log/nginx/access.log --log-format=COMBINED

# 生成独立 HTML 报告
goaccess /var/log/nginx/access.log \
  --log-format=COMBINED \
  -o /tmp/nginx-report.html
# scp 到本地查看：scp user@服务器IP:/tmp/nginx-report.html ~/Desktop/

# 分析历史压缩日志（支持通配符合并分析）
zcat /var/log/nginx/access.log.*.gz | \
  goaccess - --log-format=COMBINED -o /tmp/history-report.html

# 常用面板（终端模式按数字键切换）：
#   1 - 访客统计（Unique Visitors）
#   2 - 请求路径（Requested Files）
#   4 - 404 错误（Not Found）
#   5 - 来源国家（GeoLocation）
#   8 - 时间分布（Visit Time）

# ── lnav：交互式多文件日志浏览器 ──────────────────────────────────────────

# 安装
apt install lnav -y

# 同时查看多个日志文件（按时间交错合并显示）
lnav /var/log/auth.log /var/log/syslog /var/log/nginx/error.log

# 打开 systemd journal
lnav /var/log/journal/

# ── lnav 内部快捷键 ──────────────────────────────────────────────────────────
# /pattern    正则搜索
# n / N       下一个/上一个匹配
# e / E       跳到下一个/上一个错误行（自动识别 ERROR/WARN）
# q           退出
# TAB         切换文件面板
# :           打开命令模式（可执行 SQL 查询！）

# lnav SQL 查询示例（: 提示符后输入）：
# SELECT cs_ip, count(*) as cnt FROM access_log GROUP BY cs_ip ORDER BY cnt DESC LIMIT 10;
# SELECT * FROM syslog WHERE log_level = 'error' ORDER BY log_time DESC LIMIT 50;

# ── rsyslog 服务端配置（日志汇聚中心）────────────────────────────────────

# 编辑 /etc/rsyslog.conf，开启 TCP 监听（比 UDP 更可靠）：
# module(load="imtcp")
# input(type="imtcp" port="514")

# 按来源主机分目录存储日志（/etc/rsyslog.d/remote.conf）：
# template(name="RemoteLogs" type="string"
#   string="/var/log/remote/%HOSTNAME%/%PROGRAMNAME%.log")
# *.* ?RemoteLogs

# 重启服务并开放端口
systemctl restart rsyslog
ufw allow 514/tcp

# ── rsyslog 客户端配置（各 VPS 节点）──────────────────────────────────────
# 在 /etc/rsyslog.conf 末尾添加（将 LOG_SERVER_IP 替换为日志服务器 IP）：

# TCP 转发（推荐，不丢日志）：
# *.* @@LOG_SERVER_IP:514

# 重启使配置生效
systemctl restart rsyslog

# 验证：在日志服务器上查看是否收到客户端日志
# tail -f /var/log/remote/client-hostname/syslog.log