서버의 재부팅 후 점검하기

서버를 재부팅 한다는 것은 실무에서는 부담스러운 일입니다.

클러스터 구축 같은 무언가를 설치하기 위해서 재부팅을 하는 거야 어쩔 수 없다고 할 수 있습니다.
그러나 단순히 서버의 리소스들을 아끼기 위해, uptime이 길어서 재부팅을 해야 된다면 괜히 없는 문제를 만들 수도 있는 상황이 되기 때문입니다. 그렇기 때문에, 재부팅이 잘 이루어졌는지 확인해야 하는 과정도 필요합니다.

기본적으로 확인해야 할 사항들은 다음과 같습니다. 

 

1. 시스템 상태 확인
uptime 명령어를 통해 시스템이 얼마나 오랫동안 작동해왔는지,
부팅된 이후에 얼마나 지났는지를 확인할 수 있습니다.

그리고 부팅의 부하가 높은지를 볼 수 있고 예상치 못한 사용자가 들어왔는지도 추측이 가능합니다.

uptime은 서버 관리자의 계획에 없던 재부팅이 일어났을시에 빛을 바랍니다. 시스템이 갑자기 부팅이 되면 얼마나 지났는지 알아야, 그 시간대의 로그 메세지를 확인할 수 있기 때문입니다.

2. 서비스/프로세스 확인
systemctl 또는 service 명령어를 이용해 중요한 시스템 서비스들이 제대로 시작되었는지 확인해야 합니다. 데이터베이스, 웹 서버, 메일 서버 등과 같은 핵심 서비스를 확인합니다.

3. 로그 파일 확인
/var/log/messages 또는 /var/log/syslog 등의 시스템 로그 파일을 검사하여 문제가 없는지 확인합니다.
dmesg 명령어를 통해 부팅 과정에서 발생한 메시지를 확인할 수도 있습니다.

4. 네트워크 연결 확인
ping 또는 curl 명령어를 사용하여 네트워크 연결이 잘 이루어지는지, 서버가 외부 네트워크에 접속 가능한지를 확인해야 합니다. 또한 ifconfig (또는 ip addr), netstat, ss 등의 명령어를 사용하여 네트워크 인터페이스와 포트의 상태를 확인합니다.

5. 리소스 사용량 확인
top 또는 htop 명령어를 통해 CPU 사용량, 메모리 사용량, 실행 중인 프로세스 등의 시스템 리소스 사용 상태를 확인합니다. 또한, df -h 및 du -sh 명령어를 이용하여 디스크 사용량을 확인할 수 있습니다. 예상보다 더 높은지의 여부를 검사해야 합니다.

6. 보안 확인
last 명령어를 통해 최근 로그인 기록을 확인하고, 방화벽 설정이 적절한지 (iptables -L 또는 firewall-cmd --list-all),
필요한 경우 IDS/IPS 로그를 검사하는 등 시스템 보안 상태를 점검해야 합니다.

 

이 내용들을 검사하는 스크립트는 다음과 같습니다.

#!/bin/bash

echo "===== System Uptime and Load ====="
uptime

echo "===== Disk Usage ====="
df -h

echo "===== Top 5 Memory-Consuming Processes ====="
ps aux --sort=-%mem | head -n 6

echo "===== Checking Important Services ====="
services=("service1" "service2" "service3") # replace with your actual service names
for service in "${services[@]}"
do
    systemctl is-active --quiet $service && echo "$service is running" || echo "$service is NOT running"
done

echo "===== Checking Network Connectivity ====="
ping -c 4 8.8.8.8

echo "===== Checking Recent Logins ====="
last -n 10

echo "===== Checking System Logs ====="
journalctl -n 20 --no-pager

# Add any other checks you deem necessary