리눅스 트러블슈팅 — top, strace, lsof로 서버 문제를 진단하는 방법

$ top
top - 14:23:01 up 45 days,  3:12,  2 users,  load average: 8.52, 4.21, 2.10
Tasks: 231 total,   3 running, 228 sleeping,   0 stopped,   0 zombie
%Cpu(s): 85.2 us,  12.3 sy,  0.0 ni,  2.1 id,  0.0 wa,  0.0 hi,  0.4 si
MiB Mem:  16384.0 total,   512.3 free,  14821.7 used,  1050.0 buff/cache
MiB Swap:  4096.0 total,  2048.0 free,  2048.0 used.   982.3 avail Mem

  PID USER     PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
 1234 app      20   0  8.2g   6.1g  12340 S 340.0 38.2  1234:56 java
 5678 root     20   0  512m   128m   8420 S  45.0  0.8   567:89 python

$ htop
# CPU 코어별 사용률을 바 그래프로 표시
# 트리 뷰로 부모-자식 프로세스 관계 확인
# 프로세스 필터링, 정렬이 인터랙티브

# 실행 중인 프로세스에 붙이기
$ strace -p <PID>
read(3, "HTTP/1.1 200 OK\r\n"..., 8192) = 345
write(4, "response data"..., 128)       = 128
epoll_wait(5, [{EPOLLIN, {u32=3}}], 128, 5000) = 1

# 특정 시스템 콜만 필터링
$ strace -e trace=open,read,write -p <PID>

# 시스템 콜별 통계 (어디서 시간을 쓰는지)
$ strace -c -p <PID>
% time     seconds  usecs/call     calls    syscall
------ ----------- ----------- --------- ---------
 65.21    0.043210          43      1005  futex
 20.12    0.013330          13      1024  read
 10.45    0.006920           7      1024  write

# 타임스탬프 포함 (-t: 초, -tt: 마이크로초)
$ strace -tt -p <PID>
14:23:01.123456 read(3, ...) = 128

# 문자열 출력 길이 늘리기 (기본 32바이트)
$ strace -s 1024 -p <PID>

# 자식 프로세스까지 추적
$ strace -f -p <PID>

# 8080 포트를 누가 쓰고 있나?
$ lsof -i :8080
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java     1234  app   45u  IPv6  12345      0t0  TCP *:8080 (LISTEN)

# 특정 프로세스가 열고 있는 모든 파일
$ lsof -p 1234

# 특정 파일을 누가 열고 있나?
$ lsof /var/log/app.log

# 삭제된 파일인데 디스크 공간을 차지하는 경우 찾기
$ lsof +L1
# 프로세스가 파일을 열어둔 상태에서 파일을 삭제하면
# 디스크 공간이 해제되지 않음 → 프로세스 재시작 필요

# TCP 연결 상태별 확인
$ lsof -i -sTCP:ESTABLISHED
$ lsof -i -sTCP:CLOSE_WAIT  # CLOSE_WAIT 누수 확인

# 리스닝 중인 TCP 포트와 프로세스
$ ss -tlnp
State   Recv-Q  Send-Q  Local Address:Port  Peer Address:Port  Process
LISTEN  0       128     *:8080              *:*                users:(("java",pid=1234,fd=45))

# 연결 상태 통계
$ ss -s
Total: 1523
TCP:   892 (estab 456, closed 234, orphaned 12, timewait 190)

# TIME_WAIT 연결 확인
$ ss -t state time-wait

# CLOSE_WAIT 상태가 계속 쌓이면 → 애플리케이션이 소켓을 close하지 않는 버그
$ ss -t state close-wait | wc -l
523  # 500개 이상이면 심각한 누수

# 최근 커널 로그
$ dmesg -T | tail -50

# OOM Killer 동작 확인
$ dmesg -T | grep -i oom
[Mon Mar 28 14:23:01 2026] Out of memory: Killed process 1234 (java)
                           total-vm:8388608kB, anon-rss:6291456kB

# 디스크 에러 확인
$ dmesg -T | grep -i error

# 1단계: 어떤 프로세스인지 확인
$ top -bn1 | head -20
# → java 프로세스가 CPU 340% (4코어 중 3.4코어 사용)

# 2단계: us가 높은지 sy가 높은지 확인
# us가 높으면 → 애플리케이션 로직 (무한루프, 잘못된 알고리즘)
# sy가 높으면 → 시스템 콜 과다 (과도한 IO, 락 경합)

# 3단계: Java라면 스레드 덤프
$ jstack <PID> > thread_dump.txt
# → RUNNABLE 상태의 스레드가 어떤 메서드를 실행 중인지 확인

# 4단계: sy가 높은 경우 strace로 확인
$ strace -c -p <PID>
# → futex 시스템 콜이 65%면 락 경합 문제

# 1단계: OOM 발생 확인
$ dmesg -T | grep -i oom

# 2단계: 현재 메모리 상태
$ free -h
              total    used    free   shared  buff/cache  available
Mem:          16Gi    15Gi    200Mi    128Mi     800Mi      500Mi

# 3단계: 프로세스별 메모리 사용 (RSS 기준 상위)
$ ps aux --sort=-%mem | head -10

# 4단계: Java 힙 덤프 (Java 프로세스인 경우)
$ jmap -dump:format=b,file=heap.hprof <PID>

# "Address already in use" 에러 발생 시
$ lsof -i :8080
# → 이미 해당 포트를 사용 중인 프로세스 확인

# 좀비 프로세스가 포트를 잡고 있는 경우
$ ss -tlnp | grep 8080
# → PID 확인 후 kill

# 1단계: 디스크 사용량 확인
$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       100G   99G   1G  99% /

# 2단계: 큰 디렉토리 찾기
$ du -sh /* 2>/dev/null | sort -rh | head -10

# 3단계: 삭제된 파일이 공간을 차지하는 경우
$ lsof +L1
# → 프로세스가 열어둔 삭제된 파일 확인, 프로세스 재시작으로 해결

# 파일 open 시스템 콜 추적 (strace 대체)
$ bpftrace -e 'tracepoint:syscalls:sys_enter_openat {
    printf("%s %s\n", comm, str(args->filename));
}'
java /var/log/app.log
nginx /etc/nginx/nginx.conf

# 프로세스별 시스템 콜 횟수 카운트
$ bpftrace -e 'tracepoint:raw_syscalls:sys_enter {
    @[comm] = count();
}'
# Ctrl+C로 종료하면 결과 출력
@[java]: 125432
@[nginx]: 34521

# TCP 연결 추적 (실시간)
$ tcpconnect
PID    COMM    SADDR           DADDR           DPORT
1234   java    10.0.0.1        10.0.0.2        3306

# 느린 파일 IO 추적
$ biosnoop
TIME(s)   COMM     PID    DISK  T  SECTOR  BYTES  LAT(ms)
0.000     java     1234   sda   R  123456  4096   15.23

# 함수 실행 시간 측정
$ funclatency /usr/lib/jvm/*/libjvm.so:JVM_GC

서버가 느리다!
  │
  ├─ CPU 문제? → top/htop → strace -c → perf/bpftrace
  │
  ├─ 메모리 문제? → free -h → ps aux --sort=-%mem → dmesg (OOM 확인)
  │
  ├─ 디스크 문제? → df -h → du -sh → lsof +L1 → iostat
  │
  ├─ 네트워크 문제? → ss -s → ss -t state close-wait → tcpdump/tcpconnect
  │
  └─ 프로덕션 상시 관찰? → eBPF (bpftrace, BCC, Pixie)