부하 테스트 & 성능 튜닝 체크리스트

# 12개 스레드, 400개 커넥션으로 30초간 부하
wrk -t12 -c400 -d30s http://localhost:8080/api/test

# 결과 예시
# Requests/sec:  125,342.17     ← TPS
# Latency
#   Avg:    3.14ms              ← 평균 레이턴시
#   99%:   12.78ms              ← p99 레이턴시
# Transfer/sec:    14.82MB      ← 처리 대역폭

-- wrk 스크립트 예시: POST 요청 + JSON 바디
wrk.method = "POST"
wrk.body   = '{"userId": 1, "action": "test"}'
wrk.headers["Content-Type"] = "application/json"

// JMH로 ByteBuf 할당 성능 비교
@Benchmark
@BenchmarkMode(Mode.Throughput)
@OutputTimeUnit(TimeUnit.MILLISECONDS)
public ByteBuf pooledDirect(AllocatorState state) {
    ByteBuf buf = state.pooledAllocator.directBuffer(256);
    buf.release();
    return buf;
}

@Benchmark
public ByteBuf unpooledDirect(AllocatorState state) {
    ByteBuf buf = state.unpooledAllocator.directBuffer(256);
    buf.release();
    return buf;
}

// 부하 테스트 클라이언트 골격
public class LoadTestClient {

    private final EventLoopGroup group = new NioEventLoopGroup();
    private final List<Channel> channels = new ArrayList<>();

    // 동시 커넥션 N개를 열고 지정된 메시지를 반복 전송
    public void start(String host, int port, int connections, int messageCount) throws Exception {
        Bootstrap b = new Bootstrap();
        b.group(group)
         .channel(NioSocketChannel.class)
         .handler(new LoadTestInitializer());

        // 커넥션 동시 생성
        for (int i = 0; i < connections; i++) {
            Channel ch = b.connect(host, port).sync().channel();
            channels.add(ch);
        }

        // 각 커넥션에서 메시지 전송
        long startTime = System.nanoTime();
        for (Channel ch : channels) {
            for (int i = 0; i < messageCount; i++) {
                ch.writeAndFlush(createTestMessage());
            }
        }

        long elapsed = System.nanoTime() - startTime;
        double tps = (double)(connections * messageCount) / (elapsed / 1_000_000_000.0);
        System.out.printf("TPS: %.2f%n", tps);
    }
}

# 현재 제한 확인
ulimit -n
# 1024  ← 기본값 (부족!)

# 세션 단위 변경
ulimit -n 65535

# 영구 설정 — /etc/security/limits.conf
# *    soft    nofile    65535
# *    hard    nofile    65535

# 시스템 전체 최대값 — /etc/sysctl.conf
# fs.file-max = 2097152

# /etc/sysctl.conf에 추가하고 sysctl -p로 적용

# accept 큐 크기 — SO_BACKLOG와 짝을 이룸
net.core.somaxconn = 65535

# TIME_WAIT 소켓 재사용 — 짧은 연결이 많을 때 유용
net.ipv4.tcp_tw_reuse = 1

# 포트 범위 확대 — 클라이언트 측에서 아웃바운드 연결이 많을 때
net.ipv4.ip_local_port_range = 1024 65535

# TCP 메모리 버퍼 크기 (최소/기본/최대)
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

# SYN 백로그 — SYN 패킷 대기열 크기
net.ipv4.tcp_max_syn_backlog = 65535

// 서버 측 설정 — .option()은 ServerSocketChannel에 적용
ServerBootstrap b = new ServerBootstrap();
b.option(ChannelOption.SO_BACKLOG, 1024);  // 기본값은 OS에 따라 다름 (리눅스: 128)

b.option(ChannelOption.SO_REUSEADDR, true);

// 자식 채널(클라이언트 연결)에 적용 — .childOption() 사용
b.childOption(ChannelOption.TCP_NODELAY, true);

b.childOption(ChannelOption.SO_KEEPALIVE, true);

ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
 .channel(NioServerSocketChannel.class)
 // 서버 소켓 옵션
 .option(ChannelOption.SO_BACKLOG, 1024)
 .option(ChannelOption.SO_REUSEADDR, true)
 // 클라이언트 연결(자식 채널) 옵션
 .childOption(ChannelOption.TCP_NODELAY, true)
 .childOption(ChannelOption.SO_KEEPALIVE, true)
 .childOption(ChannelOption.SO_RCVBUF, 65536)
 .childOption(ChannelOption.SO_SNDBUF, 65536)
 // 할당자 설정
 .childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT)
 .childHandler(new MyChannelInitializer());

// 일반적인 설정
EventLoopGroup bossGroup   = new NioEventLoopGroup(1);       // accept 전담
EventLoopGroup workerGroup = new NioEventLoopGroup();         // 기본값: 코어 × 2

// Worker 스레드 수를 직접 지정
EventLoopGroup workerGroup = new NioEventLoopGroup(16);       // 코어 수 기반으로 직접 결정

// 블로킹 작업이 있는 경우 — 별도 스레드 풀로 분리
DefaultEventExecutorGroup blockingGroup = new DefaultEventExecutorGroup(16);

pipeline.addLast("decoder", new MyDecoder());
pipeline.addLast(blockingGroup, "dbHandler", new DatabaseHandler());  // 블로킹 핸들러만 분리
pipeline.addLast("encoder", new MyEncoder());

// 기본 설정 확인 — 별도로 설정하지 않아도 Pooled가 사용된다
ByteBufAllocator alloc = PooledByteBufAllocator.DEFAULT;

// 명시적으로 지정할 때
b.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);

// Direct 버퍼 할당 (기본 — I/O에 최적)
ByteBuf directBuf = alloc.directBuffer(1024);

// Heap 버퍼 할당 (빈번한 배열 접근이 필요할 때)
ByteBuf heapBuf = alloc.heapBuffer(1024);

// 리눅스 — epoll
EventLoopGroup bossGroup   = new EpollEventLoopGroup(1);
EventLoopGroup workerGroup = new EpollEventLoopGroup();

ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
 .channel(EpollServerSocketChannel.class);

// SO_REUSEPORT 활성화 — Boss 스레드가 여러 개일 때 효과적
ServerBootstrap b = new ServerBootstrap();
b.group(new EpollEventLoopGroup(4), new EpollEventLoopGroup())  // Boss 4개
 .channel(EpollServerSocketChannel.class)
 .option(EpollChannelOption.SO_REUSEPORT, true);                 // 커널 수준 연결 분산

// EventLoop 상태 모니터링
ScheduledFuture<?> monitor = eventLoop.scheduleAtFixedRate(() -> {
    for (EventExecutor executor : workerGroup) {
        if (executor instanceof SingleThreadEventLoop) {
            SingleThreadEventLoop loop = (SingleThreadEventLoop) executor;
            long pending = loop.pendingTasks();
            if (pending > 1000) {
                // 경고: 태스크 큐가 쌓이고 있음
                logger.warn("EventLoop {} 태스크 큐 적체: {} 개", loop, pending);
            }
        }
    }
}, 0, 5, TimeUnit.SECONDS);

// ioRatio 조정 — 기본값 50
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
workerGroup.forEach(eventExecutor -> {
    if (eventExecutor instanceof NioEventLoop) {
        ((NioEventLoop) eventExecutor).setIoRatio(70);  // I/O에 70% 할당
    }
});

성능이 기대보다 낮다
├── CPU 사용률 높음 → 핸들러 로직 또는 코덱이 무겁다 → 프로파일링
├── CPU 사용률 낮음 + 처리량 낮음 → EventLoop가 블로킹되고 있다
│   ├── pendingTasks 증가 → 블로킹 작업을 별도 스레드 풀로 분리
│   └── pendingTasks 정상 → 네트워크 I/O 자체가 병목 (대역폭, 레이턴시)
└── GC 빈도 높음 → ByteBuf 누수 또는 Unpooled 사용 점검