Veeam Repository ReFS Non-Paged Pool 급증 및 서버 Hang 장애 정리

문서 상태: 메일 스레드 기반의 1차 정리입니다. ReFS 자체 버그로 확정된 내용과 작업 부하 집중에 따른 추정 내용을 구분해야 하며, 운영 반영 전 최신 Job 정책·Windows 빌드·Veeam 로그를 다시 확인해야 합니다.

요약

Windows Server와 ReFS로 구성된 Veeam Repository에서 매주 특정 요일에 대량의 백업 파일 삭제가 발생했습니다. 이후 Non-Paged Pool과 메모리 사용량이 급증하고 Veeam 백업 서버가 Hang 상태가 되는 현상이 반복되었습니다.

메일 스레드에서는 Synthetic Full 생성 일정과 Retention 만료에 따른 백업 체인 삭제가 같은 요일에 집중되는 구조를 주요 원인 후보로 판단했습니다.

장애 증상

• 특정 요일에 대량의 백업 파일 삭제 발생

• 삭제 작업 시작 후 Non-Paged Pool 및 메모리 사용량 급증

• 메모리 고갈 이후 서버 Hang

• Hang 후 강제 재부팅하면 잔여 삭제 작업이 진행되고 메모리가 일부 반환되는 것으로 관찰

• 재부팅 후 Windows System 로그에 명확한 원인이 남지 않아 분석이 어려움

• 하드웨어 점검·메인보드 교체·펌웨어 업데이트 이후에도 증상 지속

환경 및 관련 조건

• Veeam 백업 서버 및 Repository

• Windows Server

• ReFS 파일 시스템

• 다수의 Job에서 Synthetic Full 생성 요일이 동일하게 설정

• Retention 만료에 따른 이전 백업 체인 삭제가 특정 요일에 집중

• 백업 Job 수와 용량이 많은 환경

원인 분석

메일에서 확인된 직접적인 상관관계

Synthetic Full이 특정 요일에 집중되면 Retention 조건을 충족한 이전 백업 체인의 삭제 시점도 특정 요일에 집중될 수 있습니다. ReFS 환경에서는 대량 파일 생성·삭제와 Fast Clone 관련 메타데이터 처리가 동시에 발생하므로 Repository와 ReFS 처리 부하가 증가할 수 있습니다.

아직 확정할 수 없는 부분

• ReFS 파일 시스템 자체의 결함인지 여부

• 특정 Windows 빌드 또는 ReFS 드라이버의 메모리 회수 문제인지 여부

• Veeam 동시 작업 수와 실제 Non-Paged Pool 증가의 인과관계

• H/W·펌웨어·스토리지 드라이버가 추가로 영향을 주었는지 여부

메모리 덤프를 확보하지 못했고 강제 재부팅 후 시스템 로그에도 뚜렷한 단서가 없으므로, 현재 단계에서는 작업 집중에 따른 부하 증가가 유력한 원인 후보로 기록하는 것이 적절합니다.

권장 조치

1. Synthetic Full 일정 분산

• 특정 요일에 집중된 Synthetic Full을 Job별로 분산

• 단순 Job 개수보다 전체 백업 용량과 예상 삭제량을 기준으로 요일별 부하를 균등화

• 적용 전 최신 Job 목록, 대상 용량, Retention, Synthetic Full 설정을 재수집

2. Repository 동시 작업 수 조정

Veeam Repository의 Concurrent Tasks를 하향 조정해 동일 시간대의 파일 처리량을 제한합니다. 이는 원인을 제거하는 설정이 아니라 Repository와 ReFS에 집중되는 순간 부하를 완화하는 조치입니다.

3. Windows/ReFS 관련 설정 검토

• Large Working Set Trim 적용 여부 검토

• Windows Server 최신 누적 업데이트 및 ReFS 관련 수정 사항 확인

• 스토리지·HBA·RAID·펌웨어 드라이버 상태 확인

• 운영 반영 전 테스트 Repository에서 동일 삭제 작업 재현

4. 모니터링 항목 추가

최소 4~5주 동안 다음 지표를 요일·시간대별로 기록합니다.

• Non-Paged Pool 사용량

• 전체 메모리 사용량

• 백업 파일 생성·삭제량

• Synthetic Full 시작·종료 시간

• Retention 삭제 시작·종료 시간

• Repository Concurrent Tasks 사용량

• Veeam Session 및 Windows 이벤트 로그

검증 계획

1. 최신 백업 정책을 기준으로 Synthetic Full과 Retention 삭제 예상 일정을 재산정합니다.

1. 부하가 가장 큰 Job부터 일부 요일을 분산합니다.

1. 변경 전후 4~5주간 Non-Paged Pool 추이를 비교합니다.

1. 증상이 지속되면 Concurrent Tasks를 추가 조정하고 Windows/ReFS 관련 업데이트와 드라이버를 점검합니다.

1. 재현 또는 장애 발생 시 강제 재부팅 전에 가능한 범위에서 Performance Monitor 수집과 메모리 덤프 확보를 우선 검토합니다.

1. Veeam Support 문의 시 Veeam 로그, Windows 이벤트 로그, Repository 구성, ReFS·Windows 빌드, 발생 시간대별 성능 데이터를 함께 제공합니다.

참고 자료

• Veeam KB2792

• Microsoft: Fix heavy memory usage in ReFS

• Microsoft: Memory limits for Windows releases