Ch09. 모니터링 메트릭 활용 - 실무 모니터링 환경 구성 팁

모니터링 3단계

• 대시보드
• 애플리케이션 추적 - 핀포인트
• 로그

대시보드

• 전체를 한눈에 볼 수 있는 가장 높은 뷰

제품

• 마이크로미터, 프로메테우스, 그라파나 등등

모니터링 대상

• 시스템 메트릭(CPU, 메모리)
• 애플리케이션 메트릭(톰캣 쓰레드 풀, DB 커넥션 풀, 애플리케이션 호출 수)
• 비즈니스 메트릭(주문수, 취소수)

애플리케이션 추적

• 주로 각각의 HTTP 요청을 추적, 일부는 마이크로서비스 환경에서 분산 추적

제품

핀포인트(오픈소스), 스카우트(오픈소스), 와탭(상용), 제니퍼(상용)

https://github.com/pinpoint-apm/pinpoint

GitHub - pinpoint-apm/pinpoint: APM, (Application Performance Management) tool for large-scale distributed systems.

로그

가장 자세한 추적, 원하는 데로 커스텀 가능
같은 HTTP 요청을 묶어서 확인할 수 있는 방법이 중요, MDC 적용

파일로 직접 로그를 남기는 경우

• 일반 로그와 에러 로그는 파일을 구분해서 남기자 에러 로그만 확인해서 문제를 바로 정리할 수 있음

클라우드에 로그를 저장하는 경우

• 검색이 잘 되도록 구분

모니터링 정리

• 각각 용도가 다르다.
• 관찰을 할 때는 전체 -> 점점 좁게
• 핀포인트는 정말 좋다. 강추 마이크로 서비스 분산 모니터링도 가능, 대용량 트래픽에 대응

알람

모니터링 툴에서 일정 이상 수치가 넘어가면, 슬랙, 문자 등을 연동

알람은 2가지 종류로 꼭 구분해서 관리(경고, 심각)

• 경고는 하루 1번 정도 사람이 직접 확인해도 되는 수준(사람이 들어가서 확인) 
• 심각은 즉시 확인해야 함, 슬랙 알림(앱을 통해 알림을 받도록), 문자, 전화

예)

• 디스크 사용량 70% -> 경고
• 디스크 사용량 80% -> 심각
• CPU 사용량 40% -> 경고
• CPU 사용량 50% -> 심각

경고와 심각을 잘 나누어서 업무와 삶에 방해가 되지 않도록 해야 함

거짓(False) 알람은 바로바로 처리 - 늑대가 나타났다.