[GPU Profiling Tool] Nsight Systems 설치, 실행 방법

⭐ GPU profiling 툴 NVIDIA Nsight Systems 설치하는 방법. 

 

[ NVIDIA Nsight Systems란? ]

Nsight Systems란 NVIDIA에서 제공하는 GPU Profiling Tool이다. 

timeline의 형태로 프로그램이 어떻게 실행되었는지 확인할 수 있다.

software을 실행했을 때, GPU starvation, GPU synchronization, GPU를 얼마나 활용하고 있는지, idle한 상태 등을 timeline의 형태로 확인할 수 있다. 이를 바탕으로 사용하는 software을 최적화 해볼 수 있다. 그럼 이제 설치를 진행해보자!

 

 

[Nsight Systems 설치 하기]

Nsighst Systems는 아래 NVIDIA 공식 홈페이지에서 무료로 다운 받을 수 있다.

( 단, 개발자로 계정이 등록 되어있어야한다. 등록 역시 무료이며 간단하다.)

 

1.  NVIDIA Nsight Systems 설치 파일 다운로드

https://developer.nvidia.com/nsight-systems

NVIDIA Nsight Systems

 

링크를 들어가면 download center이 나온다. 

우측 첫번째 Nsight Systems 2022.3.4 [Linux Host.run Installer] 을 클릭하여 설치했다. 

 

2.  Installer로  NVIDIA Nsight Systems 설치하기

.run 파일 다운이 완료 되었다면, 다운로드 받은 폴더로 이동하여 터미널을 열고 다음 명령어를 실행해주자. 

• 다운로드 파일에 설치 권한 부여하기 

chmod a+x NsightSystems-linux-public-2022.3.4.34-133b775.run

• 파일 실행하기

./NsightSystems-linux-public-2022.3.4.34-133b775.run

라이센스 확인하고 ACCEPT를 치면 설치 경로를 물어본다. 설치 경로 설정해주면 설치가 시작된다. 

 

3.  설치 확인하기 

설정한 폴더로 이동하면 아래와 같이 파일들이 설치되었다.

Bin 폴더로 이동해서 설치 버전을 확인해보자

./nsys -v

설치 버전을 확인할 수 있으면 성공이다.

 

 

[Nsight Systems 실행하기]

1.  프로그램 실행하기

terminal 에서 bin폴더로 이동해서 아래 프로그램을 실행한다.

./nsys-ui

프로그램을 실행하면 가장 먼저 뜨는 화면이다.

 

2.  Target connection

GPU profile을 하고자하는 target을 설정해야한다.

Target과 연결하는 방법이 몇가지 있는데 Localhost로 연결하는 방법과, ssh connection을 하는 방법이 있다. 

Target 선택창

ssh로 connection을 하는 경우, 아래와 같이 진행한다. 

형광펜 부분 클릭

형광펜 부분을 클릭하면 Manage targets 창이 뜬다. 여기에서 create a new connection을 클릭한다. 

create a new connection으로 연결을 생성한다.

연결하고자 하는 target 의 ip주소를 입력한다. user name이 있는 경우 따로 입력한다. 

Target이 생성되었다면, 우측 하단에 connect를 눌러서 연결한다. 

연결이 성공적이라면 초록색 체크 표시와 함께 Target is ready라고 적혀있는 것을 볼 수 있다. 

 

3.  Profiling 설정

이제 profiling하고 싶은 정보와 trace하고 싶은 software에 대한 정보를 입력해준다. 

• command line with arguments에는 실행파일 명령어를 아래 예시처럼 적고
• working directory에는 아래 프로그램이 들어있는 경로를 작성한다. 
• Trace하고 싶은 항목에 체크를 하고 우측에 Start 버튼을 누른다. 

 

4. Profiling Results 

아래 창이 뜨면 Profiling이 시작된 것이다. 

Profiling이 완료되면, 우측 Project 아래에 Report가 생성된다. Report에서 timeline 처럼 표현된 Profiling 결과를 확인할 수 있다. 

• CUDA HW가 GPU 사용 state를 확인할 수 있는 항목이다. 아래 그래프에서 표현된 파란색 부분이 띄엄띄엄 있는 것은 GPU가 Idle한 부분이 존재한다는 것을 의미한다.