Deep Learning 개발 중 현재 GPU를 점유하는 pid 및 GPU 사용량 확인하는 방법
머신러닝 프로젝트나 개발을 하면서 GPU 작업을 시작하면, Iteration이 올라가지 않거나 GPU 작업만 멈춘 경우를 볼 수 있다.
또는 GPU 작업간 현재 사용량 정보를 확인할 필요가 있을 경우 htop 등과 다르게 GPU 유관 정보가 필요할때 유용하다.
Ubuntu의 기본적인 nvidia-smi 설치 경로
Ubuntu에 nvidia driver를 설치했다면, 기본적으로 link 되어 있다. /etc/bin 쪽에 연결되어 있다.
Cloud 기반의 GPU가 pre-setup된 VM을 이용한다면, 일반적으로 걱정할 필요 없이 즉시 실행 가능하다.
실행 / bash 또는 윈도우 cmd에서 연속실행
이렇게 실행하고 결과를 확인 가능.
윈도우에서 연속 실행
아래와 같이 anyname.bat로 bat 파일을 만들고, 실행
:LOOP nvidia-smi ping 127.0.0.1 -n 3 >NUL goto :LOOP
만약, path에 없다면, 적당히 시스템 환경 변수에 path를 걸어주자.
bash에서 연속 실행
간결하게 가능하다
while :; do clear; nvidia-smi; sleep 3; done
참고링크
How do I run nvidia-smi on Windows? - Stack Overflow
Useful nvidia-smi commands - Learn CUDA Programming (packtpub.com)
