컴퓨터 고를 때 '성능 벤치마크'는 어떻게 봐야할까?

PC 부품을 고를 때 미리 웹 검색으로 성능을 비교한 표를 보시고 구매하는 분 많으실 것 같습니다.

제가 글을 쓸 때도 벤치마크를 보고 구매하시라고 말씀을 많이 드렸습니다. 하지만 어떤 방식으로, 어떤 시각으로 봐야하는지에 대한 글을 쓴 적이 없어서 하나 발행해봅니다.

(img source: tomshardware.com)

길게 쓰는 글이 아니니 가볍게 읽으시면 됩니다.

일단 그래픽카드를 고를 때 벤치마크를 가장 많이 보실 것 같습니다. 그런데 테스터(또는 리뷰어)에 의해 작성된 벤치마크 결과를 보실 때는 비판적 시각으로 보실 필요가 있습니다. 테스터를 무시하라는 의미가 아닌 어떤 환경에서 그 벤치마크가 작성된 것인지를 살필 필요가 있다는 얘기지요.



주제가 '그래픽카드 성능 비교 벤치마크' 라면, 주제에 맞게 그래픽카드만을 비교해야합니다.
즉, 변수가 딱 하나 그래픽카드만 변해야합니다. 

테스터는 테스트하기 전 <PC 환경>에 대해 미리 명시해야 합니다.

'메인보드, 파워서플라이유닛, CPU 등에 대한 정보, 윈도우 버전, 그래픽카드 드라이버 버전 등을 미리 독자에게 알려주고 그 부분은 고정된다는 것을 알려줘야합니다. 그게 없다면 그 벤치마크는 그냥 이런 것도 있다고 참고 용도로만 읽으시면 됩니다. 


위 내용이 가장 기본입니다.

그리고 테스트하는 툴이 문제가 되는데, '그래픽카드 테스트'는 '그래픽카드만 변수'가 되야합니다.

게임벤치마크를 할 때 가장 문제되는 것은 똑같은 화면이 재생되어야 한다.

그래픽카드만 변수가 되어야한다고 위에 말씀 드렸는데, 게임 프레임 체크를 할 때 가장 문제되는 부분은 재생되는 화면이 완전히 같을 필요가 있다는 것입니다. 아니면 비슷하기라도 해야하는데 화면이 바뀌거나 그 상황에 조건이 바뀌면 그 벤치마크는 참고용으로만 봐야하고 정설은 될 수 없습니다.



그러면 이렇게 말할 수가 있습니다.

인터넷 상에서 플레이하는 '멀티플레이' 시 프레임으로 그래픽카드나 CPU에 대한 벤치마크를 작성한 것은 절대적으로 참고용.   멀티플레이 특성상 똑같은 상황이 나온다는 것은 100% 불가능. 즉, 멀티플레이에서 벤치마크를 측정하면 변수가 2개.

위 말을 다르게 말하면 다른 그래픽카드가 아닌 같은 그래픽카드로 멀티플레이에서 프레임을 측정하면, 다른 벤치마크값이 나올 수 있다는 얘기입니다. 즉 한 개의 그래픽카드로 두 번이나 세 번 프레임 측정 시 전혀 다른 값이 나올 수 있다는 얘기입니다. 한 개로 비교해도 그런데 그 결과를 다른 그래픽카드와 비교하게 되면 문제가 생깁니다.

그래서, 멀티플레이에서 작성된 벤치마크 값은 절대적으로 참고용입니다. 어느 정도 경향을 반영하기는 하지만 성능비교로 사용하기에는 부족함이 있습니다. 


그럼 어떤 벤치마크를 보면 되냐가 궁금하시겠네요.

간단합니다. 게임의 경우, '벤치마크 툴'이 있습니다. 똑같은 화면을 재생하게 되는데 그 상황이 매번 완전히 같다고 볼 수는 없지만 변수가 많은 '멀티플레이'에서 벤치마크한 것 보다 정확도가 높고 변수가 한 개만 변하기 때문에 성능 비교가 가능해집니다.

그러면, '벤치마크 프로그램에서 작성한 프레임은 절대적으로 믿어도 되나?' 의 대답은 'No' 입니다.

벤치마크 프로그램에서 '최소프레임' 비교로 A 라는 그래픽카드가 B 라는 그래픽카드를 프레임에서 이겼는데, 실제 게임을 돌려보니 어떤 환경에서 B 그래픽카드의 프레임이 더 좋은 환경이 나올 수 있다는 얘기입니다. 즉, 벤치마크에서 체크하지 못한 부분에서 차이가 생길 수 있다는 얘기죠. 


'그럼 대체 뭘 어쩌라는 얘기냐?' 이러실 것 같은데, 꼭 구매해야할 상황이 되어 벤치마크를 확인하실 때는 되도록 '여러개'의 벤치마크를 보시면 됩니다.

그리고 다른 사이트에서 벤치마크한 결과를 또 다른 사이트에서 수치를 가지고 비교하면 그건 큰 문제입니다. 테스트한 환경이 같아도 테스터마다 테스트하는 방식과 센스가 다르기 때문에 '변수'가 더 많아집니다. 
 
하드웨어 사이트에도 테스트를 시작할 때 특정 환경이라는 것을 명시하고 있습니다. 




그러므로, 이런 말씀을 하실 필요가 없습니다.

"어? 여기서는 20프레임 나오는데 왜 이 사이트에서는 50프레임이에요?"


중요한건 그 테스트 환경에서 그렇게 나왔다는 것이죠. 변수 통제가 확실하다면 그 벤치마크 결과는 가치가 있다고 보시면 됩니다. 그런 양질의 테스트 결과를 여러개 직접 조사하셔서 비교하시고 구매하면 후회하지 않습니다.


※참고
예외가 하나 있기는 합니다. CPU 비교 벤치마크인데 이 경우는 메인보드와 CPU 둘 다 바뀌기 때문에 약간 모호한 부분이 있습니다. 그래서 하드웨어 사이트에서는 각각 (Intel, AMD) 최상급 메인보드로 구성하여 테스트합니다. 하지만 어느 정도 일관성을 갖추고 테스트하므로 받아들이는 데 문제는 없습니다.



그럼 요약합니다.

1. PC 성능 비교 벤치마크 결과는 변수 통제가 확실해야 한다. (비교 대상만 변해야 함.) 2. 멀티플레이나 실제 플레이에서 벤치마크도 완전히 정확한 것은 아니지만 참고할 가치는 있다. 3. 특정 환경에서 테스트한 결과를 다른 테스터의 결과와 비교하면 문제가 있다. 하지만 경향은 비슷하니 참고할 가치는 있다.

이 정도 시각으로 보시면 될 것 같습니다. 초보가 쓴 글이니 가볍게 한 귀로 흘리셔도 좋습니다.