행정반

한글화 제보 및 건의, 버그 등을 남기는 게시판 입니다. 자유롭게 건의 해주시면 친절히 답변해드리겠습니다.
개인적인 상담은 [email protected] 로 메일 주시면 됩니다.


※ 글작성 분류 안내

[한글화] - 게임 한글화를 공유하는 목적으로 한글화 게임에 없는 게임들의 한글화 링크를 알려주시면 등록합니다.
[건의],[버그] - 언제나 환영입니다...! 팍팍 글작성 부탁드립니다.
[게임 추가] - 스팀 게임 및 기타 게임 이외에 등록을 원하시는 게임이 있으시면 알려주세요
[탈퇴] - 스팀 계정은 회원탈퇴를 따로 구현하지 않고 신청으로 받고 있습니다. 탈퇴를 원하시는분은 비밀글로 하여금 탈퇴 신청 부탁드립니다. ;)

모바일 성능 측정 기준에 2가지 건의할게 있습니다.

A_TNT | 조회 182 | 추천 0 | 2017.03.30. 01:47 http://drmola.com/orderly/152289

1번째는 Basemark OS II 그래픽 스코어를 GPU 성능 측정 기준에서 제외하는 겁니다.

 

현재 GPU 성능 측정 기준은 GFX벤치 온스크린과 오프스크린, 그리고 베이스마크 OS II 그래픽 스코어와 기타 다른 그래픽 벤치를 일정 비율 반영하여 평균치를 내는걸로 알고 있습니다.

 

그런데 예전부터 Mali 계열 GPU들이 베이스마크 OS II에서만 엄청난 약세를 보이고 이로 인해 평균치로 드러나는 성능 수치에도 꽤나 악영향을 끼치는 걸로 알고 있습니다.

 

물론 3DMark, GFX벤치와 같은 타 그래픽 벤치에서도 Mali 계열 GPU의 그래픽 성능은 타사 대비 약소한 수준으로 나오긴 하지만 이정도까지 차이가 벌어지지는 않습니다.

 

비슷한 시기에 나온 엑시노스 8890과 스냅드래곤 820/821의 Mali-T880과 Adreno 530간의 비교를 예시로 들면

 

82142.png

 

82190.png

 

82207.png

 

대부분의 SoC 설계 회사들이 OpenGL 상에서의 모바일 GPU 성능을 측정하는데 쓰는 표준적인 기준인 GFX벤치 상에서 Adreno 530은 Mali-T880 대비 110~120% 정도의 성능을 보여주고

 

2.0.png

3.0.png

3.1.png

역시 유명한 그래픽 성능 측정 벤치인 3DMark 상에서는 각 API에서 Adreno 530이 T880 대비 92~109%, 94~139%, 91~129%의 성능을 내주고 있습니다.

 

그런데 Basemark OS II Graphic Score 에서는 두 GPU간의 차이가 너무 비현실적으로 벌어집니다.

 

http://www.anandtech.com/bench/PhoneTablet14/1146

 

해당 벤치에서의 Adreno 530은 5000점 안밖으로 측정되는데 Galaxt S7 (E8890)은 2217점으로 측정됩니다. Adreno 530이 T880 대비 최대 237%의 성능을 가지고 있다는 건데 현재 대부분의 벤치마크에서 측정되는 성능폭과 전혀 다른 경향성을 보이고 있습니다.

 

같은 Basemark 계열에 속한 다른 종류의 벤치마크에서도 Mali 계열의 GPU가 이 수준까지 저평가 되지는 않습니다. 오히려 어떤 면에서는 Mali GPU에 더 친화적인 모습을 보입니다.

 

82138.png

위의 8890과 820의 비교를 다시 예시로 들면 Basemark ES 3.1/Metal 상에서의 오프스크린 벤치는 오히려 Mali-T880이 Adreno 530 대비 1.17배의 성능을 보여줍니다.

69826.png

69827.png

70984.png

 

또 하나의 예시로 5433의 Mali-T760 6코어와 비슷한 시기에 시장에 나온 스냅드래곤 805의 Adreno 420간의 성능 비교를 보면 역시 같은 Basemark 계열의 타 벤치마크들에서는 두 GPU가 동일한 성능을 내지만 유독 Basemark OS II의 그래픽 테스트에서만 여러 GPU 벤치에서 보여지는 경향성이 보여지지 않습니다.

 

http://www.anandtech.com/bench/PhoneTablet14/1146

 

심지어는 같은 Mali 계열 내에서도 삼성의 발표치에 따르면 전작보다 60% 높은 그래픽 성능을 내는 E8890이 전작인 E7420보다 낮은 위치에 있습니다. E7420이 2400점으로 측정되는데 비해 E8890은 2200점으로 측정되네요. 그래서 아난드텍 측에서도 이 벤치마크에서 유독 Mali GPU가 저평가된다는 언급이 자주 나옵니다. 아마 제 예상에는 저 벤치가 ALU의 연산 능력이나 드라이버 오버헤드와 같은 로우레벨 성능을 측정하기 때문에 Mali 계열이 약세를 보이고 Adreno 계열이 강세를 보이는게 아닐까 생각하는데 로우레벨 성능이 실제로 드러나는 성능과 일치하지는 않다고 생각합니다.

 

결론적으로 타 그래픽 벤치에서 보여지는 경향성이 거의 안보여지고 Mali 계열 GPU의 성능이 심하게 왜곡당하는 벤치를 평가 기준에 넣는것은 무리라고 생각합니다. 애플 계열 AP들이 3DMark 아이스 스톰 언리미티드의 피직스 스코어에 유독 약세를 보이는 이슈가 있지만 이를 실제 AP에 대한 평가에 반영하는건 무리가 있는것과 비슷한 사례라고 생각합니다.

 

2번째는 쓰로틀링을 성능 측정에 반영시키는 것입니다.

 

새로운 GPU 성능 기준으로 디바이스의 Peak 성능과 Sustained 성능을 조합하는게 좋지 않을까 싶습니다. 기존의 이론상의 Peak 성능 데이터 만으로는 실제 유저들에게 체감으로 다가오는 GPU 성능을 측정하기에 무리가 있었습니다. 그동안 구 IYD, 현재 닥터몰라 측에서는 실제 사용자 경험에서 유저에게 다가오는 그래픽 성능을 나타내기 위해 오프스크린과 온스크린 데이터를 일정 비율로 조합하는 방법을 선택해온걸로 압니다. 그러나 이는 모바일 기기에 매우 중요한 요소인 쓰로틀링을 간과해 온게 아닌가 싶습니다.

 

8890vsa9sustained.png

GS7_Manhattan_Rundown_2_575px.png

powereff.png

 

실제 8890과 A9의 Peak 성능 자체는 오차범위 내의 동급 수준이지만 지속적으로 벤치마크를 구동할때에는 쓰로틀링이라는 요소가 크게 작용하는걸 알수 있습니다. 첫번째 도표를 보면 GFX벤치를 20회 연속 구동시에 17회차부터 8890의 성능이 절반으로 급감하고 18회차부터 지속적으로 30~40%의 성능 감소를 겪는것을 알수 있습니다. 두번째 도표에서도 8890을 4시간 동안 구동하면 실제 성능(15fps)의 2/3 수준만 낼수 있는걸 알수 있습니다. 전력소모 자체는 A9의 GT7600이 높지만 아이폰의 기기 구조 자체가 통메탈로 방열에 유리한 구조라서 쓰로틀링이 느슨하게 걸려있는게 원인인걸로 보입니다. 이런 식으로 기기 설계에 따라 디바이스 제조사 측에서는 쓰로틀링을 하드하게 잡는가 루즈하게 잡는가 결정하게 되고 이런 원인으로 똑같은 AP라도 다른 사용자 경험을 겪을수 있습니다.

 

Kirin_960-GFXBench_Manhattan_3.1-Power_Frequency2.png

k960.png

 

다른 사례라면 애플 A10이나 Kirin 960의 G71과 같이 과도하게 클럭을 높여서 높은 전력소모량을 가진 GPU는 모바일 AP에 용납되는 범위(4~6W)까지 쓰로틀링이 걸리게 됩니다. 해당 AP는 GPU 로드시 전력소모량이 9.51W까지 급증하는데 Peak 성능만 보았을때 Kirin 960의 그래픽 성능은 우수한 수준이지만 쓰로틀링으로 인해 실제 사용자 체감과의 괴리가 생기는건 당연한 일입니다.

1.png

2.png

3.png

벤치마크 상에 측정되는 이론상의 성능(1번째 도표)에 실제 기기 해상도(1080p --> 1440p)를 반영하고(2번째 도표), 여기에 쓰로틀링으로 인한 성능 감소폭(-30~40%)을 적용하면 다음과 같은 결과(3번째 도표)가 나옵니다. 현재 안드로이드 기기중 가장 높은 성능을 가진 Adreno 530과 T880은 오프스크린 벤치상에서는 애플 AP에 비해 큰 차이는 나지 않지만 3번째 도표상에 나타나는 결과는 참혹하죠. 저는 이게 전통적으로 애플 기기들이 벤치마크 대비 게임 구동시 안드로이드 기기보다 유리하다는 평가를 받는 이유라고 생각합니다.

 

물론 저 실제 성능을 그대로 100% 반영하면 충격과 공포가 가득한 결과가 나오니 Peak 성능과 Sustained 성능을 적절한 범위로 배합하는게 중요하다고 생각해요. 이런 식이면 모바일 기기의 GPU 성능을 이전보다 더 잘 나타낼수 있을거라고 봅니다. 예를 들면 "Peak 성능 & 이론성능"과 "Sustained 성능 & 실성능"을 50% : 50% 비율로 나누고 전자에는 최적의 조건(냉동실이라던가)에서 일정한 해상도로 맞춰져서 offscreen 상에서 측정되는 3DMark 그래픽 스코어, GFX벤치 오프스크린, 베이스마크 X or 베이스마크 ES 3.1 오프스크린 결과들을 넣고 후자에는 GFX벤치나 3DMark를 기기 해상도가 반영되는 onscreen으로 쓰로틀링을 반영하기 위해 30분간 반복 구동시켜서 나오는 결과값들을 평균치로 내서 넣는 기준을 만들수 있습니다.

 

100.png

101.png

102.png

103.png

이 기준은 GPU가 아닌 CPU에도 적용할수 있을거라고 봅니다. CPU에도 위의 GPU와 같이 Peak 성능과 Sustained 성능 반영치를 50 대 50으로 분배하고 전자에는 GB4 냉동실 측정 결과중 가장 잘나온 싱글코어와 멀티코어 성능을, 후자에는 GB4를 30회가량 반복구동하여 나온 점수의 평균치를 넣어서 평균을 내는 식의 기준을 만들수 있을거라고 생각합니다.

asdf.png

실제로 스냅드래곤 808이나 810의 경우는 이론상의 성능은 준수했으나 쓰로틀링이 걸리면 실제로는 A57 클러스터 자체가 거의 돌지 않고 A53 클러스터만 죽어라 돌리는 기현상이 벌어진 적이 있습니다. 특히 810은 해당 도표를 보면 4코어 모두 로드시 11W를 찍을수도 있는 황당한 상황이에요.

98d0af10f30075c005d004ab4debe476.jpg

반대로 Cortex-A73의 예시를 들면 해당 CPU 아키텍쳐는 Peak 성능보다는 실제 사용자 체감에 영향을 주는 Sustained 성능을 높인다는 설계사상 하에 만들어졌습니다. 이런 극단적인 두 사례를 보면 기존의 Peak 성능으로만 기기의 성능을 평가하는 것에서 벗어나야 한다는 생각이 듭니다.

A_TNT's Signature

적용중인 트로피가 없습니다.

DR.MOLA

레벨 Lv. 2 (62%)
포인트 641 p
출석 11 일 (개근 0 일)

A_TNT'님의

  1. 82142.png (File Size:30.2KB/Download:0)
  2. 82190.png (File Size:29.6KB/Download:0)
  3. 82207.png (File Size:38.3KB/Download:0)
  4. 2.0.png (File Size:29.2KB/Download:0)
  5. 3.0.png (File Size:26.3KB/Download:0)
  6. 3.1.png (File Size:23.8KB/Download:0)
  7. 82138.png (File Size:30.7KB/Download:0)
  8. 69826.png (File Size:38.7KB/Download:0)
  9. 69827.png (File Size:38.6KB/Download:0)
  10. 70984.png (File Size:32.9KB/Download:0)
  11. 8890vsa9sustained.png (File Size:21.7KB/Download:0)
  12. GS7_Manhattan_Rundown_2_575px.png (File Size:8.9KB/Download:0)
  13. powereff.png (File Size:13.1KB/Download:0)
  14. Kirin_960-GFXBench_Manhattan_3.1-Power_Frequency2.png (File Size:120.2KB/Download:0)
  15. k960.png (File Size:27.4KB/Download:0)
  16. 1.png (File Size:29.6KB/Download:0)
  17. 2.png (File Size:29.4KB/Download:0)
  18. 3.png (File Size:33.1KB/Download:0)
  19. 100.png (File Size:31.5KB/Download:0)
  20. 101.png (File Size:30.3KB/Download:0)
  21. 102.png (File Size:31.7KB/Download:0)
  22. 103.png (File Size:30.4KB/Download:0)
  23. asdf.png (File Size:26.5KB/Download:0)
  24. 98d0af10f30075c005d004ab4debe476.jpg (File Size:95.8KB/Download:0)
facebook twitter google plus pinterest kakao story band
Profile image iMola 2017.03.30 12:59
소중한 의견 감사합니다. 안그래도 최근 벤치마크를 구성하면서 벤치마크 구성 시나리오를 다변화해야겠다는 생각은 꾸준히 하고 있습니다. 직접 벤치마크 프로그램을 개발해 이런 시나리오를 반영할 계획 역시 있습니다. 조만간 새로이 구성된 벤치마크 시나리오에 대한 소개글과 함께 갤럭시 S8 벤치마크로 찾아뵙겠습니다.
번호 분류 제목 글쓴이 날짜 조회
공지 이곳은 회원님들의 건의 사항을 적는 게시판 입니다. 썬업 09.05 534
244 [한글화] Hero Siege 공식한글화 [1] MoJyo 12.07 893
243 스팀 프로필을 연동한 회원 여러분은 댓글을 달아주시기 바랍니다. [38] file 썬업 01.24 321
242 [한글화] 더 워킹 데드(The Walking Dead) 링크가 잘못 되어 있습니다. [1] WhiteRuby 06.10 312
241 [한글화] 게임 DB 업데이트에 문제가 있는 것 같습니다 [18] [한글화] 돌삔 02.24 285
240 스팀동기화가 에러나면서 안됩니다 [4] 코코넛먹자 02.15 258
239 비번변경 [3] 루나코 10.24 257
238 [한글화] 제보 [1] 욱이 10.30 205
237 [한글화] 생텀1, 그랜드 에이지 로마, 매직카1 편 한글패치 새 주소 입니다. [1] KITVS 01.05 194
236 [한글화] 콜 오브 듀티: 모던 워페어 3 링크 [1] BONGJA 11.24 190
235 [한글화] The Incredible Adventures of Van Helsing : Final Cut 한글패치 링크입니다 [1] 꽃기림 06.03 184
234 한국어화 게임 정보 수정 [6] [한글화] 돌삔 06.19 184
233 [한글화] 트라인1 인핸스드 에디션판 한국어 패치 주소를 알아냈습니다. KITVS 02.03 183
» 모바일 성능 측정 기준에 2가지 건의할게 있습니다. [1] file A_TNT 03.30 182
231 안드로이드 닥터몰라 앱을 설치하신분 여기 입니다. [21] 썬업 02.08 182
230 [건의] 닥터몰라 스팀그룹에 나눔당첨 목적으로 가입한 외국인이 많아보입니다. [1] 리베르떼 01.08 175
229 [버그] 출석이 2개가 되면서 개근이 이어지지 않았습니다. [1] 푸룬 03.02 171
228 비밀번호 변경 [3] MementoMori 10.24 169
227 [건의] 게임 보유 유무 목록 [4] [한글화] 돌삔 11.01 165
226 [한글화] NiGHTS Into Dreams 한글패치 링크 없어졌습니다. [1] 살로만치킨 03.26 164