화웨이 벤치 마크는 조작 된 SoC 전력으로 비공개 테스트와 공개 테스트를 수행합니다.
몇 주 전에 우리는 전문 DSLR 카메라를 사용하는 화웨이 셀카 기능에 대한 광고에서 소비자를 시도하고 속이는 방법을 찾는 것을 멈출 수없는 것 같습니다. 이번에는 그들이 조작하고있는 벤치 마크입니다.
벤치 마크는 인기가 높고 ( 지금까지?) CPU, GPU, 시스템 성능 벤치 마크 등 기기의 성능을 보여주는 합법적 인 방법입니다. 벤치 마크의 요점은 소비자에게 스트레스를받은 상태에서 장치가 어떻게 작동하는지에 대한 정확한 결과를 제공하는 것입니다.
안타깝게도 Huawei는 일부 최신 장치에 '벤치 마크 감지 메커니즘'을 포함시킨 것 같습니다. 이 메커니즘이 기본적으로하는 것은 SoC가 특정 앱에서 벤치마킹되고 있음을 감지 할 때 SoC를 훨씬 더 높은 전력 제한과 열 헤드 룸으로 밀어 붙이는 것입니다. 따라서 사용자가 일상적으로 사용하는 것보다 훨씬 높은 성능 점수를 얻게됩니다. 이것은 부정직 할뿐만 아니라 위험한 SoC의 수명 동안 장치를 매우 빠르게 과열시키고 배터리 수명을 단축 할 수 있습니다.
이러한 관행에 대한 Huawei의 변호는 다음과 같이 요약 할 수 있습니다. 다른 사람들도 그렇게합니다!” – 그리고 슬프게도 그들은 실제로 옳습니다. 벤치 마크 부정 행위는 전혀 새로운 것이 아닙니다. 10 년 전 PC 분야에서 만연했으며 모바일 분야에서도 한동안 존재했습니다.
벤치 마크 조작을 위해 3DMark에서 삭제 된 다양한 장치.
삼성 갤럭시 S4의 엑시 노스 변종은 유사한 벤치 마크 부정 행위를하고 있으며 모바일 리뷰 사이트의 편집자들은 AnandTech 벤치 마크 데이터를 조작하는 많은 다른 스마트 폰 공급 업체도 발견했습니다. 이로 인해 Galaxy S4, Galaxy Note 3, HTC One 및 기타 여러 장치와 같은 여러 장치가 상장 취소 3DMark 데이터베이스에서.
대부분의 제조업체가 호출 된 후 행동을 중단했지만 일부는 계속되었습니다. 예를 들어 OnePlus는 GeekBench와 같은 인기있는 벤치 마크에서 계속 부정 행위를 계속했지만 OnePlus 5T 이후로 관행을 중단했지만 실제로는 훌륭한 장치이며 모딩 및 개발 커뮤니티에서, OnePlus는 필요한 것 벤치 마크 데이터를 조작합니다.
안타깝게도 Huawei P20, Huawei P20 Pro 및 Honor Play를 포함한 장치로 벤치 마크를 조작하는 Huawei에 대한 검증 된 보고서가 있기 때문에 다른 장치 공급 업체가 중단 한 부분을 선택하는 것으로 보입니다. 기본적으로 Huawei P20의 성능은 Huawei Mate 10 Pro와 비교할 때 퇴보했습니다. 당시 Huawei는 ' 펌웨어 문제 ”– SoC에 대해 엄청나게 우수한 전력 제한을 유발하는 위에서 언급 한 벤치 마크 감지 메커니즘으로 인해 실제로는 명백한 대담한 거짓말입니다.
SoC 자체에 나쁜 영향을 미칠뿐만 아니라 SoC가 푸시되고 있기 때문에이 작업이 완료되면 SoC의 전체 효율성이 감소합니다. 밖에서 잘 정상 작동 창 ( 열 그리스없이 CPU를 최대한 높게 오버 클럭하는 것을 상상해보십시오.) . 그러나 이것은 또한 시장 그 자체.
하나는 SoC가 마치 마치 필요 판매 할 가치가 있도록 벤치 마크 데이터를 조작합니다. 둘째, 이미 모조품, 복제품, 그늘진 관행으로 가득 찬 중국 스마트 폰 시장에 의문을 제기합니다. 더욱이 Huawei의 벤치 마크 동작은 아마도 지금까지 볼 수있는 가장 심각한 행동 일 것입니다. 거대한 벤치 마크 감지 메커니즘이 켜져있을 때와 꺼져있을 때의 성능 결과 차이. 너무 많이 AnandTech 공개적으로 사용 가능한 벤치 마크 결과와 자체 내부 테스트의 차이는 ' 정말 놀랍습니다.”
화웨이는 발견에 대해 응답했으며 앞서 언급했듯이 그들의 응답은 기본적으로 ' 다른 사람들도 그렇게한다 ”. 그들이 말 그대로 말한 것 ( Huawei 소비자 비즈니스 그룹의 소프트웨어 사장 인 Wang Chenglu 박사의 인용문) 였다 ' 다른 사람들은 같은 일을하고 높은 점수를 받고 화웨이는 침묵을 지킬 수 없습니다. Huawei는 사용자 경험을위한 최고의 검증 벤치 마크를 찾기 위해 중국의 다른 기업과 협력하기를 원합니다. '
Wang 박사는 또한 잘못된 벤치 마크 수치로 다른 제조업체를 지적하고 가장 큰 범인으로 중국에서 이름이 알려지지 않은 인기있는 스마트 폰 제조업체를 꼽았습니다. Wang 박사에 따르면 벤치 마크 부정 행위는 '중국에서 일반적인 관행'이되었으며 Huawei는 소비자에게 '공개'하기를 원하지만 경쟁 업체가 '계속해서 비현실적인 점수를 게시'하면 문제가 발생합니다. 화웨이는 다른 장치 제조업체가 비현실적인 점수를 내면 어려워 보이는 과제 인 중국의 주요 경쟁과 맞서고있다.
요약하면 화웨이
- 벤치 마크 수치를 조작하고 있음을 인정
- 중국 전화 시장의 다른 모든 사람들이 그렇게 함을 인정합니다.
- # 2 때문에 멈출 계획이 없습니다.
누구든지 어떻게 믿음 이런 종류의 물건 이후 중국 전화 시장? 어쨌든 화웨이는 회사가“ 향후 벤치 마크 데이터가 제 3 자에 의해 독립적으로 검증되도록합니다. ”.
Huawei는 XDA에 전체 응답을 보냈습니다.
“Huawei는 항상 높은 벤치 마크 점수를 추구하는 것보다 사용자 경험을 우선시합니다. 특히 스마트 폰 벤치 마크와 사용자 경험이 직접적으로 연결되어 있지 않기 때문입니다. Huawei 스마트 폰은 AI와 같은 고급 기술을 사용하여 CPU, GPU 및 NPU를 포함한 하드웨어의 성능을 최적화합니다.
누군가 사진 앱을 실행하거나 그래픽 집약적 인 게임을 할 때 Huawei의 지능형 소프트웨어는 하드웨어의 모든 기능을 적용하는 동시에 기기의 온도와 전력 효율성을 관리하여 부드럽고 안정적인 사용자 경험을 제공합니다. 웹 검색과 같이 전력 집약적이지 않은 애플리케이션의 경우 필요한 성능을 제공하는 데 필요한 리소스 만 할당합니다.
일반적인 벤치마킹 시나리오에서 Huawei의 소프트웨어가 벤치마킹 애플리케이션을 인식하면 지능적으로 '성능 모드'에 적응하고 최적의 성능을 제공합니다. Huawei는 사용자가 필요할 때 장치의 최대 전력을 사용할 수 있도록 '성능 모드'에 대한 액세스를 제공 할 계획입니다.
업계 리더 인 Huawei는 파트너와 협력하여 사용자 경험을 정확하게 평가할 수있는 최고의 벤치마킹 표준을 찾을 수 있습니다.”
어쨌든 진실 벤치 마크 실행 AnandTech Huawei P20, P20 Pro 및 Honor Play를 테스트했으며 모든 장치는 동일한 HiSilicon Kirin 970 SoC를 공유하기 때문에 비슷하게 수행되었지만 각 장치의 실제 성능은 열 제한에 의해 제한됩니다. 다른 섀시 및 냉각 설계. Huawei P20 Pro는 최고의 열 성능을 제공하므로 실제 성능 상태에서 더 나은 성능을 발휘합니다.
편집자 AnandTech , Andrei Frumusanu는 다음과 같이 말했습니다.
'과거에는 공급 업체가 실제로 SoC 주파수를 높이거나 최대 상태로 고정하여 일반 애플리케이션에서 일반적으로 사용할 수있는 것 이상으로 성능을 높이는 것을 보았습니다. 대신 화웨이가하는 일은 다른 방향에서 오는 것으로 벤치 마크 점수를 높이는 것입니다. 벤치마킹 애플리케이션은 SoC가 광고 된 속도로 실제로 성능을 발휘하는 유일한 사용 사례입니다. 한편 다른 모든 실제 응용 프로그램은 하드웨어의 열 제한으로 인해 해당 상태보다 상당히 낮은 수준으로 제한됩니다. 사용자가 실제로 경험하는 것과 비교할 때 완전히 학문적이지만, 제한없는 성능으로 우리가 보게되는 것은 아마도 제약없는 SoC의 '진정한'형태 일 것입니다. '
그들의 그래프는 화웨이의 최신 휴대폰이 이미 실제 성능 상태에서 3.5-4.4W에 도달 한 반면 3.5W TDP는 유지할 수있는 최대 양임을 보여줍니다. 반면에 공개적으로 사용 가능한 벤치 마크를 수행 할 때 전화는 TDP로 과도하게 구동되며 전력 수치는 6W 이상이고 최고점은 8.5W입니다. AnandTech에서 언급했듯이 이러한 수치는 장치에서 과열 알림을 신속하게 트리거하여 열 제한과 소프트웨어 기대치의 불일치를 나타냅니다.
이 상황에서 가져올 수있는 것은 실제 성능 수치가 휴대 전화의 온도에 따라 달라지기 때문에 안정적이지 않다는 것입니다. Huawei는 GPU가 최대 GPU 주파수 상태에 도달하는 것을 차단하지 않습니다. 기본 동작은 실제로 '매우 낮은 SoC 온도 수준과 전체 전력 소비를 유지하려는 가혹한 열 조절 메커니즘 […]'입니다.
스마트 폰의 일반 모드는 GPU 벤치 마크 동안 조절되지 않은 변형에서 게시 한 것과 동일한 최대 전력 소비 수치에 도달 할 수 있습니다. 그러나 이러한 숫자는 빠르게 크게 떨어지고 AnandTech는 전화가 일부 경우 2.2W로 감소하여 성능을 크게 저하시키는 효과가 있다고 지적합니다.
간행물에 따르면 벤치 마크 부정 행위는 올해 기기에서만 도입 된 것으로 보입니다. Huawei Mate 9 및 Huawei P10과 같은 휴대폰은 영향을받지 않으며 EMUI 8.0 이상 장치 만 영향을받는 것으로 보입니다. AnandTech는 또한 이것이“순수한 소프트웨어 구현”이라고 화웨이로부터 들었고, 이는 출판물의 발견을 확증했습니다.
AnandTech는 영향을받은 Kirin 970 기반 휴대폰의 GPU 성능 실제 수치를 게시했으며 결론은 Huawei가 GPU 성능과 효율성면에서 경쟁사보다 훨씬 뒤처짐 .
이 간행물은 또한 Kirin 970 및 Kirin 960 기반 Huawei 장치의 전력 비교 그래프를 게시했습니다. 그래프는 Huawei의 전력 조절 조정이 더 높은 전력 소비 문제를 완화하기 때문에 실제로 사용자 경험에 더 좋다는 것을 보여줍니다. AnandTech의 Kirin 960 테스트에 따르면 Kirin 960 기반 장치에는 전력 소비와 온도를 낮추기위한 새로운 엄격한 제한 메커니즘이 있습니다.
AnandTech는 또한 Kirin 960과 Kirin 970이 각각의 폼 팩터에 대해 지속 가능한 수준보다 훨씬 높은 전력 소비량을 보여준다는 사실을 고려할 때 새로운 제한 정책이 합리적이라고 언급했습니다.
Huawei가 새로운 제한 메커니즘을 도입하여 반드시 잘못한 것은 아니지만 화이트리스트를 통해 인기있는 벤치 마크 애플리케이션을 제외함으로써 부정 행위 임계 값을 넘어 섰습니다.이 경우이를 벤치 마크 부정 행위라고합니다.
PCMark와 3DMark의 배후 회사 인 Futuremark를 인수 한 UL은 3DMark에서 Huawei P20, Huawei P20 Pro, Huawei Nova 3 및 Honor Play를 상장 폐지했습니다.
이 회사는 Huawei P20 Pro, Huawei Nova 3 및 Honor Play에서 벤치 마크 부정 행위를 확인했습니다. AnandTech의 테스트 및보고를 기반으로 표준 Huawei P20도 삭제했습니다. 회사가 속임수 벤치 마크 점수를 호스팅하는 것을 원하지 않기 때문에 사용자는 영향을받은 휴대폰의 벤치 마크 결과를 더 이상 볼 수 없습니다.
이 회사는 테스트가 동일하다는 사실에도 불구하고 공개 3DMark 앱의 점수가 비공개 앱의 점수 (일반인에게 제공되지 않음)보다 최대 47 % 더 높다는 것을 발견했습니다.
발표에서 UL은 향후 화웨이가보다 투명한 접근 방식을 채택하는 것을 보게되어 기쁘다 고 덧붙였습니다. UL의 견해는 사용자가 설정할 수있는 선택적 성능 모드가 기본적으로 비활성화되어있는 한 현재 규칙에 따라 허용된다는 것입니다. 회사는 다음과 같이 말합니다. '장치는 마치 다른 애플리케이션 인 것처럼 벤치 마크를 실행해야합니다.'
결론적으로 공개적으로 사용 가능한 벤치 마크를 사용하여 취한 모든 Huawei GPU 성능 벤치 마크를 실제 성능을 나타내는 것으로 간주해서는 안됩니다.
Huawei는 UL에 연락하여 벤치 마크 테스트를위한 모범 사례를 논의하고 다음과 같은 성명을 발표했습니다.
“Huawei와 UL (3DMark 제작자)은 이번 주 벤치마킹 관행에 대한 포괄적 인 토론을 개최했으며 협력의 다음 단계에 대해 긍정적 인 동의를 얻었습니다.
논의에서 화웨이는 스마트 폰이 인공 지능 자원 스케줄링 메커니즘을 사용한다고 설명했습니다. 시나리오마다 리소스 요구 사항이 다르기 때문에 최신 Huawei 핸드셋은 인공 지능과 같은 혁신적인 기술을 활용하여 리소스 할당을 최적화하여 하드웨어가 모든 시나리오에서 사용자 요구 사항을 충족하면서 최대한의 기능을 발휘할 수 있도록합니다.
UL은 Huawei의 접근 방식의 의도를 이해하고 있지만 장치에서 벤치마킹 애플리케이션이 감지 될 때 기본적으로 '성능 모드'를 사용하도록 강요하는 것과 반대됩니다. UL 규칙은 장치가 다른 애플리케이션처럼 벤치 마크를 실행하도록 요구합니다.
Huawei는 기기로 무엇을 할 것인지 선택할 수있는 소비자의 권리를 존중합니다. 따라서 Huawei는 사용자에게 EMUI 9.0의 '성능 모드'에 대한 개방형 액세스를 제공하여 사용자가 장치의 최대 전력을 사용할시기를 선택할 수 있도록합니다.
화웨이와 UL은 또한 현재의 일반적인 벤치 마크 테스트 방법론에 대해서도 논의했습니다. UL과 Huawei는 제조업체, 언론 및 소비자의 요구에 가장 적합한 벤치마킹 표준을 개발하기위한 업계 운동에 참여하고자합니다.
현재 벤치마킹 결과에 대한 혼동을 방지하기 위해 UL과 Huawei는 논의 후 다양한 Huawei 장치의 벤치 마크 점수를 일시적으로 삭제했으며 Huawei가 모든 Huawei 핸드셋 사용자에게 성능 모드에 대한 액세스 권한을 부여한 후이를 복원 할 것입니다.”
태그 화웨이
