Nos protocoles de tests: les nouveautés

Chez DXOMARK, nous mettons régulièrement à jour nos protocoles, plaçant constamment les tendances de consommation et les technologies émergentes au premier plan de nos évaluations scientifiques.

Afin de continuer à proposer des protocoles de tests pertinents et au goût du jour, DXOMARK est à l’écoute du consommateur, grâce à des études qualitatives et quantitatives, permettant de cerner les évolutions des usages, les attentes ainsi que les points sensibles des utilisateurs. Au-delà de la prise en compte des usages et attitudes réels, DXOMARK s’attache également à incorporer dans ses protocoles de tests des mesures relatives aux technologies émergentes, même si celles-ci n’ont pas été encore massivement adoptées.

Quelques nouveautés ont été appliquées à l’ensemble de nos protocoles :

• Une transparence accrue : la structure ainsi que la formule mathématique dont chaque score DXOMARK est dérivé sont désormais accessibles dans la section Nos protocoles de tests de notre site web
• Une plus grande lisibilité : Les scores DXOMARK opèrent désormais sur la même échelle de score, afin de les rendre plus comparables entre protocoles. Par exemple, sur nos précédentes échelles, un score global de 80 aurait été considéré comme faible pour notre protocole Caméra, mais élevé pour notre protocole Audio ou Ecran. Les scores ont donc été reformatés afin qu’ils reflètent un niveau de performance similaire pour l’ensemble des protocoles de test.
• Moyennes géométriques utilisées pour tous les protocoles : Cette mesure, appliquée à l’ensemble des protocoles, permet de récompenser une performance homogène dans l’ensemble des tests du protocole et de pénaliser les produits particulièrement bons dans un domaine mais délaissant les autres.

En complément de ces nouveautés applicables à l’ensemble de nos protocoles de tests liés aux smartphones, les protocoles d’évaluation de la qualité caméra & audio intègrent quant à eux de nouvelles mesures.

Nouveautés pour notre protocole d’évaluation de la qualité caméra

Notre protocole caméra présente deux grand types de nouveautés. En premier lieu, nous proposons désormais des scores par cas d’utilisation, facilitant le choix des utilisateurs sur la base de cas d’usage spécifiques. En complément, afin de continuer à refléter les évolutions des usages des consommateurs, notre protocole de tests a été adapté. Performances en basse lumière, photos et vidéos de moments de vie, zoom ou plans rapprochés, ces éléments ont désormais un poids accru au sein de notre score global, et font l’objet de nouvelles mesures.

Scores par cas d’usage

En marge de nos scores et sous scores, les résultats de nos analyses sont également présentés sous la forme de scores par cas d’utilisation. Notre protocole couvre une large gamme de cas d’utilisation et les plus importants, correspondant aux besoins considérés comme les plus importants par les consommateurs, sont désormais reflétés sur nos pages produit ainsi que sur les résultats de tests :

• Friends & Family / Portraits:
  Selon l’étude YouGov-DXOMARK réalisée en décembre 2021, plus de 50% des photos et vidéos réalisées par les utilisateurs sont relatives à des moments de vie entre amis ou en famille.Pour ce cas d’utilisation, une bonne photo ou vidéo doit notamment proposer des tons de peau réalistes et agréables, un niveau de détails élevé ou encore un contraste naturel. Par ailleurs, l’appareil photo doit capturer l’instant avec précision, tout en figeant le mouvement. Ce score est calculé à partir de toutes les données collectées pour les tests réalisés sur la photo, la vidéo, l’aperçu et le Bokeh.
• Basse lumière :
  La capture de photos et de vidéos en basse lumière constitue un cas d’utilisation particulièrement difficile et la plupart des utilisateurs ne sont aujourd’hui pas satisfaits des photos ou des vidéos prises dans ces conditions. Selon l’étude YouGov-DXOMARK, seulement 50% des utilisateurs sont aujourd’hui satisfaits des photos et vidéos réalisées en basse lumière. Pour ce cas d’utilisation, il est attendu que les images proposent une exposition et des couleurs naturelles, ainsi qu’un bon équilibre entre niveau de bruit et niveau de détails. Cet équilibre est d’autant plus difficile à atteindre en enregistrement vidéo. La caméra doit également être capable de figer l’instant en proposant un flou de mouvement minimal.
  Pour la 5ème version du protocole, nous avons étendu et amélioré nos analyses en basse lumière. Plusieurs focus groups multiculturels ont été réalisés, afin de mieux cerner les préférences utilisateurs et de définir ce que constitue une qualité en basse lumière « acceptable ». Nous avons donc pu améliorer l’ensemble de nos mesures en laboratoire afin de prendre en compte les attentes des consommateurs. Il est également important de noter que « Night » ne constitue désormais plus un attribut du score photo mais est désormais intégré au nouveau score « Basse lumière »
• Intérieur et extérieur :
  Bien que les performances en basse lumière soient aujourd’hui particulièrement discriminantes entre les caméras des smartphones, l’ensemble des résultats de tests nouvellement créés intègreront également des scores intérieur et extérieur (Indoor and Outdoor) afin de fournir une évaluation simple et exhaustive de l’appareil photo pour toutes les conditions lumineuses.

Nouvelles mesures et extension du protocole

Extension du score Zoom

La performance en Zoom est aujourd’hui un facteur différenciant pour les smartphones des catégories Premium et Ultra Premium (prix publics supérieurs à 600€), la plupart des produits de ces catégories proposant des téléobjectifs et caméras ultra grand angle dédiés. L’utilisation du Zoom étant grandissante, il n’est pas étonnant que les fabricants s’attèlent à l’amélioration constante de l’expérience. La bonne nouvelle est que les produits plus accessibles bénéficieront sans doute dans le futur des technologies et des optimisations apportées aux produits les plus haut de gamme.

Dans notre précédente version du protocole (version 4), nous avions introduit notre score Zoom, dédié et séparé des fonctionnalités photo & vidéo. En complément des mesures objectives réalisées en laboratoire, les ingénieurs en qualité d’image de DXOMARK réalisent des évaluations perceptuelles exhaustives sur plus de 35 scènes naturelles, couvrant des cas d’usage variés : paysages naturels ou urbains, architecture, design intérieur, portraits ou nature morte. La version 5 de nos protocoles intègre les modifications et ajouts suivants :

• Nouvelle évaluation du Zoom en vidéo dans nos laboratoires : DXOMARK évalue désormais la qualité du zoom en vidéo, de l’ultra grand angle au téléobjectif.
• Basse lumière et très basse lumière : les tests sont désormais également réalisés en très basse lumière, jusqu’à 5 lux
• Test des boutons de zoom présents au sein de l’application caméra : nous testons désormais la qualité d’image fournie par les boutons de zoom présents dans l’interface de l’application caméra de chaque téléphone
• Nouvelles mesures réalisées en laboratoire : nous avons étendu le nombre de mesures de zoom réalisées dans les scènes perceptuelles. Ils incluent désormais de nouvelles mesures sur le DXOMARK Chart : exposition cible et balance des blancs, mesures de bruits et de texture basées sur l’intelligence artificielle. Les éléments suivants ont également été rajoutés : répétabilité entre les différents clichés, de nouvelles mesures de vidéos (zoom réalisé avant et pendant l’enregistrement), évaluations perceptuelles évaluant la fluidité du zoom. La fluidité du zoom est également évaluée pour deux niveaux de zoom (de l’ultra grand angle à 72mm puis jusqu’à 144mm)

Close-up

La photographie en plan rapproché d’objets et de détails qui ne sont pas visibles à l’œil humain existe depuis longtemps en tant que discipline photographique, mais jusqu’à présent, ce type de photographie nécessitait généralement des appareils à objectifs interchangeables avec des objectifs macro dédiés.

De plus en plus d’appareils photo pour smartphones proposent désormais une fonctionnalité de plans rapprochés, et le fait que cette fonction soit déjà utilisée par 7 % des utilisateurs* indique un intérêt croissant. C’est la raison pour laquelle des tests macro ont été ajoutés au protocole de test camera de DXOMARK.

Dans notre nouveau protocole, le test de plan rapproché est considéré comme un bonus au score photo. Cela signifie qu’un appareil peut obtenir un bonus s’il est doté de cette fonction, mais qu’aucun point ne sera déduit du score si le smartphone ne dispose pas de cette fonctionnalité.

Les nouveaux tests relatifs aux plans rapprochés sont les suivants :

• Numérisation de documents officiels : un premier test consiste à scanner un document officiel, tel qu’un passeport ou une carte d’identité nationale. Celui-ci est photographié de trois manières différentes pour couvrir la plupart des scénarios de numérisation. Il est d’abord photographié en taille réelle et à un niveau de grossissement élevé. L’objectif de ce test est de vérifier si l’appareil photo peut capturer suffisamment de détails, et ce, de deux façons : en approchant l’objectif de l’appareil très près du document, ou en restant à la distance d’origine en utilisant le zoom afin d’obtenir un maximum de détails.
• Trois scènes supplémentaires en plan rapproché : si l’appareil photo capture un niveau de détails suffisamment élevé dans au moins un des deux tests de numérisation indiqués ci-dessus, les ingénieurs en qualité d’image de DXOMARK réalisent 3 tests supplémentaires. Ces derniers, réalisés sur des natures mortes, évaluent l’ensemble des attributs de qualité d’image, et mettent l’accent sur la préservation des détails.  

Friends & Family / Portraits : Nouvelles mesures en conditions HDR et pour les sujets en mouvement

Les photos de moments de vie en famille ou entre amis sont réalisées dans toutes les conditions lumineuses, y compris en contre-jour, dans des situations à contraste élevé, avec parfois des sujets en mouvement. Dans cette nouvelle version du protocole caméra, nous avons étendu nos tests en conditions HDR pour incorporer de nouvelles mesures.

Par exemple :

• Portrait HDR : nos configurations de laboratoire ont été modifiées afin d’ajouter plusieurs types de mesures. Le niveau de détail des visages est désormais mesuré grâce à l’intelligence artificielle. Nous avons également rajouté des mesures objectives relatives à la plage dynamique et au contraste. Ces mesures sont complétées, comme pour les autres tests DXOMARK par des analyses perceptuelles. Ces nouveautés permettent une évaluation plus exhaustive de la qualité des textures proposées dans différentes conditions lumineuses.
• Evaluation des scènes avec mouvement : figer le mouvement dans une scène peut être particulièrement difficile pour toute caméra, quelles que soient les conditions lumineuses. Cette action est d’autant plus ardue dans les scènes à fort contrastes où des algorithmes complexes, tels que le HDR ou la détection de mouvement, entrent en jeu. Pour évaluer ce type de scènes, nous avons ajouté une mesure spécifique du flou de mouvement. Le test a été étendu à 24 conditions lumineuses différentes

Protocole Camera v5 et impacts sur le classement

La nouvelle version du protocole Caméra ne révolutionne pas le classement actuel. Camera V5 est une évolution naturelle de notre protocole précédent. Un smartphone qui aurait obtenu un bon classement dans la version 4, se retrouvera toujours bien classé dans cette nouvelle version du protocole. Néanmoins, reflétant les derniers ajouts et nouveautés, le classement a légèrement évolué, comme indiqué ci-dessous :

Dans cette section, afin de vous donner une idée précise des impacts liés à la mise en place du nouveau protocole, nous allons nous focaliser sur les résultats liés à deux produits populaires : l’iPhone 13 Pro Max et le Samsung Galaxy S22 Ultra (Snapdragon).

Apple iPhone 13 Pro Max

Plans rapprochés : la précédente génération du produit le plus haut de la gamme iPhone reste l’un des meilleurs téléphones en matière de plans rapprochés. Les performances sont très équilibrées et les images proposent un haut niveau de détails. Quelques artéfacts sont visibles mais restent acceptables.

Friends & Family / Portraits : l’iPhone 13 Pro Max reste l’un des appareils les plus performants pour ce cas d’usage. Nos nouvelles analyses, plus étendues, offrent beaucoup d’informations supplémentaires, et lors des tests menés l’iPhone 13 Pro Max s’est très bien comporté, figeant très bien la scène, contrôlant de manière adéquate les problèmes de faible contraste et offrant un bon rendu des teintes de peau dans toutes les conditions de lumière.

Basse lumière : l’iPhone n’est pas aussi performant dans ce cas d’usage, ce qui empêche le fleuron d’Apple de prendre la première place du classement.

Samsung Galaxy S22 Ultra (Snapdragon)

Plans rapprochés : Le Samsung S22 Ultra (Snapdragon) propose une bonne expérience pour ce cas d’utilisation. Les versions Exynos et Snapdragon capturent toutes deux un haut niveau de détails, proposant une expérience similaire à l’iPhone 13 Pro Max, mais offrant moins de détails.

Friends & Family / Portraits : Le score du Samsung S22 Ultra (Snapdragon) est inférieur à celui d’autres produits de la même catégorie. Nos testeurs ont mesuré un délai d’obturation plus long dans des scènes à contraste élevé et en basse lumière, empêchant les photographes de capturer l’instant avec précision.

Zoom : les nouveaux tests réalisés en basse lumière révèlent les points forts du smartphone. Cela est vrai pour l’ultra grand angle comme pour le téléobjectif. Lors de nos tests, le S22 Ultra (Snapdragon) a fait preuve d’une grande robustesse et d’une conception évolutive, ce qui lui a valu d’obtenir des points supplémentaires pour le Zoom ainsi que pour son score global.

Eléments de la qualité d’image ayant un impact majeur sur la nouvelle version du protocole

Contraste : il est important que le contraste soit bien préservé, notamment sur les portraits et les scènes en contre-jour. Les études réalisées à ce sujet montrent que ces derniers n’apprécient pas les faibles contrastes sur les photos de portraits. Avec l’évolution de la technologie HDR, le contraste prend davantage d’importance car la qualité de l’image augmente de manière globale.

Avec la version 5 du protocole de test DXOMARK caméra, nous améliorons l’évaluation du contraste, intégrant de nouvelles mesures (indicateur de contraste local) et de nouvelles directives d’analyse perceptuelle basées sur les commentaires des consommateurs. Par conséquent, les scores de certains appareils, comme les Xiaomi Mi11 Ultra et 12S Ultra ou le Huawei P50 Pro, sont légèrement impactés par des rendus à faible contraste.

Mouvement dans la scène : capturer l’instant et figer le mouvement dans la scène sont des éléments cruciaux en matière de photographie. Nos nouveaux tests montrent que certains smartphones sont clairement meilleurs que d’autres en la matière. Par exemple, le Honor Magic4 Ultimate est particulièrement performant sur ce point en environnement intérieur, alors que d’autres smartphones, comme le Huawei P50 Pro ou l’iPhone 13 Pro Max auront davantage de difficulté à proposer un haut niveau de détails sur les sujets en mouvement.

Basse lumière et atmosphère nocturne : l’exposition est un élément particulièrement important dans la photographie en basse lumière. Les résultats de nos focus groups montrent que les utilisateurs n’apprécient pas les photos en basse lumière ou de nuit surexposées, celles-ci ne transmettant pas la même atmosphère, si particulière en basse lumière. Nous avons donc mis à jour nos directives d’évaluation quant à l’exposition cible dans des conditions de très faible luminosité. Lors de nos tests, nous avons pu observer que certains appareils fournissaient une exposition cible lumineuse dans des conditions de faible et de très faible luminosité, allant à l’encontre des préférences utilisateurs. Ces smartphones, comme le Huawei P50 Pro, le Xiaomi 12S Ultra ou l’Apple iPhone 13 Pro Max, perdent quelques points avec l’implémentation du nouveau protocole.

Nouveautés pour notre protocole d’évaluation de la qualité audio

Tests et mesures

La structure générale du score audio DXOMARK reste inchangée, proposant deux sous scores : lecture et enregistrement. Toutefois, DXOMARK a rajouté deux nouveaux tests, évaluant le bruit du vent ainsi que le zoom audio, permettant d’intégrer les fonctionnalités audios les plus avancées des smartphones.

Bruit du vent

Le bruit du vent, qui peut ruiner un enregistrement audio parfait, a été identifié comme le problème le plus frustrant d’un enregistrement audio sur smartphone. De nouveaux instruments ont été installés dans notre laboratoire audio afin de mesurer l’impact du bruit du vent sur divers enregistrements audio, sous différents angles et à différentes vitesses.

Dans le score audio, les mesures liées à l’évaluation du bruit du vent peuvent occasionner un bonus ou un malus aux scores de cas d’utilisation Vidéos de moments de vie, Vidéos Selfie et Mémos. Dans les résultats de tests publiés sur le site DXOMARK, les utilisateurs pourront comparer les enregistrements de plusieurs smartphones.

Zoom audio

Le zoom audio permet aux utilisateurs d’enregistrer le son provenant d’une direction spécifique et d’atténuer les sons entrants provenant d’autres directions. Cette fonction est également contrôlée de manière dynamique, par exemple, avec le téléobjectif de l’appareil photo.

Les tests de zoom audio comprennent des mesures objectives et perceptuelles, et sont effectuées dans un laboratoire configuré pour le zoom en ultra grand angle, télézoom et super télézoom. Dans les résultats de tests, les mesures du zoom audio alimentent les mesures de directivité.

Pistes audio personnalisées pour une évaluation précise

La plupart des testeurs d’équipements audio utilisent des pistes audio spécifiques dans le cadre de leurs évaluations. Cet ensemble de morceaux créés sur mesure permettent de mettre en évidence des attributs audio, tels que la dynamique, la distorsion, l’équilibre tonal, l’extension des basses fréquences et la largeur de scène, lorsqu’ils sont écoutés sur des enceintes ou au casque. En 2020, l’équipe DXOMARK audio a commandité à plusieurs musiciens la composition de morceaux personnalisés parfaitement adaptés à nos tests d’enceintes sans fil, contenant l’ensemble des attributs sonores requis par le protocole DXOMARK audio. Les 10 pistes qui ont été composées sont désormais utilisées pour l’évaluation de l’audio des smartphones, ce qui permet de réaliser des tests particulièrement précis et complets.

Protocole Audio v2 et impacts sur le classement

Comme pour les autres protocoles, la nouvelle formule du score audio récompense les appareils aux performances équilibrées et étire l’échelle pour mieux différencier les niveaux de performance. Les appareils les plus performants en matière de zoom audio et de bruit du vent reçoivent des points bonus.

Dans le nouveau classement, le Black Shark 5 Pro reste le produit le plus performant, à tous les égards. Il est particulièrement performant dans la nouvelle évaluation liée au bruit du vent. Les appareils Asus et Google progressent dans le classement, grâce à de bonnes performances générales, tout comme l’iPhone 13 Pro Max, grâce à une excellente performance en zoom audio. Le Samsung Galaxy S22 Ultra offre quant à lui une excellente réduction du bruit du vent et gagne donc également quelques places au classement.

Mise à jour des autres protocoles de test DXOMARK

Les protocoles d’évaluation de la qualité caméra et audio font l’objet d’une mise à jour majeure, étendant leurs protocoles et intégrant de nouvelles mesures. Néanmoins, les autres protocoles, selfie, écran et batterie, font également l’objet d’ajustements et de modifications. Pour la première fois, les formules générant les scores DXOMARK sont publiquement disponibles sur notre site web, au sein de la section Nos protocoles de test, les échelles de scores sont désormais comparables et une nouvelle formule géométrique récompense une performance homogène. Mais cela ne s’arrête pas là. Chez DXOMARK, nous continuons à optimiser nos protocoles et nos méthodologies de test afin de suivre l’évolution technologique et des usages. Restez à l’affût des prochaines mises à jour.

 

*YouGov RealTime survey conducted on behalf of DXOMARK from December 17 to 23, 2021, among 2,000 people per country, representative of the national population aged 18 and over (France, Great Britain, USA), the urban population for India and the online population for China, using the quota method.