Crowdtesting

Qu'est-ce que le crowdtesting ?

Le crowdsourcing (ou crowdsourced testing), est une pratique qui exploite l'efficacité et les avantages du crowdsourcing pour les tests logiciels. Les logiciels tels que les applications mobiles, SaaS, les applications de bureau natives ou les sites Web à différents stades de développement, sont distribués à un grand nombre de personnes. Les membres de ce groupe, les crowd tester, utilisent le logiciel sur leur propre ordinateur ou téléphone portable pour l'inspecter à la recherche de défauts et d'améliorations possibles. Au test IO, ces testeurs n'ont pas besoin de scripts spécifiques ; on leur demande généralement d'évaluer des sections ou des fonctionnalités spécifiques de l'application, en utilisant leur expérience et leur meilleur jugement pour déterrer et identifier les problèmes.

Les rapports des testeurs sont renvoyés à l'équipe en charge d’un logiciel par exemple. Les équipes de produits, de développement et d'assurance qualité peuvent utiliser les utilisateurs pour des tests de régression, des tests de fonctionnalités, des tests d'utilisabilité, des tests d'acceptation par les utilisateurs, des tests croisés entre navigateurs, des tests de santé de routine, et plus encore. Le pouvoir du crowdtesting vient de la possibilité de puiser dans de vastes pools de testeurs, comprenant des personnes ayant des compétences, des inclinations, une expérience et des dispositifs différents. Les tests combinent donc des testeurs humains avec une large couverture matérielle à l'échelle. L'exploitation de l'intelligence humaine au sein de groupes permet aux équipes de développement, qui évoluent rapidement, de disposer de test de leurs produits en situation réelle qui n'auraient pas été possibles il y a quelques années.

A quoi sert le crowdtesting ?

Le Crowdtesting permet également aux entreprises d'essayer leurs produits sur des testeurs similaires à leurs clients cibles. Avec un nombre suffisant de testeurs potentiels, il est possible de mettre en place un test avec des personnes qui suivent de près ces caractéristiques, qu'il s'agisse de l'âge, du pays d'origine ou d'une autre caractéristique. En assemblant des crowdtesteurs qui sont, par exemple, des utilisateurs avancés de Facebook, des usagers ou des joueurs vidéo enthousiastes, une équipe produit peut tester sur un groupe comme leurs clients sans réellement tester sur leurs clients. Avec une main d'œuvre mondiale de test, une entreprise néo-zélandaise peut voir si l'application qu'elle a développée fonctionne également au Chili, au Japon ou en Italie. En faisant appel à des testeurs internationaux et non professionnels, pendant la phase de prototypage, les chercheurs peuvent éviter de reproduire leurs propres préjugés dans leurs études.

Diversité du matériel et de l'environnement

 En plus du large éventail de personnes, le crowdtesting signifie également que les logiciels peuvent être testés sur une grande variété d'appareils dans de nombreux environnements réels différents. Plus il y a de testeurs, plus les appareils qu'ils utilisent pour exécuter votre logiciel seront diversifiés. Cela inclut les variations du facteur de forme, du matériel et des systèmes d'exploitation. Même différentes versions d'un même système d'exploitation présentent certains des plus grands défis de développement - Android en est un excellent exemple.

Les testeurs ne se contentent pas de suivre les scripts comme le ferait un test automatisé ; ils utilisent leur discrétion et leurs connaissances accumulées pour découvrir les défauts fonctionnels et d'expérience utilisateur des produits et des plateformes. Les testeurs utilisent leurs appareils comme le font les utilisateurs réels, avec des paramètres de confidentialité, des bloqueurs publicitaires et des paramètres locaux configurés pour fournir des scénarios réalistes impossibles à réaliser en laboratoire. Avec des douzaines ou des centaines de testeurs, il s'agit de tests exploratoires humains dans des conditions réelles très variées, à une échelle et une efficacité sans précédent.

Efficacité et évolutivité

Les tests à l'échelle sur une multitude de combinaisons matérielles et logicielles ne doivent pas être limités aux grandes sociétés de logiciels grand public qui testent le nouveau code directement sur leurs clients. Les tests de cohabitation permettent aux petites entreprises de logiciels ou aux entreprises qui ne sont pas en contact direct avec les consommateurs de tester leurs logiciels à l'échelle réelle dans des conditions réelles. Cela signifie qu'ils sont mieux préparés et qu'ils ont moins de soucis à se faire lorsqu'ils sortent sur un large public. 

Le crowdtesting ajoute à la fois de la flexibilité et des ressources de test supplémentaires lorsque les équipes logicielles en ont le plus besoin. La mise en place de crowdtests réguliers signifie que l'AQ peut suivre le cycle de développement continu. Lorsqu'une grande étape approche, les essais n'ont pas à être laissés de côté ou poussés jusqu'au bout. Crowdtesting est disponible à la demande et ne redirige pas les ressources de développement. Juste avant la sortie d'une grande version, le crowdtesting est flexible, de sorte que l'on peut obtenir des dizaines ou des centaines de testeurs pour un cycle de test final sans avoir à retirer les ingénieurs du développement.

L'exécution de tests en parallèle est un autre avantage de l'efficacité des tests d'encombrement. Au lieu d'avoir un ou deux testeurs qui parcourent les scénarios et les nouvelles fonctionnalités d'un logiciel sur un seul appareil, plusieurs testeurs utilisateurs sur différents matériels et logiciels peuvent tester tous les scénarios en même temps. Cela vous permet d'obtenir des résultats plus rapidement et aide à identifier les problèmes dans certaines versions de builds ou de matériel. 

Enfin, le crowdtesting au test IO simplifie le flux de travail de l'équipe d'assurance qualité et allège le fardeau des tests. Lorsque l'on réalise un test il ne faut pas travailler sans scénario de test détaillé : expliquez ce que vous voulez dans un langage simple. Les testeurs comprendront sans avoir besoin de scripts étape par étape. Même si un problème survient qui empêcherait un test automatisé, les humains sont robustes. Les testeurs peuvent reconnaître les erreurs ou les malentendus et continuer à les tester au contraire des testeurs automatisés.

Les 8 tenants du crowdtesting :

• Flexible. Les tests d'audience sont d'une souplesse infinie. Avec une bonne plateforme, les utilisateurs ont accès à un large panel de participants mondiaux. Ces testeurs représentent souvent un échantillon riche et diversifié de la société, allant des testeurs professionnels ayant des dizaines d'années d'expérience aux étudiants en informatique. Bien sûr, cette section peut aussi inclure des non-professionnels qui vont des parents au foyer aux personnes sous-employées qui cherchent à gagner un peu plus d'argent. C'est là qu'il est important de choisir la bonne plateforme de test d'audience. Ils fourniront un degré de contrôle de la qualité pour assurer des résultats précis et professionnels.
• Certaines personnes veulent juste de la main d'œuvre peu coûteuse pour tester leur application à bas prix. En franchissant les frontières géographiques, vous pouvez souvent atteindre une rentabilité spectaculaire. Il n'est pas nécessaire qu'il s'agisse d'une délocalisation... parfois, il peut s'agir d'une délocalisation locale. Par exemple, nous sommes basés à San Francisco. Le coût de la main d'œuvre ici dans la région de la Baie est très élevé. Mais quelques heures seulement au Nord, au Sud ou à l'Est, le coût de la vie baisse et le travail salarié peut être beaucoup plus abordable.
• Rapide. Parce qu'il y a souvent beaucoup de testeurs, le test est parallélisé, ce qui signifie qu'il est effectué beaucoup plus rapidement que si une petite équipe ou un individu était testé. Cela signifie que si un cycle d'essais durait plusieurs jours ou une semaine, il peut souvent être complété en quelques heures par une campagne de tests d'affluence bien ciblée.
• Variable. Par définition, un panel comprend une variété d'individus. Une fois de plus, une plateforme de test de qualité vous aidera à gérer ou à garantir cette diversité. Dans un scénario de test, il est souvent valorisé d'avoir des configurations de périphériques, des versions d'OS ou des conditions réseau différentes. Avec le crowdtesting, vous obtenez tout cela gratuitement pendant que vous êtes dans un laboratoire, vous devez payer pour chaque variation que vous voulez. Le revers de la médaille, c'est que vous voulez tester le même scénario ou la même configuration, mais votre plateforme de crowdtesting devrait également vous permettre d'y parvenir.
• Le monde réel. Il y a deux camps de pensée ici. L'un d'eux est de croire que les environnements de test virtualisés sont suffisants pour émuler des scénarios réels. L'autre camp croit que rien ne vaut des scénarios du monde réel pour vraiment comprendre comment une application va fonctionner dans la nature. Le crowdtesting est un moyen efficace d'obtenir des bottes sur le terrain pour tester votre application dans le monde réel.
• Objectif. Il y a un vieux dicton qui dit : "Ne testez jamais votre propre logiciel." Et c'est un sage conseil. Les personnes qui écrivent le logiciel ont certaines attentes quant à la façon dont il devrait être utilisé, et ils testent ces flux. Cela crée une sorte de "cécité" des tests où les développeurs sont trop proches du projet pour l'exercer pleinement. Le crowdtesting peut résoudre cela facilement avec des ressources externes testant une application ou un site Web d'une manière que les créateurs n'ont jamais imaginé. Il s'agit d'un outil puissant pour étendre l'efficacité des tests de vos équipes existantes.
• Numérique. Cela pourrait ouvrir un débat, mais par souci de simplicité, on peut dire les tests d'encombrement s'appliquent aux produits numériques. Bien sûr, vous pourriez essayer d'utiliser un large panel pour tester des produits physiques, mais le nombre de produits testés nécessite moins de monde. C'est une question de volume, et tester 50 produits est probablement plus une affaire d'équipe qu'une affaire de panels.
• Semi-secret. C'est une mauvaise chose ou une bonne chose ? Cela dépend. Si vous êtes Electronic Arts et que vous développez un jeu top-secret que les médias ne peuvent absolument pas connaître, alors le crowdtesting n'est pas une bonne option. La règle générale est que les testeurs ne doivent pas partager les informations sur son expérience car cela trahirait la confiance et le fait d'avoir accès à de nouveaux tests et de gagner de l'argent. Mais l'application idéale pour utiliser les tests d'encombrement pourrait être divulguée à la presse et il n'y aurait aucun dommage. Soyez donc prudent lorsque vous décidez si c'est ce qui vous convient. Maintenant que j'ai exposé les principes de base du crowdtesting, parlons de la façon dont il peut être utilisé, et de certaines de ses lacunes.

Des utilisations idéales pour les tests UI :

Le choix de testeurs est un choix important pour tester la fonctionnalité d'un produit numérique parce qu'elle peut rapidement tester des utilisations communes et peu communes. Nous appelons cela "découvrir vos angles morts" être un test objectif exercera votre application d'une manière que vous n'auriez jamais imaginé.

Tests UI et UX. Les concepteurs et l'équipe UX créeront le style visuel, la mise en page et les designs pour votre application. Les développeurs feront de leur mieux pour interpréter ces conceptions, mais qui s'assure que ces conceptions sont correctes ? Comment ces conceptions se traduisent-elles à travers les types d'appareils et les tailles d'écran ? Utilisez des testeurs.

• Test d'utilisabilité. Voulez-vous savoir comment les gens utilisent votre application ou ce qu'ils en pensent ? Utilisez les testeurs pour tester l'utilisabilité de votre application, identifier les défis ou les angles morts. Vous pouvez le faire avec des applications pré-lancement ou pour des applications qui sont déjà en ligne. Il n'est jamais trop tard pour tester et améliorer votre ergonomie.
• Exécution de scripts de test. Bien que les outils d'automatisation comme Selenium soient puissants, il y a un coût associé à l'écriture et à la maintenance de ces scripts. Quand un panel de personnes exécutent les scripts, les scripts eux-mêmes n'ont pas besoin d'être aussi compliqués ou cassants que lorsqu'une machine les interprète.
• Test de charge. Il existe des outils logiciels qui simulent la charge, mais rien ne vaut des douzaines, des centaines ou des milliers de testeurs qui utilisent une application de manière organique provenant du monde entier. Coordonner cet effort par vous-même est intimidant, mais avec la bonne plateforme, cela devrait être facile.
• Essais de sécurité. Les cyber menaces ne font qu'augmenter et sont importantes pour assurer la sécurité de vos produits numériques. Les experts en sécurité disposent de nombreux outils pour analyser et surveiller leurs systèmes. Un autre outil puissant à leur disposition est le crowdtesting de sécurité. Un panel de testeurs de sécurité professionnels peuvent offrir une dernière ligne d'analyse à des tarifs raisonnables.