Aujourd’hui, je vais parler A/B Testing (ou Split Testing). Que peut-il vous apporter ? Tout simplement améliorer votre application et donc augmenter le nombre d’utilisateurs.


Mais en quoi consiste le A/B Testing ? Il consiste à montrer à différents types d’utilisateurs au moins deux implémentations différentes. Cela permet de répondre à deux problématiques fréquentes :

  • S'assurer que le nouveau design de l'application fonctionne mieux que l'ancien.
  • Identifier la solution optimale à un problème.

Concrètement, cela signifie que vous développez une nouvelle fonctionnalité en deux variantes, la variante A et la variante B. Par exemple 10% de vos utilisateurs voient la nouvelle fonctionnalité, 5% voient la variante A, et 5% la variante B. Vous pouvez par exemple proposer deux couleurs de bouton différentes, ou deux textes différents, pour voir lesquels vont déclencher le plus de clics. Vous pourrez ainsi choisir la variante de la fonctionnalité la plus populaire des deux avant d’en faire profiter les 90% restants de vos utilisateurs.

Cela suppose bien sûr que les utilisateurs de la variante A et de la variante B ne doivent pas être issus de segments différents, ils doivent être similaires. C’est là que la connaissance de vos utilisateurs via les métriques devient très importante.

Pour que les résultats soient exploitables, il y a plusieurs prérequis. Le premier est qu’il est nécessaire que la différence soit légère, subtile, comme un changement de couleur ou de texte, comme indiqué précédemment. Si la différence est trop importante, vous ne pourrez pas identifier le changement qui a un impact sur le comportement de vos utilisateurs.

Le second est que le contexte soit le même : mêmes jours de la semaine, en dehors des vacances, …

Ne tombez pas non plus dans le piège de tester une variante de plusieurs expérimentations puis de les combiner ensemble sans vous assurer de leur cohérence. Ces deux expérimentations peuvent conduire à sélectionner deux variantes qui sont très bien perçues mais qui, une fois combinées, ne sont plus cohérentes et finissent par avoir un effet négatif.

 

Vous comprenez maintenant bien le concept. Mais pour passer de la théorie à la pratique, il faut des outils. Côté Web, il n'y a pas de difficulté technique majeure. Vous pouvez soit fournir deux URLs différents à vos utilisateurs, soit utiliser un outil de Google, Analytics Content Experiments (https://developers.google.com/analytics/solutions/experiments-feature-reference), qui fait partie d'Analytics. Si vous souhaitez implémenter votre propre solution de A/B Testing, ce n'est pas très compliqué. Pour créer des groupes d'utilisateurs qui verront une variante précise du site Web, vous pouvez utiliser une formule de modulo sur le hash de l'adresse IP de l'internaute. En fonction de ce résultat, vous l'attribuez à une variante. Vous conservez alors un identifiant de cette variante dans un cookie du navigateur. Lors des visites ultérieures, vous pourrez alors récupérer ce cookie pour afficher la bonne variante. Si aucun cookie n'est présent, cela signifie que c'est un nouveau visiteur. Bien sûr la faille de ce système est si l'internaute change d'adresse IP ou s'il n'autorise pas les cookies, mais ces situations ne représentent qu'un petit pourcentage des cas.

 

Mais côté mobile, c’est plus compliqué. Les deux principaux outils sont Firebase et Fabric.

Firebase propose de nombreux services, dont Analytics, qui permet de récupérer des données analytiques comme son nom l’indique, et Remote Configurations, qui permet de modifier l’apparence de votre application à distance.

Fabric propose plusieurs services, dont Optimizely, qui permet d’intégrer l’A/B Testing dans votre application iOS et Android.

Après une certaine période d’A/B Testing, vous pourrez comparer le taux de conversion de chaque variante et choisir celui pour lequel ce taux est le plus élevé. CQFD. La limite de l'exercice est que vous faites de petits pas d'amélioration, que certaines expérimentations auront un effet négatif sur les utilisateurs (ce qui est un enseignement très important). Gardez bien à l'esprit que parfois, pour que votre application soit beaucoup plus efficace auprès de vos utilisateurs, une nouvelle reconception radicale sera nécessaire.


Voilà, maintenant, vous saurez comment faire des choix de fonctionnalité pour que votre application ait le plus grand nombre d'utilisateurs.

 

 

 


Pensées pour mieux produire

Soyez prévenu dès que mon livre "Pensées pour mieux produire" sera disponible à la vente !

DevOps, Agile, Scrum, Kanban, XP, SAFe, LeSS, Lean Startup, Lean UX, Design Thinking, Craftmanship, Management 3.0, ...

 

Bruno Delb

Agile Coach and DevOps, with an experience in the Medical Device software domain, Management 3.0, Agile games and development (especially on mobile) are my passion.

Search

Ads