Compass est une fonctionnalité très efficace pour vous aider à identifier les comportements prédictifs de la rétention ou de la conversion. Elle identifie les métriques d’inflexion (celles qui capturent les moments où un utilisateur a atteint un seuil critique dans votre produit) qui contribuent à stimuler l’augmentation des utilisateurs.
Par exemple, Facebook a découvert très tôt que l’ajout de sept amis au cours des dix premiers jours de présence sur sa plateforme était le plus fort signal de rétention à long terme. Plus récemment, Netflix a publié une analyse sur le nombre exact d’épisodes de chaque série qu’il est nécessaire de visionner pour devenir passionné(e) par celles-ci.
Avant de poursuivre, nous vous conseillons de lire d’abord la documentation du centre d’aide relative à Compass. Le reste de cet article part du principe que vous avez une compréhension générale du fonctionnement de l’analyse1.
Pour en faciliter la lecture, nous employons un cas d’utilisation relatif aux utilisateurs fidélisés/nouveaux utilisateurs, mais vous pouvez remplacer les nouveaux utilisateurs par n’importe quelle cohorte de base, et les utilisateurs fidélisés par n’importe quelle cohorte cible.
Pour trouver une métrique d’inflexion, vous devez d’abord déterminer quelle est votre cohorte cible. Souvent, la métrique d’inflexion est centrée sur le processus visant à encourager les nouveaux utilisateurs à devenir des utilisateurs fidélisés. Dans les exemples utilisés dans cet article, la cohorte de base correspond aux nouveaux utilisateurs et la cohorte cible aux utilisateurs fidélisés2.
Une cohorte de base est un ensemble initial d’utilisateurs que vous analysez (par exemple, les nouveaux utilisateurs ou les utilisateurs connectés). Une cohorte cible est un ensemble d’utilisateurs qui ont effectué avec succès une action ciblée (par exemple, la rétention ou la conversion).
Il s’agit d’un cas d’utilisation courant et c’est la configuration par défaut des graphiques Compass. Cependant, vous pouvez facilement modifier votre graphique afin qu’il corresponde à vos besoins spécifiques dans le cadre de l’analyse que vous souhaitez mener.
Lorsque vous recherchez une métrique d’inflexion, gardez à l’esprit que celle-ci n’est pas absolue. Elle ne signifie pas qu’un utilisateur effectuera une conversion forcément à ce stade ; elle suggère plutôt le type de comportement que vous souhaitez que votre organisation (par exemple, l’équipe produit et marketing) encourage chez vos utilisateurs.
Premiers pas avec Compass
Le meilleur moyen de commencer à utiliser Compass est de vous demander quels événements pourraient être de bons prédicteurs de rétention. Une fois que vous avez sélectionné un événement à analyser, vous devez commencer à réfléchir aux corrélations susceptibles de révéler des caractéristiques intéressantes sur le comportement des utilisateurs. Cependant, avant d’aborder ce point, découvrons comment interpréter les métriques de Compass.
Proportion au-dessus du seuil
La proportion au-dessus du seuil vous indique combien de nouveaux utilisateurs ont déclenché l’événement au cours de leur N premiers jours. Cette métrique est importante, car il doit y avoir un échantillon suffisamment vaste d’utilisateurs atteignant le seuil pour que Compass comprenne dans quelle mesure il est corrélé à la rétention.
Une des manières de modifier la proportion consiste à augmenter le nombre de jours d’exécution de la fenêtre (Amplitude autorise entre un et sept jours). Cette augmentation donne aux utilisateurs plus de temps pour atteindre le seuil, ce qui permet ainsi une hausse de la proportion. En outre, si vous étudiez une propriété d’événement, envisagez d’examiner l’événement dans sa globalité, car il est susceptible de présenter une proportion au-dessus du seuil suffisamment élevée.
Notez qu’il n’existe pas de proportion au-dessus du seuil qui soit idéale. Si celle-ci est trop faible, il est peu probable que vous puissiez amener de nouveaux utilisateurs à déclencher cet événement le nombre de fois voulu ; si elle est trop élevée, vous n’avez alors aucune marge d’amélioration. 3
Il existe des cas extrêmes où une faible proportion au-dessus du seuil peut tout de même entraîner une corrélation élevée. Par exemple, cela peut arriver si une application Web a un trafic élevé, mais qu’elle force la connexion de tous les nouveaux utilisateurs.
Cette métrique est importante, car elle représente le fait que la recherche de votre métrique d’inflexion est un processus subtil. Si nous revenons à l’exemple de Facebook, le fait qu’un nouvel utilisateur ajoute un ami n’est pas un bon choix de métrique d’inflexion, car presque tous les utilisateurs le font. Cependant, il est n’est pas non plus réaliste de choisir comme métrique le fait qu’un nouvel utilisateur ajoute 100 amis, car bien qu’un tel comportement soit fortement corrélé à la rétention, un très faible pourcentage d’utilisateurs atteint un tel niveau.
Ratios de vrais positifs : VPP et sensibilité
Si vous avez une proportion au-dessus du seuil raisonnable, vous souhaiterez ensuite analyser la corrélation entre l’atteinte de la fréquence de l’événement et la rétention. Pour ce faire, vous devez observer la valeur prédictive positive (VPP) et la sensibilité.
La VPP examine le ratio d’utilisateurs qui ont atteint la fréquence de l’événement et qui ont été fidélisés (soit les vrais positifs) par rapport à tous les utilisateurs qui ont atteint la fréquence de l’événement (vrais positifs + faux positifs). La sensibilité examine le ratio entre les utilisateurs qui ont été fidélisés et qui ont atteint la fréquence de l’événement (vrais positifs) et tous les utilisateurs fidélisés (vrais positifs + faux négatifs). Il est souhaitable que ces deux valeurs soient élevées.
Cliquez ici pour obtenir davantage d’informations sur les vrais positifs, les faux positifs et les autres valeurs figurant dans les tableaux de contingence.
| Fréquence de l’événement | Fidélisé | Non fidélisé |
|---|---|---|
| = n fois | Vrai positif | Faux positif |
| < n fois | Faux négatif | Vrai négatif |
Exemple 1 : VPP élevée, sensibilité faible
Par exemple, imaginez que la VPP soit élevée, mais que la sensibilité soit faible. Cela signifie que cet événement est un prédicteur de la rétention, mais que peu de nouveaux utilisateurs atteignent le seuil. Cet événement constitue donc un candidat prometteur pour réaliser des expériences, afin de voir si vous pouvez inciter davantage d’utilisateurs à le déclencher. Cela signifie également qu’il peut y avoir une autre métrique d’inflexion que vous n’avez pas encore examinée ; un autre aspect est probablement corrélé à la rétention, puisque des personnes qui n’atteignent pas cette fréquence sont tout de même fidélisées.
| Fréquence de l’événement | Fidélisé | Non fidélisé |
|---|---|---|
| = 5 fois |
10 |
1 |
| < 5 fois | 100 | 10 |
Exemple 2 : VPP faible, sensibilité élevée
Dans cet exemple, la fréquence de l’événement est associée à un grand nombre d’utilisateurs fidélisés, mais la rétention globale relative au produit est probablement faible. Il ne s’agit pas d’un bon candidat pour une métrique d’inflexion, car soit la rétention relative au produit est faible, soit un pourcentage élevé d’utilisateurs atteignant la fréquence de l’événement ne sont pas fidélisés.
| Fréquence de l’événement | Fidélisé | Non fidélisé |
|---|---|---|
| = 5 fois | 10 | 100 |
| < 5 fois | 1 | 10 |
Ratios de vrais négatifs : VPN et spécificité
Bien que le moment d’inflexion doit être un prédicteur positif, vous devez également vous assurer que lorsqu’un utilisateur échoue à atteindre le seuil, cela constituera un prédicteur négatif de la rétention (en d’autres termes, cela indique la perte de clients). Cette réalité est capturée par le biais de la valeur prédictive négative (VPN) et de la spécificité.
La VPN examine le ratio d’utilisateurs qui, à la fois, n’ont pas atteint la fréquence de l’événement et n’ont pas été fidélisés (vrais négatifs) par rapport à tous les utilisateurs qui n’ont pas atteint la fréquence de l’événement (vrais négatifs + faux négatifs).
La spécificité examine le ratio d’utilisateurs qui, à la fois, n’ont pas atteint la fréquence de l’événement et n’ont pas été fidélisés (vrais négatifs) par rapport à tous les utilisateurs qui n’ont pas été fidélisés (vrais négatifs + faux positifs). Comme dans les exemples ci-dessus, il est souhaitable de maximiser ces deux valeurs.
CONSEIL : il existe cependant un cas particulier où une VPN élevée et une spécificité élevée peuvent conduire à une forte corrélation qui ne convient pas pour une utilisation comme métrique d’inflexion. Cela se produit lorsqu’une très forte proportion d’utilisateurs se trouve dans la classe des vrais négatifs et que la proportion au-dessus du seuil est très faible, par exemple, dans le cas d’un site Web sur lequel une très petite proportion d’utilisateurs se connecte, mais où lorsque cette connexion a lieu, cela empêche tous les autres événements de se produire. Dans cette situation, la plupart des événements auront une forte corrélation avec la rétention, car la plupart des utilisateurs ne déclencheront aucun événement. Pour éviter cela, modifiez la cohorte de base pour qu’elle soit davantage représentative d’un utilisateur réel (par exemple, quelqu’un qui se connecte).
Exemple 3 : VPN élevée, spécificité faible
Dans cet exemple, il est probable qu’un des deux phénomènes suivants se produise. Soit la VPP est également faible (comme dans l’exemple 2), soit la proportion au-dessus du seuil est si élevée qu’elle empêche qu’il y ait une quelconque amélioration en encourageant la réalisation de cette action. Dans les deux cas, elles ne constituent pas de bonnes métriques d’inflexion.
| Fréquence de l’événement | Fidélisé | Non fidélisé |
|---|---|---|
| = 5 fois | 1000 | 100 |
| < 5 fois | 1 | 10 |
Exemple 4 : VPN faible, spécificité élevée
Ici, soit la sensibilité est également faible (comme dans l’exemple 1), soit la rétention est si élevée qu’il ne reste pas beaucoup d’utilisateurs à convertir : cette situation est tout sauf un problème !
| Fréquence de l’événement | Fidélisé | Non fidélisé |
|---|---|---|
| = 5 fois | 1000 | 1 |
| < 5 fois | 100 | 10 |
Conclusion
Comme vous l’avez peut-être déjà deviné, nous exécutons pour l’essentiel l’analyse Compass afin d’essayer de découvrir les fréquences d’événements qui maximisent les quadrants supérieur gauche (vrai positif) et inférieur droit (vrai négatif) du tableau de contingence (ou, si vous êtes familier avec les statistiques, minimisent les erreurs de type I et de type II).
Ces métriques d’inflexion ont tendance à équilibrer les cinq statistiques détaillées que nous avons décrites pour parvenir à ce résultat, et selon le type de produit, une bonne corrélation sera de l’ordre de 0,2 à 0,4 selon le nombre de jours d’exécution (1 à 7) de l’événement5.
Il est également important de vérifier que la taille de l’échantillon est suffisante pour tirer des conclusions. Il n’existe pas de taille idéale, car elle dépend de votre volume d’utilisateurs global, mais vous pouvez voir l’effet de la taille de l’échantillon en cliquant sur le nombre +- en bleu (l’intervalle de confiance à 95 %) à côté de la corrélation. La taille de l’échantillon peut être augmentée en modifiant la plage de dates : vous pouvez utiliser jusqu’à 90 jours de données.
Vous devez comprendre que Compass met à jour des corrélations à partir de vos données : vous obtenez ainsi des hypothèses que vous pouvez ensuite tester en apportant des modifications à votre produit et/ou au marketing du cycle de vie. La seule façon de prouver une relation de cause à effet est d’exécuter un test A/B ou fractionné pour isoler ces changements. Lisez cet article pour en savoir plus sur la façon dont vous pouvez analyser les résultats des tests A/B dans Amplitude.