Metriken versus Erfahrung

Foto von ChocolateFrogs

Wenn Sie vor einigen Jahrzehnten ein großartiges Erlebnis aufbauen wollten, atmeten Sie tief durch, schlossen die Augen und murmelten ein Gebet zu diesem Orakel der Antworten: Ihrem Bauch.

Aber als unsere Vorfahren lernten, die Kraft des Feuers zu nutzen, lernten wir auch, die Kraft des Messens und der Analyse zu nutzen. Wir tasteten nicht länger in der Dunkelheit herum und fragten uns, ob tatsächlich jemand die E-Mails liest, die ich alle zwei Tage versende? und ich frage mich, wie viele Leute diese neue Funktion ausprobiert haben, die wir eingeführt haben. Wir tauchen einfach in unseren Zahlenschatz ein und tauchen mit der Antwort auf.

Leider bleiben trotz dieses neu gefundenen Lichts existenzielle Schatten. Ich höre sie in den Sälen des Büros diskutieren, nach Feierabend über Getränke murmeln und in GROSSBUCHSTABEN falsche Kommentarthreads eingeben:

  • Tun wir das nur für die Metriken?
  • Wie können wir es ausgleichen, Zahlen zu erhöhen und etwas Sinnvolles zu tun?
  • Und mein persönlicher Favorit: Sind Sie datengetrieben oder interessiert Sie die Benutzererfahrung wirklich?

Woah da! Geladene Worte und heiße Anschuldigungen!

Möchten Sie ein produktives Gespräch über Kennzahlen und gute Erfahrungen führen? Folgendes habe ich gelernt:

Stellen Sie zunächst nichts als "Metriken versus Erfahrung" ein.

Neben der Hervorrufung von Filmen mit großem Budget, bei denen zwei Superhelden aus Leidenschaft gegeneinander antreten, ist es völlig falsch, Dinge wie „Metrics versus Experience“ zu formulieren, um das Gespräch zu beginnen.

Es ist so, als würde man "Kohlenhydrate versus gesundes Essen" sagen. Damit führen Sie nicht, wenn Sie in einer Diskussion über Ernährung mit Glaubwürdigkeit beginnen möchten.

In der Lage zu sein, Dinge zu messen, gibt Ihnen einen Einblick darüber, was Menschen in Ihrem Produkt tun. Wenn Sie nicht gerne unter einem Felsen leben, ist es eine gute Sache, mehr Informationen zu haben. Sicher, Sie müssen in der Lage sein, zu sortieren, welche Informationen wichtig sind und welche nicht, aber zu argumentieren, dass das gesamte Konzept, mehr Informationen zu haben, schlecht ist, ist keine wirklich vertretbare Position. Metrics ist nicht der Bösewicht.

Wenn Sie etwas tun, das die Leute für wertvoll halten, sollte dies außerdem ganz im Einklang mit der Verbesserung Ihrer Erfolgsmetriken stehen. Sie können nicht wirklich behaupten, dass Sie etwas besser gemacht haben, wenn sich nie etwas an der Art und Weise ändert, wie Menschen Ihr Produkt verwenden. Umgekehrt ist es mir egal, was Sie getan haben, wenn Sie eine Änderung vornehmen und die Leute anfangen, Ihr Produkt weniger zu verwenden, aber es ist ziemlich klar, dass Sie etwas durcheinander gebracht haben.

Schließlich ist der dritte Grund, warum Metriken so wertvoll sind, dass sie dazu beitragen, ein Team um etwas Klares und Greifbares zu versammeln, vor dem sie sich zur Rechenschaft ziehen können. Aus rein logistischer Sicht ist es schwierig, 50 Personen gegen eine Mission zur Ausführung zu bringen, beispielsweise "Erschaffe eine super-erstaunliche Erfahrung!". Sicherlich könnte jeder nach deiner ermächtigenden Rede seine Fäuste in die Luft pumpen und "Ja! Eine super tolle Erfahrung! Das ist es, wonach wir suchen! "Aber wenn Montag ist und Team A aufgeregt auftaucht und sagt:" Probieren Sie es aus! Wir haben eine super tolle Erfahrung gemacht! "Und die Reaktion von Team B lautet" Ähm, nein, das ist wirklich Mist ". Was passiert? Wer hat Recht? Wie definierst du konsequent und klar, was ein „super tolles Erlebnis“ ist?

Ein Weg, dies zu lösen, ist die Hierarchie. Sie können eine bestimmte Person (oder eine Leiter von Personen) im Unternehmen als Richter für die Qualität bezeichnen. Wenn Sie weniger Hierarchie bevorzugen, besteht eine andere Methode darin, ein messbares Ziel zu definieren: „Eine qualitativ hochwertige Erfahrung bedeutet, dass 50% der Benutzer, die diese Funktion ausprobieren, innerhalb einer Woche wiederkommen und sie erneut verwenden.“ Nun, Team A, Team B und alle anderen wissen genau, worauf sie abzielen und wie nah sie von Tag zu Tag daran sind.

Zusammenfassend ist festzuhalten, dass Metriken nützlich sind und auf hoher Ebene Metriken und Benutzererfahrung nicht in einem ewigen Kampf gegeneinander stehen. Stellen Sie sicher, dass Sie keine Dinge sagen, die darauf hindeuten, dass es sich um solche handelt.

Gewiss, im Namen der „Verbesserung der Metriken“ wurden schlechte Dinge getan.

Genauso wie man zu viele mit Gelee gefüllte Donuts essen und Kohlenhydraten einen schlechten Namen geben kann, können auch Metriken verwendet werden, um schlechte Entscheidungen zu rechtfertigen. Dies kann passieren, weil nicht alles, was Sie messen können, es wert ist, gemessen oder beeinflusst zu werden. Dies kann auch der Fall sein, wenn Sie sich eine einzelne Metrik nicht vollständig ansehen. Häufig benötigen Sie eine Reihe von Metriken, um ein wirklich gutes Bild von den tatsächlichen Ereignissen zu erhalten.

Wenn Sie zufällig das falsche Maß wählen und versuchen, sich zu bewegen, tun Sie möglicherweise etwas, das den Erfahrungen der Menschen tatsächlich schadet. Beachten Sie einige Beispiele:

a) „Ursprünglich betrug die Klickrate dieser Story 2%. Als wir diese Änderung vornahmen, stieg die Klickrate auf 5% Hurra! “

Was ist das Problem? Die Klickrate einer Story sagt nicht genug darüber aus, ob die Erfahrung tatsächlich besser war. Was passiert, wenn ich alle Links auf meiner Website geändert habe, um "hier zu klicken, um 250 Dollar zu verdienen"? Verdammt ja, die Klickrate würde steigen! Aber irgendwann werden die Leute feststellen, dass ich ihnen nicht 250 Dollar gebe, und dann werden sie sauer. Sie hören auf, auf meine Links zu klicken, deinstallieren meine App und geben mir eine 1-Stern-Bewertung im App Store, während sie FUUUUUUU schreiben - in Großbuchstaben. Mein Geschäft scheitert und mein Leben ist beschissen. Das Ende.

b) „Früher haben die Leute 5 Minuten mit meiner App verbracht. Jetzt, nach dem Start meiner neuesten Funktion, verbringen sie nur 3 Minuten. Uh-oh. "

Was ist das Problem? Ist die für Ihre App aufgewendete Zeit tatsächlich eine wichtige Messgröße für Ihre Nachverfolgung? Es hängt davon ab, ob. Wenn Sie ein Ziel für Inhalte sind, ist das wahrscheinlich der Grund, warum Sie existieren, um Menschen großartige Dinge zum Lesen, Ansehen und Anhören zu bieten. Je mehr Zeit sie verbringen, desto wahrscheinlicher ist es, dass sie das finden, was Sie wertvoll anbieten . Wenn es sich bei Ihrer App um ein Hilfsprogramm handelt, mit dem Sie beispielsweise Menschen beim Signieren digitaler Dokumente unterstützen können, ist dies nicht der Fall. Sie sollten besser eine andere Metrik nachverfolgen, z. B. die Häufigkeit, mit der Ihre App tatsächlich zum Signieren von Dokumenten verwendet wird. Tatsächlich lieben die Leute wahrscheinlich die Tatsache, dass sie ihre Dokumente jetzt schneller signieren können, was im Laufe der Zeit mit einer stärkeren Nutzung Ihres Dienstes korrelieren sollte.

c) "Ursprünglich benutzten mehr Menschen unsere Katzenfoto-Meme-App in Illinois, aber jetzt haben wir mehr Menschen, die sie in Ohio benutzen."

Was ist das Problem? Coole Geschichte, Bro. Dies spielt keine Rolle und ist auch keine Metrik, auf die Sie achten oder die Sie zu beeinflussen versuchen müssen.

Sicher gibt es wichtige Dinge, die wir nicht einfach oder genau messen können.

Wenn wir die Gedanken der Benutzer lesen könnten, könnten wir theoretisch die perfekte Erfahrung für sie entwerfen. Leider sind wir nicht alle Jean Grays. Deshalb versuchen wir, anhand der verfügbaren Informationen zu erraten, worauf es den Menschen ankommt. In der heutigen Zeit hat das, was wir messen können, seine Grenzen, und es ist wichtig, sich immer daran zu erinnern. Wenn Sie sich nur ansehen, was die Benutzer in Ihrem Produkt tun, können Sie nicht sagen:

  • Inwieweit Menschen Ihr Produkt oder eine seiner Besonderheiten lieben, hassen oder ihnen gleichgültig sind
  • ob eine Änderung das Vertrauen der Menschen in Ihr Produkt im Laufe der Zeit erhöht oder verringert
  • Wie einfach und benutzerfreundlich Ihr Produkt wahrgenommen wird
  • wie die Leute Ihr Produkt im Vergleich zu anderen ähnlichen Produkten auf dem Markt sehen
  • Welche Dinge die Menschen am liebsten ändern, hinzufügen oder reparieren möchten
  • wie die Leute Ihr Produkt im Laufe der Zeit nutzen wollen

Einige dieser Dinge können Sie mit qualitativen Recherchen oder Umfragen und Umfragen versuchen, aber keine dieser Methoden ist perfekt (erinnern Sie sich an Brexit-Vorhersageumfragen?). Und selbst in den Fällen, in denen Sie die allgemeine Stimmung genau messen können (wie das Vertrauen in die Marke), Es ist schwer zu wissen, welche Auswirkungen bestimmte Änderungen hatten. (Hat das Logo oder das visuelle Redesign beispielsweise die Wahrnehmung meiner Marke verbessert?)

Die oben genannten Werte nicht genau messen zu können, bedeutet, dass es Fälle gibt, in denen Metriken nicht funktionieren. Beachten Sie die folgenden Beispiele:

  1. Verständnis der Komplexitätskosten: Jedes Mal, wenn Sie Ihrer App eine neue Funktion hinzufügen, werden die von Ihnen verfolgten Messdaten wahrscheinlich positiv angezeigt (immerhin, bevor niemand X verwendet hat und jetzt mehr Menschen X verwenden und andere nicht Anscheinend wird Y oder Z nicht weniger verwendet, sodass sich dies insgesamt wie ein Gewinn anfühlt.) Wenn Sie jedoch an einem bestimmten Punkt weitere Funktionen hinzufügen, wird dies als überladenes und aufgeblähtes Produkt empfunden. Dann wird plötzlich ein glänzender neuer Konkurrent schnell Fuß fassen, weil alle sagen: „Ich liebe Q! Es ist so einfach. “Das Paradox der Wahl und die Kosten der kognitiven Komplexität sind real. Wir haben nur noch nicht herausgefunden, wie wir sie genau messen können.
  2. Die Macht der Marke verstehen: Wenn Apple oder Nike ein neues Produkt herausbringen, neigen viele Menschen dazu, es zu kaufen, auch ohne nachzuforschen, weil sie in der Vergangenheit eine großartige Erfahrung mit dieser Marke gemacht haben. Das gleiche würde nicht zutreffen, wenn ein neuer Emporkömmling namens Pear oder Sike mit einem gleichwertigen Produkt auf den Markt käme. Auf hohem Niveau wissen und verstehen wir dies alle. Es ist jedoch schwierig, die Macht der Marke zu quantifizieren und daraus eine Zahl zu machen, die jeden Tag nachverfolgt werden kann. Es ist schwer zu wissen, wie sich all die Tausenden von Entscheidungen, die ein Unternehmen trifft, auf diese Marke auswirken und welche Kosten und Vorteile diese Kompromisse mit sich bringen.
  3. Die Macht der großen Einsätze: Keine Metrik kann Ihnen sagen, wie groß die gewagten Schläge sind, um die Zukunft zu gewinnen. Stellen Sie sich 2008 vor, als gerade Smartphones auf den Markt kamen. Wenn Sie sich die Metriken für Ihre Website angesehen hätten, hätten Sie einen winzigen Teil des Datenverkehrs von Smartphones gesehen. Sie sind praktisch zu dem Schluss gekommen, dass Sie nicht zu viel in das Bauen für Handys investieren sollten, da dies nur ein kleiner Teil Ihres Publikums ist. Heute erkennen wir die Vision und Weitsicht derer, die auf Mobilgeräte gewettet und enorme Belohnungen erhalten haben. Keine Untersuchung des aktuellen Verhaltens kann genau sagen, in welche Richtung Sie springen müssen. Strategische, langfristige Planung erfordert immer noch viel von dem, was sie immer getan hat: Vertrauen in Ihren Darm.

Einige Faustregeln für eine gute Metrikhygiene:

Dies sind einige meiner größten Erkenntnisse in meinem Bestreben, mich mehr und mehr mit der Taktik einer guten Zielsetzung und -messung auseinanderzusetzen.

  • Betrachten Sie die Retention, um festzustellen, ob der Produktmarkt passt. Betrachten Sie nicht die schiere Anzahl der Benutzer Ihres Produkts oder Ihrer Funktion (was durch die Aggressivität Ihrer Werbung verzerrt werden kann). Die Aufbewahrung korreliert am besten damit, ob Ihr Produkt wertvoll ist, denn sie gibt Aufschluss darüber, ob Personen, die es ausprobiert haben, es genug mochten um es zurückzugeben und wieder zu benutzen.
  • Um das Wachstum zu optimieren, sollten Sie Ihren Trichter verstehen. Damit Menschen zu regelmäßigen Nutzern Ihres Produkts werden, müssen sie eine Reihe von Hürden überwinden. Erstens müssen sie sich Ihres Produkts bewusst sein. Zweitens müssen sie interessiert genug sein, um es zu überprüfen. Drittens müssen sie konvertieren (eine App herunterladen, ein Formular ausfüllen, eine E-Mail bestätigen usw.). Viertens müssen sie genug in Ihrem Produkt tun, um zu verstehen, warum es in ihrem Leben wertvoll sein kann. Fünftens müssen sie daran denken, zurückzukommen. Bei jedem dieser Schritte verlieren Sie Menschen. Wenn Sie die Verlustrate nachverfolgen und messen können, können Sie herausfinden, wo Sie Ihre Bemühungen konzentrieren müssen, um den Trichter weniger undicht zu machen.
  • Finden Sie heraus, welche Metriken wirklich wichtig sind, und konzentrieren Sie sich auf diese. Es ist verlockend, in den Zustand zu gelangen, in dem Sie alles verfolgen (weil Sie können), und Sie haben ein Dashboard mit Zahlen, die alle den Eindruck haben, dass sie grün sein sollten. Erkennen Sie, dass die meisten Dinge keine Rolle spielen und dass dies nur eine kleine Handvoll tut. Verschwenden Sie keine Zeit damit, über unwichtige Dinge zu sprechen, und lassen Sie nicht zu, dass einige der weniger wichtigen Metriken nach oben oder unten gehen.
  • Verwenden Sie die Zauberstabtechnik, um die beste Metrik für die Verfolgung zu ermitteln. Fragen Sie sich: „Wenn ich einen Zauberstab schwenken und etwas über meine Benutzer in der Welt wissen könnte, was würde ich am liebsten wissen wollen, um mir zu sagen, ob meine App erfolgreich sein wird?“ Auch wenn Ihre Antwort nichts ist, was Sie tatsächlich messen können („Schlägt meine App Empfehlungen vor, die meine Benutzer für wertvoll halten?“), Ist dies ein hilfreicher Ausgangspunkt für die Arbeit. („Okay ... also kann ich nicht jeden Benutzer fragen, ob die Aufnahmen wertvoll sind ... aber wenn sie wertvoll sind, würde ich wahrscheinlich sehen, dass sie mehr Aufnahmen speichern oder teilen, und sie würden wahrscheinlich mehr Zeit damit verbringen, Aufnahmen zu lesen und ... usw , usw.")
  • Akzeptieren Sie nicht nur ein Metrikziel, ohne es zu verstehen. Ich kann das nicht genug betonen: Die Ziele, auf die Sie und Ihr Team sich einigen, wirken sich enorm auf Ihre Arbeit aus. Akzeptieren Sie keine metrischen Ziele zum Nennwert. Frage warum. Überlegen Sie, ob sie sinnvoll sind und welche Verhaltensweisen sie fördern. Gibt es Situationen, in denen sich etwas wie eine gute Entscheidung anfühlt, sich die Metrik jedoch nicht bewegt? Umgekehrt gibt es Situationen, in denen Sie sich vorstellen können, dass die Metrik stark ansteigt, sich aber nicht davon überzeugen können, dass das Produkt tatsächlich besser ist? Wenn ja, kann eine andere Metrik (oder ein anderer Satz von Metriken) besser nachverfolgen, worauf es tatsächlich ankommt?
  • Zeigen Sie Daten mit Skepsis an, indem Sie Gegenmetriken vorschlagen. Wenn die Daten Ihnen zeigen, wie gute Ergebnisse aussehen, fragen Sie sich: „Worauf kann ich mich sonst noch konzentrieren, um mich davon zu überzeugen, dass diese Ergebnisse nicht so gut sind, wie sie scheinen?“ Diese werden als Gegenmetriken bezeichnet, und jede Erfolgsmetrik sollte einige haben . (Sehen Sie sich zum Beispiel nicht die Klickrate an, ohne die Anzahl der schnellen Bounces zu überprüfen. Sehen Sie sich auch nicht die Verkaufszahlen eines Produkts an, ohne zu prüfen, wie viele Retouren oder Stornierungen es gibt usw.) Es ist viel Besser, Sie interpretieren Ihre Daten paranoid, damit Sie Ihre Fehler schnell aufspüren und Ihre Strategie anpassen können. Fallen Sie nicht in die Falle der Bestätigungsverzerrung, wenn Sie nur nach Signalen suchen, die beweisen, dass Ihre Intuitionen richtig sind.
  • Verwenden Sie qualitative Forschung, um das Warum herauszufinden. Quantitative Daten, die Aufschluss darüber geben, was die Menschen getan haben, lassen sich am besten mit qualitativen Untersuchungen kombinieren, die Aufschluss darüber geben, wie sich die Menschen fühlten. Führen Sie Usability-Tests durch, verwenden Sie Fokusgruppen und führen Sie Umfragen durch, um zu ermitteln, warum das von Ihnen beobachtete Verhalten dahintersteckt.

Gehen Sie jetzt voran und üben Sie Ihr Verständnis von Daten aus, um Menschen überall bessere Erfahrungen zu machen.

Möchten Sie eine Frage stellen oder weitere Ratschläge einholen? Melde dich für meinen wöchentlichen Brief an.

In Verbindung stehende Artikel:

Die Qual und Ekstase des Bauens mit Daten

Metriken, eine Geschichte

Qualität ist kein Kompromiss

Die Steuer von Neuem

Die zwei Arten des Bauens