Schaffung einer Self-Service-Daten- und Experimentierkultur für eine bessere Entscheidungsfindung

Wenn es darum geht, eine App oder Website zu entwerfen, ist Einfachheit am besten. Benutzer in den wenigsten Schritten und mit der saubersten Benutzeroberfläche von Punkt A nach B zu bringen, ist das Kennzeichen eines herausragenden Erlebnisses. Aber selbst die einfachste User Journey generiert eine Reihe von Ereignisdaten, die sortiert und interpretiert werden müssen. Mit den richtigen Tools werden diese Rohdaten zu einer Fundgrube an Informationen, die Ihr Unternehmen auf die nächste Stufe bringen können.

Ich bin Senior Product Manager bei SmartRecruiters, einem Softwareanbieter, der es Unternehmen ermöglicht, ihr Talentakquiseprogramm wie eine leistungsstarke Marketing- und Verkaufsmaschine zu betreiben. Unsere B2B-Suite zur Talentakquise erleichtert die Einstellung und hilft Unternehmen, die benötigten Mitarbeiter zu finden und einzustellen.

Mit den richtigen Tools werden Rohdaten zu einer Fundgrube an Informationen, die Ihr Unternehmen auf die nächste Stufe bringen können.

Eine aktuelle Ergänzung zu unserem Flaggschiff-B2B-Produkt ist unsere B2C-Lösung Smartr. Smartr ist eine benutzerfreundliche Online-Plattform, die Arbeitssuchende mit über 4.000 Arbeitgebern zusammenbringt. Wir haben zwei Millionen aktive Benutzer, die online nach Arbeit suchen und Hunderte Millionen von Ereignissen generieren.

Es war unmöglich, User Journeys zu verstehen

Als ich 2020 in das Unternehmen eintrat, war es nahezu unmöglich, die Reisen unserer Benutzer zu verstehen. Wir haben unsere Ereignisdatenbank direkt angezapft und versucht, die Dinge mit SQL und Tableau zu visualisieren. Wir haben für jedes von uns analysierte Ereignis Abfragen geschrieben und die Ergebnisse in Tableau eingespeist. Es war zeitintensiv und wir mussten uns ins Zeug legen, um die Daten zum Laufen zu bringen, weil es zu viele bewegliche Teile gab.

Damals steckte Smartr noch in den Kinderschuhen – und unser Team war auch neu. Als wir mehr Leute für die Arbeit an Smartr hinzufügten, suchten wir gleichzeitig nach neuen Tools, die uns helfen könnten, uns zu verbessern. Wir wollten mehr Ereignisse analysieren und visualisieren und unsere Berichte erstellen, aber unsere Visualisierungstools waren für die Ereignisverfolgungsanalyse ungeeignet. Ich begann, nach der perfekten Lösung zu suchen, die uns hilft, das Nutzerverhalten besser zu verstehen.

Expansion auf der richtigen Plattform

Während einiger grundlegender Recherchen zu Analysetools entdeckte ich, dass die Unternehmensseite von SmartRecruiters die kostenlose Version von Amplitude Analytics verwendete. Da wir es bereits intern hatten, beschloss ich, es auszuprobieren und meldete mich für einige Workshops mit den Kundenbetreuern von Amplitude an.

Trotz der eingeschränkten Funktionen des kostenlosen Starter-Pakets war sofort klar, dass Analytics das beste Tool auf dem Markt für Event-Tracking ist. Es lässt sich nahtlos in unsere Datenbank integrieren, und seine Point-and-Click-Oberfläche, integrierte Visualisierungstools und Berichtsvorlagen ermöglichen es uns, Rohdaten in leicht verständliche Informationen zu übersetzen. In weniger als einer Minute können wir Fragen stellen und beantworten, deren Formulierung, Extraktion und Interpretation mit SQL-Abfragen und Tableau früher einen halben Tag gedauert hat.

Ich kam schnell zu dem Schluss, dass wir Analytics nicht in vollem Umfang nutzen, und setzte mich für unseren Wechsel zu einer der kostenpflichtigen Ebenen der Plattform ein, damit wir die volle Leistungsfähigkeit nutzen können.

Überwachung neuer Funktionen in Echtzeit

Als wir die Nutzung ausweiteten, führte Analytics eine Echtzeitüberwachung ein, mit der wir eine neue Funktion testen können, sobald wir sie zu unserer Website oder App hinzufügen. Mit einer vorhandenen Benutzer-ID können wir ein Projekt in Echtzeit testen und sehen, welche Ereignisse ausgelöst werden, ohne eine Testumgebung zu erstellen oder auf die Anmeldung von Benutzern und Kunden zu warten.

Echtzeitdaten machen Teams und Benutzer glücklicher, weil es weniger Stolpersteine ​​in Entwicklungszyklen und bei der Entschlüsselung von Customer Journeys gibt.

Innerhalb weniger Minuten nach dem Start einer neuen Funktion kann ich meinen Technikern mitteilen, ob sie die gewünschten Ereignisse auslöst, und sie können das Problem sofort beheben und beheben. Es ist eine klügere Arbeitsweise (verzeihen Sie das Wortspiel), und mein Team und unsere Benutzer sind zufriedener, weil es weniger Stolpersteine ​​in unseren Entwicklungszyklen und der Entschlüsselung von Kundenreisen gibt.

Experimentieren auf neue Höhen bringen

Analytics ist leistungsfähig, und als wir das Smartr-Team vergrößerten, begannen wir, mehr mit Ereignisdaten zu tun. Die logische Antwort war, unsere A/B-Tests zu verstärken, damit wir verschiedene Versionen unserer Website und App ausprobieren konnten.

Eine separate Experimentierplattform zu kaufen oder eine eigene zu bauen, würde leicht hunderttausend Dollar pro Jahr kosten, und dann müssten wir einen Weg finden, die neue Plattform mit unseren Daten und Ereignissen zu integrieren.

Anstatt nach einer separaten Lösung zu suchen, wandten wir uns an Amplitude Experiment, eine robuste Experimentier- und Funktionsverwaltungslösung, mit der wir Funktionalitäten und Schnittstellenverbesserungen testen können. Experiment lässt sich vollständig in Analytics-Tools integrieren und bietet gleichzeitig einen vollständigen Experimentier-Workflow.

Einer der größten Erfolge mit Experiment war die Einführung der Lesezeichenfunktion von Smartr. Wenn Kandidaten eine interessante Stellenausschreibung finden, können sie diese markieren, ihre Stellensuche fortsetzen und zurückgehen und sich später bewerben. Wir experimentierten mit zwei neuen Versionen des Lesezeichensymbols, einem Stern und einem Herz, zusätzlich zum vorhandenen Lesezeichensymbol als Steuerelement. und sah, dass Benutzer ein Herz bevorzugten.

Wir haben den Test durchgeführt, indem wir jeder der Varianten 1/3 unseres Datenverkehrs zugewiesen haben. Wir waren daran interessiert, die Lesezeichenrate zu testen, d. h. die Konversionsrate der Benutzer, die den verschiedenen Varianten ausgesetzt sind, und wie viele von ihnen einen Job mit einem Lesezeichen versehen haben. Die Bookmarking-Rate für den Herz-Button stieg im Vergleich zur Kontrolloption um 46,6 %, die Bookmarking-Rate für den Stern-Button nur um 8,78 %. Wir wollten auch die Bewerbungsquote testen, d. h. den Prozentsatz der mit Lesezeichen versehenen Stellen, auf die sich die Kandidaten letztendlich beworben haben. Beim Herzknopf stieg diese Rate im Vergleich zur Kontrolle um 58 %, während beim Sternknopf die Verbesserung nur 23,4 % betrug.

Amplitude bestätigte die statistische Signifikanz dieser Verbesserungen nach sechs Tagen Durchführung des Experiments, sodass die Entscheidung, den alten Lesezeichen-Button durch ein Herz zu ersetzen, einfach war.

Natürlich haben wir dann weitere Fragen gestellt. Wie würden Benutzer reagieren, wenn wir einen Teil unserer Onboarding-Erfahrung ändern oder eine völlig neue erstellen würden? Würden sie sich mehr mit Inhalten beschäftigen? Für weitere Jobs bewerben? Und wie würde sich das auf unsere KPIs auswirken? Wir stellten und beantworteten mehr Fragen, die für unser Publikum relevant waren.

Eine wachsende Datenkultur

Es ist spannend zu sehen, wie unsere Datenkultur wächst. In den letzten 12 Monaten haben wir einen Anstieg der Akzeptanz um 950 % erlebt. Und anstatt einen anfänglichen Anstieg nach Einstellung und Kündigung zu sehen, bleibt das Engagement hoch. Es hat zu einem Self-Service-Datenmodell geführt, bei dem die Menschen sich sicherer fühlen, was die Daten angeht, die sie sehen, und ihre Fähigkeit, darauf basierende Entscheidungen zu treffen.

Ich verwende Analytics täglich, um neue Diagramme zu erstellen und sie dem Team zu präsentieren, wobei ich mit gutem Beispiel vorangehe. Jeder, von Produktteams bis hin zu Designern und Ingenieuren, kann Diagramme erstellen und in die benötigten Daten eintauchen, wann immer er sie benötigt. Obwohl nicht jeder täglich Analytics verwendet, kommen weniger Leute mit Fragen oder Bitten um Anfragen zu mir, und das Team kann schneller vorankommen.

Aufgrund dieses Wachstums war ich Finalist der Amplitude Pioneer Awards in der Kategorie Data Culture Award. Es fühlt sich großartig an, dass unsere Arbeit sowohl extern als auch intern anerkannt wird.

Die Flexibilität, Smartr zu verfeinern

Jedes Analysetool liefert Erkenntnisse, die helfen, datenbasiertere Entscheidungen zu treffen, aber die Flexibilität von Analytics hebt es von anderen ab. Es macht die Datenanalyse so einfach. Anstatt Zeit, Mühe und Ressourcen aufzuwenden, um das, was wir brauchen, von Grund auf neu zu erstellen, ist alles sofort einsatzbereit und modifizierbar.

Mein Team hat unser Produktangebot verfeinert und unsere Benutzererfahrung optimiert. Wir haben eine blühende Community von Arbeitssuchenden aufgebaut, die unsere Plattform nutzen, um ihren nächsten – oder ersten – Karriereschritt zu machen. Wir können neue Ereignisse erstellen und sie mithilfe der integrierten Dashboards sofort verfolgen und analysieren. Wir haben damit begonnen, Entscheidungen auf der Grundlage von Daten zu treffen und uns auf die Überwachung der Leistung zu konzentrieren, anstatt Abfragen zu schreiben und unsere Analysetools zu verwalten. Es ist leicht zu erkennen, welche Funktionen Benutzer benötigen, und ihren Pfaden zu folgen, wenn sie von der Startseite zu anderen Seiten unserer Website navigieren.

Beim Erstellen eines neuen Produkts müssen Sie schnell reagieren und sicherstellen, dass alle Details der Ereigniseigenschaften korrekt sind. Die Kombination aus Analytics und Experiment stellt sicher, dass das Smartr-Team weiterhin ein Produkt entwickelt, das mit unserem Gegenstück für Unternehmen mithalten kann.