Big Data Tool für die Analyse von Statistik in einem sozialen Netzwerk

Herausforderung

Der Kunde wollte die digitalen Profile der Benutzer verfolgen und bei Bedarf auf alle erforderlichen Informationen extra zugreifen, um die Werbe-Aktionen in Online zu ermöglichen.

• Die Durchführung von einer automatischen Berichterstellung.
• Die Erstellung von analytischen Schlussfolgerungen in Form von Tabellen und Diagrammen.
• Die Bereitstellung von zusammengefassten Schlussfolgerungen.
• Die Erstellung von analytischen Dashboards.
• Die Einsammlung und Speicherung von Analysen über Kafka und HBASE im Schlüsselwert-Speicher.
• Die Erfassung von dateibasierten Daten mit Hilfe von Cassandra.
• SQL-ähnliche Anforderungen und ihre Ausführung mit Hive.
• Die Erstellung von Targeting-Aktionen.

Herangehen

Die Architektur der neuen Plattform basierte auf mehreren Diensten: Datenmigration, Laden von Daten, Suche, Verwaltung von Stellenangeboten. Dieser Ansatz trug dazu bei, die Entwicklungszeit aufgrund der parallelen Arbeit an verschiedenen Diensten zu verkürzen. Darüber hinaus konnten einzelne Teile der Anwendung schnell und einfach skaliert werden, sodass große Datenmengen verarbeitet werden konnten.

Beschreibung

Das Entwicklungsteam hat beschlossen, das Online-Analysesystem des Kunden mithilfe einer hochmodernen Technologie-Plattform allgemein zu verbessern. Die verstärkte Lösung sollte einen anpassbaren und flexiblen Zugriff auf die analytischen Daten der digitalen Profile der Benutzer bieten. Dabei sollte es statisch und dynamisch erfolgen. Sie soll auch demografische Statistiken, die aus einer Vielzahl von Quellen zusammengestellt werden, verfolgen.

Hauptmerkmale

Erstens haben die Big Data Entwickler von SCAND Ankerpunkte (1×1 Pixel-Bilder) auf jede Seite des sozialen Netzwerks hinzugefügt. Solche Manipulation hilft, alle Benutzer über Cookies zu markieren und zu verfolgen. Wenn es also neue Benutzer ohne angehängte Cookies gibt, werden sie hinzugefügt. Die Daten werden in HBASE mit Kafka gesammelt.

Zweitens werden diese Markierungen zusammen mit den Profildaten der sozialen Netzwerke: Alter, Geschlecht, benutzerdefinierte Tags usw. gesammelt. Sobald dies gelungen ist, besteht die Möglichkeit, weiterzukommen. Es wird möglich, eine Linkübersetzung für die Mehrheit der «nativen» Links für die Links in den Beiträgen der Benutzer hinzuzufügen. Mit anderen Worten, wenn ein Benutzer einen solchen Link auf seiner Wand zur Verfügung stellt, werden die Klicks und Interessen der Benutzer wie bei den Ansichten abgefangen. Ein Cosinus-basiertes gemeinsames Filtern wird auf das Set von Ansichten und Klicks pro Benutzer angewendet. Wenn ein Benutzer auf ähnliche Links klickt und sich ähnliche Wände anschaut, ist es eine gute Idee, ihm den Block «Siehe auch» basierend auf den Stimmen von anderen Benutzern mit ähnlichen Interessen anzuzeigen.

Sobald die digitalen Profile erstellt werden, werden Filter nach Altersgruppen, Geschlecht und bereits gesammelten Tags hinzugefügt. Dies erhöht die Relevanz der vorgeschlagenen Blöcke um einige weitere Teile des Prozentsatzes.

Jetzt kann die Target-Aktion gestartet werden. Die Kontrollgruppen mit «nativem» Traffic werden hinzugefügt und andere Gruppen werden durch virale Nachrichten und spezifische Werbung angesprochen. Um Änderungen in den Verhaltensmodellen der Benutzer zu verfolgen, werden einige vorbereitete Nachrichtenbeiträge verwendet. Dadurch erhalten die Besitzer des Netzwerks ein leistungsstarkes Tool für die Verwaltung der Werbeinhalte.