Spark + Hadoop,基于WIFI探针的大数据分析系统

| 2022-09-09

WIFI探针是一种可以记录附近mac地址的嗅探器,可以根据收集到的mac地址进行数据分析,获得附近的人流量、入店量、驻留时长等信息。

本系统以Spark + Hadoop为核心,搭建了基于WIFI探针的大数据分析系统。

AI项目体验地址 https://loveai.tech

项目演示地址

http://v.youku.com/v_show/id_XMjg1OTYxNzg1Ng==.html?spm=a2hzp.8244740.0.0

Spark + Hadoop,基于WIFI探针的大数据分析系统_数据

Spark + Hadoop,基于WIFI探针的大数据分析系统_数据_02

Spark + Hadoop,基于WIFI探针的大数据分析系统_数据_03

Spark + Hadoop,基于WIFI探针的大数据分析系统_关系型数据库_04

Spark + Hadoop,基于WIFI探针的大数据分析系统_数据_05

Spark + Hadoop,基于WIFI探针的大数据分析系统_数据_06

Spark + Hadoop,基于WIFI探针的大数据分析系统_数据分析_07

py-script

模拟发送探针数据的python脚本,使用多线程来模拟大量探针的发包

Databases in System

  • MySQL

关系型数据库,负责存储一些不会经常读取的数据,比如分析程序的参数配置、商场信息等

  • HBase

分布式非关系型数据库,用于永久性存储原始数据,供离线分析程序使用

  • Redis

非关系型数据库,适用于存储快速读写的数据,用于存储分析结果,存储格式为json