大数据分析介绍

uwb定位| 2022-09-02

一、总结

一句话总结:

大数据为机器学习、人工智能等提供了数据依据

1、数据清洗包括哪些方面?

去掉脏数据
使数据格式化

2、数据挖掘是什么?

高级的数据分析方法:数据挖掘是一种高级的数据分析方法,侧重解决四类数据分析问题:分类、聚类、关联和预测
寻找有价值信息:数据分析和数据挖掘的本质是一样的,都是从数据里面发现关于业务的知识。

3、常用的分布式方案有哪些?

分布式应用和服务:【将应用和服务进行分层和切割】,然后分别部署:比如分布式服务框架 Dubbo
分布式静态资源:【静态资源】:比如CDN
分布式数据和存储:【单台计算机内存空间不足】:比如Apache Hadoop HDFFS
分布式计算:【计算】:比如Apache Hadoop MapReduce

4、分布式和集群的区别?

分布式:多台不同的服务器,【部署不同的服务模块】
集群:多台不同的服务器,【部署相同的应用或服务模块】

5、facebook是社交网站,那么评估机构评估facebook的时候,主要评估的是其哪方面的价值?

是其社交网络上的数据

6、云计算是什么?

硬件资源虚拟化

7、数据分析是什么?

发掘数据中的价值,发掘数据中的规律

8、如何采集用户浏览网站的数据?

js埋点:用js对用户的行为(比如点击啊,跳转啊)进行采集,不影响用户的正常操作,
存储的话可以用Nginx的自定义数据格式

9、采集到的用户的浏览数据,如何跨域发送到后台?

让数据伪装成图片:【比如京东就是这样干的】:/log.gif?a=111&b=222
返回数据的时候,伪装成一个1*1像素的gif图片

10、如何结合 Google Analytic 搭建一个自定义日志采集系统?

前端:确定要采集的数据,以及采集的页面,以及埋点的js
后端:收集、设计、编写数据

11、采集的用户的访问数据例子及注意事项有哪些?

比如用户ip,用户所在的位置,用户访问时间,用户的url等的
服务器参数获取:有些能够通过服务器直接获取到:比如用户的访问时间,ip等
js获取:有些不能通过服务器获取到:可以考虑js,cookie等等,就是想办法拿全用户的数据