数据分析岗位近况分析

| 2022-09-16 admin

数据读取
理解数据
数据清洗
数据分析

1、数据读取

#导入相关模块import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport re#正则解析from wordcloud import WordCloudimport warningswarnings.filterwarnings('ignore')#连接mysqlimport pymysqlpymysql.install_as_MySQLdb()from sqlalchemy import create_engineengine=create_engine('mysql://user:password@localhost:3306/frogdata?charset=gbk')#读取数据df=pd.read_sql_query('select * from Boss_analyst',con=engine) 

2、理解数据

字段解释

  • position - 职位

  • salary_range - 薪水区间

  • work_year - 工作经验

  • city - 城市

  • tag1 - 技能标签1

  • tag2 - 技能标签2

  • tag3 - 技能标签3

  • tag4 - 技能标签4

  • tag5 - 技能标签5

  • company_name - 公司名称

  • text - 未知

  • company_type - 公司类型

  • company_welfare -公司福利

3、数据清洗

对表中的position、salary_range、work_year、city、text、company_welfare字段数据进行清洗

#观察数据的整体情况df.info()

总共有4482条数据。tag4、tag5、company_walfare列的有存在空缺数据,但空缺不多,而且这三个指标不是关键性指标,所以暂不做处理

#考虑到爬取的数据可能存在重复数据,此处做去重处理df.drop_duplicates(inplace=True)df.shape[0] 

4435 存在47条重复数据

position 字段清洗

#观察position字段df.position.unique() 

发现存在异常数据,这里需要对不相关的职位进行去除

df=df.loc[df.position.str.contains('数据|分析|Data|算法|Bi|ETL')]df.shape[0]3423
考虑数据类的岗位有数据运营、数据挖掘、商业分析师、算法工程师、ETL工程师等

salary_range字段清洗

#观察salary_range字段df['salary_range'].unique()
数据很不规整,初步判断存在以下三种格式:'15-25K·13薪'、'15-25K'、100-150元/天 ,打算把这一列的数据拆解分为两列-最低薪水、最高薪水
def cut_word(word,types):        #把数据规整为'xx-xx'格式    position1=word.find('K')    position2=word.find('元')    #如果没有找到该元素,find会返回值-1    if position1 != -1:          salary_range=word[:position1]    elif position2 != -1:          salary_range=word[:position2]        #拆分数据-最低薪水、最高薪水    position3= salary_range.find('-')    bottom_salary= salary_range[:position3]    top_salary= salary_range[position3+1:]        #传入types参数,接收最低薪水、最高薪水的数据    if types == 'bottom':        return bottom_salary    else:        return top_salary#利用apply函数进行数据转化df['bottom_salary']=df['salary_range'].apply(cut_word,types='bottom').astype('int')df['top_salary']=df['salary_range'].apply(cut_word,types='top').astype('int')
#新增平均薪水列,方面后面做统计分析df['avg_salary']=df.apply(lambda x : (x.bottom_salary+x.top_salary)/2,axis=1)
work_year字段清洗

work_year字段中学历数据和工作年限数据混杂在了一起,需要将其分列

学历有7种数据格式:学历不限、中专/中技、高中、大专、本科、硕士、博士

工作经验有三种数据格式:x-x年、x天/周x个月、经验不限。

def cut_word1(word,types):    #找到学历不限的学字,进行切片处理    position1=word.find('学')    #找到学历不限的大字,进行切片处理    position2=word.find('大')    position3=word.find('本')    position4=word.find('硕')    position5=word.find('博')    position6=word.find('高')    position7=word.find('中')        #通过切片把数据规整为学历和工作经验两列数据    if position1 != -1:          work_year=word[:position1]        educational_background=word[position1:]    elif position2 != -1:         work_year=word[:position2]        educational_background=word[position2:]    elif position3 != -1:        work_year=word[:position3]        educational_background=word[position3:]    elif position4 != -1:        work_year=word[:position4]        educational_background=word[position4:]    elif position5 != -1:        work_year=word[:position5]        educational_background=word[position5:]    elif position6 != -1:        work_year=word[:position6]        educational_background=word[position6:]    else:        work_year=word[:position5-4]        educational_background=word[position5-4:]          #传入types参数,接收学历和工作年限的数据    if types == 'education_background':        return educational_background    else:        return work_year    #利用apply函数进行数据转化,将学历数据新添加到'education_background'列,工作经验数据新添加到'work_year'列df['education_background']=df['work_year'].apply(cut_word1,types='education_background')df['work_year']=df['work_year'].apply(cut_word1,types='work_year')

work_year字段已清洗完毕,转化为work_year和education_background两列数据

#work_year中存在2天/周3个月之类的数据,判断是实习/兼职职位,这边把全职和实习的岗位数据区分开来df_part_time=df.loc[df.work_year.str.contains('天|周|月')]#全职岗位df_full_time=df.loc[~df.work_year.str.contains('天|周|月')]
city字段清洗
#观察city数据df_full_time['city'].unique() 
有些值只显示城市名称,有些细分到了区,这边把数据维度统一规整到城市名称
#通过apply函数和if逻辑判断,把带有·点的数据的城市地区维度进行切片截取df_full_time['city']=df_full_time['city'].apply(lambda x :x[:x.find('·')]  if x.find('·') != -1  else x) 

text字段清洗

#观察text字段df_full_time.text.unique()

text字段包含了公司融资情况、公司类型、公司规模数据,需将其转化分列,其中公司类型已存在(company_type)
只需转化为公司融资情况和公司规模两列
清洗结果

4、数据分析

整体思路

  1. 数据类岗位整体需求

  2. 城市、学历、工作经验对薪水的影响

  3. 不同岗位对应的学历要求、薪水分布情况

  4. 公司一般会用什么福利待遇来吸引求职者

  5. 不同岗位要求的关键技能点是什么

1、数据类岗位整体需求

plt.figure(figsize=(16,6))plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号#学历plt.subplot(2,3,1)df_full_time.education_background.value_counts().plot(kind='barh',alpha=0.7)#工作经验plt.subplot(2,3,2)df_full_time.work_year.value_counts().plot(kind='barh',alpha=0.7)#岗位分布plt.subplot(2,3,3)df_full_time.city.value_counts().plot(kind='pie',autopct='%.1f%%')#公司融资情况plt.subplot(2,3,4)df_full_time.company_financing .value_counts().plot(kind='barh',alpha=0.7)#公司类别plt.subplot(2,3,5)df_full_time.company_type.value_counts().head(6).plot(kind='barh',alpha=0.7)#薪水plt.subplot(2,3,6)#对薪水划分层次,如18K属于15-10bins=[0,3,5,10,15,20,30,105]level=['0-3','3-5','5-10','10-15','15-20','20-30','30+']df_full_time['avg_salary_level']=pd.cut(df_full_time.avg_salary,bins=bins,labels=level)df_full_time.avg_salary_level.value_counts().head(6).plot(kind='pie',autopct='%.1f%%')#调整子图的间距plt.tight_layout() 

要求

分析:
学历要求:大专是最低要求,招高中或中专/中技的极少,最好是本科及以上
工作经验需求:偏向招聘有一定经验的求职者,尤其3-5年经验的需求最旺盛。一般工作3年以上,对于整个职业的了解会比较深入,技术趋于成熟,能够帮助做一些独立的项目
岗位分布情况:北上广深杭对其需求都差不多,相对来说北京机会最多,广州偏少
公司融资情况:招聘数据类岗位的一般都是达到了一定规模的大型企业
行业分布情况:互联网行业需求是最多的,包括电商、金融。还有一些乙方公司也有一定需求,比如数据服务类、咨询类
薪资情况:受工作经验影响较大,3年工作经验薪资一般集中在20-30K,比较可观

省略234

5、不同岗位要求的关键技能点是什么

#数据运营职位相关技能list_tag1=df_full_time[df_full_time['position']=='数据运营']['tag1'].tolist()list_tag2=df_full_time[df_full_time['position']=='数据运营']['tag2'].tolist()list_tag3=df_full_time[df_full_time['position']=='数据运营']['tag3'].tolist()list_tag4=df_full_time[df_full_time['position']=='数据运营']['tag4'].tolist()list_tag5=df_full_time[df_full_time['position']=='数据运营']['tag5'].tolist()​wordcloud_1=pd.Series(list_tag1+list_tag2+list_tag3+list_tag4+list_tag5).value_counts()
​#数据分析职位相关技能#数据挖掘职位相关技能

岗位要求

分析:
数据运营类岗位要求:基本的数据分析工具要掌握,熟悉sql,理解业务和产品,会数据挖掘和建模更好

数据分析类岗位要求:熟悉SQL、 R/Python、hive,掌握基本的数据仓库、数据挖掘、建模的知识,具备一定的业务经验

数据挖掘类岗位要求:熟悉Python/R、Spark、Linux、Hadoop、SQL,掌握机器学习算法、数据结构等