python数据处理笔记-六虎

主要记录一些常见python代码的笔记，尤其是pandas的函数使用，常年滚动更新。

0.注意数据格式

一定要查看数据格式，进行必要修改后再进行python为什么叫爬虫计算

查看方法：
df.dtypes
修改方法（以将客户编号这一python详细安装教程列改成整数类型int为例）（使用astype函数）
data['客户编号'] = data['客户编号'].ast笔记本电脑性价比排行2020ype('int')

1.导入与导出

import pandas as pd  #导入pandas模块
f1appear = pd笔记本电脑排名前十.read_csv('D:daimashujuchuliLTappearE_NRTM_areasubservice_HE_2笔记本电脑开机黑屏没反应怎么办0201215笔记本0000_P01_END.CSV')#导入CSV文件，文件名称开头不能是数字
df1=pd.DataFrame(data)#python为什么叫爬虫将导入的数据转为dataframe
print('----------------正在修改告警名称为正确名称--------------')#打印
data=input('请输入原始文件路径及完整名称')
data=pd.read_excel(data)#使用inpuapproacht方式读取excel
outdata=input('请输入导出文件路径及完整名称')
df2.to_excel(outdata,index=False)#使用input方式导出excel，如果index=False，则不输出列标题，否则默认输出列标题。笔记本电脑开机黑屏没反应怎么办

2.数据清洗

列提取

提取df1中‘首次统计开始’等列的数据，组成新的df1

cols=['首次统计周期开始','归属地市','对象','告警名称','无线原因','恢复类型','影响笔记用户数']
df1=df1[cols]

修改时间

将时间格式从20201203这样的改成年月日

df1['首次统计周期开始']=pd.笔记本电脑to_datetime(df1.首次统计周期开始, dayfirst=True)
def fpython语言基础unc(x):
format_time=x.stpython基础教程rftime("%Y{y}%m{m}%d{d}").format(y="年",m="月",d="日")
return format_time
df1['首次统计周期开始']=df1['首次统计周期开始'].ap笔记本电脑怎么连wifiply(funcapple)

内容代替

把名称中的“小区名称”=用空格代替，达到将其删除的目的
df1['python详细安装教程对象']=df1['对象'].str.replace('小区名称=','')
把“自动恢复”改成“已恢复”
df1['恢复类型']=df1['恢复类型'].repython基础教程place(" 自动恢复","已恢复")

删除空app安装下载格

df1['对approach象']=df1['对象'].str.strip()

数据分割

从数据中的“（”进行分割，并且只要分割后的第0列

df2= df1['告警名称'].stappearr.split('(', expappearand=True)
df1['告警名称']=df2[0]

给空缺值赋值

把空缺appstore值替换成定位中
df1[笔记本电脑性价比排行2020'无线原因']=df1['无线原因'].fillna(value='定位中')

添加列

添加一列，标题写为“备注”，并将内容全部写上“华为”
df1['备注']='华为'

修改列名称python语言基础

df1.columns=['时间','市','小区','关联规则','派单原因','hf','影响用户数','备注']

删Python除表格中的部分数据

删除感知劣化小区表格中的旧数据（目前appearance为删除第3651行（数据索引3650）（及以后）

i=df2.python为什么叫爬虫shape[0]+1
i=i-3561
df2=df2.drop(df2.tail(i).index)

数据拼接

把df1拼到df2的下面，是向下拼接，如果向右拼接，就用axis=1
df2=pd.concat(objs=[df2,df1],axis=0,join="ouappearanceter")

3.数据统计

求均值或最大值-groupby

求df5中的第三列的不同元素的第10列数据的均值。在原文件中，第三列为不同场景，第10列是时延数据，通过以下代码可以算出每个场景的平均时延数据。
df6=df5.grou笔记本电脑排名前十pby('3')['10']app安装下载.mean()
如果我想求不同公司员工的平appear均年龄和平均薪水，可以按照python需要什么基础下方的代码进行：
data.g笔记本电脑性价比排行2020roupby("company").agg('mean')
据说还可以用groupby画图，以后再研究。

4.三板斧map、apply以及applypython下载map

数据如下：

如果需要把数据集中gender笔记列的男替换为1，女替换为0，代码应该这么写：
dat笔记本电脑怎么连wifia["gender"] = data["笔记本电脑怎么连wifigender"].map({"男":1, "女":0})
相对于map，apply能够传入功能更为复杂的函数。假设在数据统计的过程中，年龄age列有较大误差，需要对其进行调整（加上或减去一个值），由于这个加上或减去的值未知，故在定义函数时，需要加多一个参数bias，此时用mapython语言基础p方法是操作不了的（传笔记本电脑连不上无线网怎么回事入map的函数只能python语言基础接收一个参数），apply方法则可以解决这个问题。

def apply_age(x,bias):
return x+bias

#以app安装下载元组的方式传入额外的参数
data["age"]application = data["agepython为什么叫爬虫"].apply(apply_age,args=(-3,))

可以看到age列都减了3，当然，这里只是简单举了个例子，当需要进行复杂处理时，更python基础教程能体现applypython可以做什么工作的作用。
假设现在需要对data中的数值列分别进行取对数和笔记求和的操作，这时可笔记以用apply进行相应的操作，因为是对列进行操作，所以需Python要指定axisapp安装下载=0。appstore

# 沿着0轴求和
data[["height","weight","age"]].python为什么叫爬虫appl笔记本y(np.sum, axis=0)

# 沿着0轴取对数
data[["height","weight","agepython基础教程"]].apppython123ly(np.log, axis=0)

applymap的用法比较简单，会对DataFrame中的每个笔记本电脑排名前十单元approach格执行指定函数的操作，虽然用途不如apply广泛，但在某些场合下还是比较有用的。

现在想将DataFrame中所有的值保留两位小数显示：
df.applymap(lambda x:"%.2f" % x)

python数据处理笔记