标签分类
技术文章
当前位置:主页 > 计算机编程 > python > python dataframe均值填充

python dataframe均值填充知识点详解

  • 发布时间:
  • 作者:码农之家原创
  • 点击:118

python dataframe均值填充

这篇文章主要知识点是关于python,dataframe,均值填充,python dataframe均值填充,python DataFrame 取差集实例 python dataframe向下向上填充,fillna和ffill的方法 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Python金融实战(严玉星)
Python金融实战(严玉星)中文原版扫描版
  • 类型:大小:33 MB格式:PDF出版:人民邮电出版社作者:严玉星
立即下载

pandas 用均值填充缺失值列的技巧

pd.DataFrame中通常含有许多特征,有时候需要对每个含有缺失值的列,都用均值进行填充,代码实现可以这样:

for column in list(df.columns[df.isnull().sum() > 0]):
    mean_val = df[column].mean()
    df[column].fillna(mean_val, inplace=True)

# -------代码分解-------
# 判断哪些列有缺失值,得到series对象
df.isnull().sum() > 0
# output
contributors                      True
coordinates                       True
created_at                       False
display_text_range               False
entities                         False
extended_entities                 True
favorite_count                   False
favorited                        False
full_text                        False
geo                               True
id                               False
id_str                           False
...

# 根据上一步结果,筛选需要填充的列
df.columns[df.isnull().sum() > 0]
# output
Index(['contributors', 'coordinates', 'extended_entities', 'geo',
       'in_reply_to_screen_name', 'in_reply_to_status_id',
       'in_reply_to_status_id_str', 'in_reply_to_user_id',
       'in_reply_to_user_id_str', 'place', 'possibly_sensitive',
       'possibly_sensitive_appealable', 'quoted_status', 'quoted_status_id',
       'quoted_status_id_str', 'retweeted_status'],
      dtype='object')

 

python DataFrame 取差集实例

需求:给定一个dataframe和一个list,list中存放的是dataframe中某一列的元素,删除dataframe中与list元素重复的行(即取差集)。

在网上搜了一圈,好像没看到DataFrame中取差集的方式,所以自己写了一个。方法比较繁琐,如果有更简便的方式,请留言。

import pandas as pd
data = [[1,2,3],[2,3,4],[3,4,5],[4,5,6]]
# 创建dataframe,包含a,b,c三列
df = pd.DataFrame(data, columns=['a','b','c'])
print(df)
# a 列中待删除的元素
a_to_drop = [1, 3]
# 找到待删除元素所在的位置,返回的是 true or false 序列
flag = df['a'].isin(a_to_drop)
# 由于我们要取差集,因此对上述序列取反
diff_flag = [not f for f in flag]
# res 为我们所需要的差集
res = df[diff_flag]
# 重置index
res.index = [i for i in range(len(res))]
print(res)

以上这篇python DataFrame 取差集实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。

python dataframe向下向上填充,fillna和ffill的方法

首先新建一个dataframe:

In[8]: df = pd.DataFrame({'name':list('ABCDA'),'house':[1,1,2,3,3],'date':['2010-01-01','2010-06-09','2011-12-03','2011-04-05','2012-03-23']})
In[9]: df
Out[9]: 
   date house name
0 2010-01-01  1 A
1 2010-06-09  1 B
2 2011-12-03  2 C
3 2011-04-05  3 D
4 2012-03-23  3 A

将date列改为时间类型:

In[12]: df.date = pd.to_datetime(df.date)

数据的含义是这样的,我们有ABCD四个人的数据,已知A在2010-01-01的时候,名下有1套房,B在2010-06-09的时候,名下有1套房,C在2011-12-03的时候,有2套房,D在2011-04-05的时候有3套房,A在2012-02-23的时候,数据更新了,有两套房。

要求在有姓名和时间的情况下,能给出其名下有几套房:

比如A在2010-01-01与2012-03-23期间任意一天,都应该是1套房,在2012-03-23之后,都是3套房。

我们使用pandas的fillna方法,选择ffill。

首先我们获得一个2010-01-01到2017-12-01的dataframe

In[14]: time_range = pd.DataFrame(
 pd.date_range('2010-01-01','2017-12-01',freq='D'), columns=['date']).set_index("date")
In[15]: time_range
Out[15]: 
Empty DataFrame
Columns: []
Index: [2010-01-01 00:00:00, 2010-01-02 00:00:00, 2010-01-03 00:00:00, 2010-01-04 00:00:00, 2010-01-05 00:00:00, 2010-01-06 00:00:00, 2010-01-07 00:00:00, 2010-01-08 00:00:00, 2010-01-09 00:00:00, 2010-01-10 00:00:00, 2010-01-11 00:00:00, 2010-01-12 00:00:00, 2010-01-13 00:00:00, 2010-01-14 00:00:00, 2010-01-15 00:00:00, 2010-01-16 00:00:00, 2010-01-17 00:00:00, 2010-01-18 00:00:00, 2010-01-19 00:00:00, 2010-01-20 00:00:00, 2010-01-21 00:00:00, 2010-01-22 00:00:00, 2010-01-23 00:00:00, 2010-01-24 00:00:00, 2010-01-25 00:00:00, 2010-01-26 00:00:00, 2010-01-27 00:00:00, 2010-01-28 00:00:00, 2010-01-29 00:00:00, 2010-01-30 00:00:00, 2010-01-31 00:00:00, 2010-02-01 00:00:00, 2010-02-02 00:00:00, 2010-02-03 00:00:00, 2010-02-04 00:00:00, 2010-02-05 00:00:00, 2010-02-06 00:00:00, 2010-02-07 00:00:00, 2010-02-08 00:00:00, 2010-02-09 00:00:00, 2010-02-10 00:00:00, 2010-02-11 00:00:00, 2010-02-12 00:00:00, 2010-02-13 00:00:00, 2010-02-14 00:00:00, 2010-02-15 00:00:00, 2010-02-16 00:00:00, 2010-02-17 00:00:00, 2010-02-18 00:00:00, 2010-02-19 00:00:00, 2010-02-20 00:00:00, 2010-02-21 00:00:00, 2010-02-22 00:00:00, 2010-02-23 00:00:00, 2010-02-24 00:00:00, 2010-02-25 00:00:00, 2010-02-26 00:00:00, 2010-02-27 00:00:00, 2010-02-28 00:00:00, 2010-03-01 00:00:00, 2010-03-02 00:00:00, 2010-03-03 00:00:00, 2010-03-04 00:00:00, 2010-03-05 00:00:00, 2010-03-06 00:00:00, 2010-03-07 00:00:00, 2010-03-08 00:00:00, 2010-03-09 00:00:00, 2010-03-10 00:00:00, 2010-03-11 00:00:00, 2010-03-12 00:00:00, 2010-03-13 00:00:00, 2010-03-14 00:00:00, 2010-03-15 00:00:00, 2010-03-16 00:00:00, 2010-03-17 00:00:00, 2010-03-18 00:00:00, 2010-03-19 00:00:00, 2010-03-20 00:00:00, 2010-03-21 00:00:00, 2010-03-22 00:00:00, 2010-03-23 00:00:00, 2010-03-24 00:00:00, 2010-03-25 00:00:00, 2010-03-26 00:00:00, 2010-03-27 00:00:00, 2010-03-28 00:00:00, 2010-03-29 00:00:00, 2010-03-30 00:00:00, 2010-03-31 00:00:00, 2010-04-01 00:00:00, 2010-04-02 00:00:00, 2010-04-03 00:00:00, 2010-04-04 00:00:00, 2010-04-05 00:00:00, 2010-04-06 00:00:00, 2010-04-07 00:00:00, 2010-04-08 00:00:00, 2010-04-09 00:00:00, 2010-04-10 00:00:00, ...]
 
[2892 rows x 0 columns]

然后用上上篇博客中提到的pivot_table将原本的df转变之后,与time_range进行merger操作。

In[16]: df = pd.pivot_table(df, columns='name', index='date')
 
In[17]: df
Out[17]: 
   house    
name   A B C D
date       
2010-01-01 1.0 NaN NaN NaN
2010-06-09 NaN 1.0 NaN NaN
2011-04-05 NaN NaN NaN 3.0
2011-12-03 NaN NaN 2.0 NaN
2012-03-23 3.0 NaN NaN NaN
In[18]: df = df.merge(time_range,how="right", left_index=True, right_index=True)

然后再进行向下填充操作:

In[20]: df = df.fillna(method='ffill')

最后:

df = df.stack().reset_index()

结果太长,这里就不粘贴了。如果想向上填充,可选择method = 'bfill‘

以上这篇python dataframe向下向上填充,fillna和ffill的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。

以上就是本次给大家分享的全部知识点内容总结,大家还可以在下方相关文章里找到等python文章进一步学习,感谢大家的阅读和支持。

上一篇:python打包exe能运行但是没有结果解决方案

下一篇:python re正则匹配过滤指定字符串

展开 +

收起 -

学习笔记
网友NO.624816

python DataFrame 取差集实例

需求: 给定一个dataframe和一个list,list中存放的是dataframe中某一列的元素,删除dataframe中与list元素重复的行(即取差集)。 在网上搜了一圈,好像没看到DataFrame中取差集的方式,所以自己写了一个。方法比较繁琐,如果有更简便的方式,请留言。 import pandas as pddata = [[1,2,3],[2,3,4],[3,4,5],[4,5,6]]# 创建dataframe,包含a,b,c三列df = pd.DataFrame(data, columns=['a','b','c'])print(df)# a 列中待删除的元素a_to_drop = [1, 3]# 找到待删除元素所在的位置,返回的是 true or false 序列flag = df['a'].isin(a_to_drop)# 由于我们要取差集,因此对上述序列取反diff_flag = [not f for f in flag]# res 为我们所需要的差集res = df[diff_flag]# 重置indexres.index = [i for i in range(len(res))]print(res) 以上这篇python DataFrame 取差集实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

网友NO.418740

Python+Pandas 获取数据库并加入DataFrame的实例

实例如下所示: import pandas as pdimport sysimport impimp.reload(sys)from sqlalchemy import create_engineimport cx_Oracle db=cx_Oracle.connect('userid','password','10.10.1.10:1521/dbinstance')print db.versioncr=db.cursor()sql='select * from sys_user'cr.execute(sql)rs=cr.fetchall()zz=pd.DataFrame(rs);print zz db.close() 以上这篇Python+Pandas 获取数据库并加入DataFrame的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

网友NO.161688

Python DataFrame.groupby()聚合函数,分组级运算

pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他分组分析。 groupby分组函数: 返回值:返回重构格式的DataFrame,特别注意,groupby里面的字段内的数据重构后都会变成索引 groupby(),一般和sum()、mean()一起使用,如下例: 先自定义生成数组 import pandas as pddf = pd.DataFrame({'key1':list('ababa'), 'key2': ['one','two','one','two','one'], 'data1': np.random.randn(5), 'data2': np.random.randn(5)})print(df) data1 data2 key1 key20 -1.313101 -0.453361 a one1 0.791463 1.096693 b two2 0.462611 1.150597 a one3 -0.216121 1.381333 b two4 0.077367 -0.282876 a one 应用groupby,分组键均为Series(譬如df[‘xx']),实际上分组键可以是任何长度适当的数组 #将df['data1']按照分组键为df['key1']进行分组grouped=df['data1'].groupby(df['key1'])print(grouped.mean())key1a -0.257707b 0.287671Name: data1, dtype: float64states=np.array(['Ohio','California','California','Ohio','Ohio'])years=np.array([2005,2005,2006,2005,2006])#states第一层索引……

网友NO.882061

Python创建一个空的dataframe,并循环赋值的方法

如下所示: # 创建一个空的 DataFramedf_empty = pd.DataFrame()#或者df_empty = pd.DataFrame(columns=['A', 'B', 'C', 'D']) #添加数据a为一个新的dataframedf_empty = df_empty.append(a) 以上这篇Python创建一个空的dataframe,并循环赋值的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

<
1
>

Copyright 2018-2019 xz577.com 码农之家

版权责任说明