当前位置:主页 > python教程 > pandas DataFrame 删除重复的行的实现方法

pandas DataFrame 如何删除重复的行

发布:2020-01-20 14:13:55 101


给网友们整理pandas相关的编程文章,网友宫天和根据主题投稿了本篇教程内容,涉及到pandas、DataFrame、删除重复、pandas DataFrame 删除重复的行的实现方法相关内容,已被669网友关注,内容中涉及的知识点可以在下方直接下载获取。

pandas DataFrame 删除重复的行的实现方法

1. 建立一个DataFrame

 C=pd.DataFrame({'a':['dog']*3+['fish']*3+['dog'],'b':[10,10,12,12,14,14,10]})

pandas DataFrame 删除重复的行的实现方法

2. 判断是否有重复项

用duplicated( )函数判断  

C.duplicated()

pandas DataFrame 删除重复的行的实现方法

3.  有重复项,则可以用drop_duplicates()移除重复项

C.drop_duplicates()

pandas DataFrame 删除重复的行的实现方法

4. Duplicated( )和drop_duplicates( )方法是以默认的方式判断全部的列(上面的例子中是看两个变量a和b是否都是重复出现)。

我们也可以对特定的列进行重复项判断。

102775

 C.duplicated(['a'])   C.drop_duplicates(['a'])

 C.duplicated(['b'])   C.drop_duplicates(['b'])

pandas DataFrame 删除重复的行的实现方法

5.  norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep='first')

#上面的命令去掉UNIT_ID和KPI_ID列中重复的行,并保留重复出现的行中第一次出现的行

补充: 

  • 当keep=False时,就是去掉所有的重复行 
  • 当keep=‘first'时,就是保留第一次出现的重复行 
  • 当keep='last'时就是保留最后一次出现的重复行。 

(注意,这里的参数是字符串,要加引号!!!)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持码农之家。


相关文章

  • pandas实现导出数据的四种方式

    发布:2022-10-20

    为网友们分享了关于pandas的教程,这篇文章主要介绍了pandas实现导出数据的四种方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • python中dataframe与series的创建方法

    发布:2019-06-18

    今天小编就为大家分享一篇浅谈python的dataframe与series的创建方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • Pandas数据分析多文件批次聚合处理实例解析

    发布:2023-04-09

    这篇文章主要为大家介绍了Pandas数据分析多文件批次聚合处理实例解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪


  • 对pandas中时间窗函数rolling的实例讲解

    发布:2021-04-27

    今天小编就为大家分享一篇对pandas中时间窗函数rolling的使用详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • 实例讲述Python中pandas模块使用方法

    发布:2020-03-14

    这篇文章主要介绍了Python数据分析模块pandas用法,结合实例形式详细分析了Python数据分析模块pandas的功能、常见用法及相关操作注意事项,需要的朋友可以参考下


  • pandas 选取行和列数据的方法详解

    pandas 选取行和列数据的方法详解

    发布:2023-01-24

    给网友朋友们带来一篇关于pandas的教程,这篇文章主要介绍了pandas 选取行和列数据的方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下


  • pandas中concatenate和combine_first的用法详解

    发布:2023-03-04

    本文主要介绍了pandas中concatenate和combine_first的用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • Pandas查询数据df.query的使用

    发布:2022-10-17

    为网友们分享了关于Pandas的教程,本文主要介绍了Pandas查询数据df.query的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


网友讨论