数据去重

数据去重是数据整理过程中非常重要的一步，它可以帮助我们消除数据中的重复项，确保分析的准确性。数据去重通常涉及到对数据集中的行或列进行比对，然后识别和删除重复的数据记录。

数据去重的方法

1. 基于单列的去重

   • 示例：对某一列数据进行去重，只保留唯一值。

   import pandas as pd
   df = pd.DataFrame({'A': [1, 1, 2, 3, 3]})
   df_unique = df['A'].drop_duplicates()
   print(df_unique)
   

2. 基于多列的去重

   • 示例：对多列数据进行去重，确保多列的组合唯一。

   import pandas as pd
   df = pd.DataFrame({'A': [1, 1, 2, 2, 3], 'B': [2, 2, 3, 3, 4]})
   df_unique = df.drop_duplicates(subset=['A', 'B'])
   print(df_unique)
   

3. 基于索引的去重

   • 示例：根据DataFrame的索引进行去重。

   import pandas as pd
   df = pd.DataFrame({'A': [1, 1, 2, 3], 'B': [2, 2, 3, 4]}, index=['a', 'a', 'b', 'c'])
   df_unique = df[~df.index.duplicated()]
   print(df_unique)
   

以上是一些常用的数据去重方法，选择合适的方法可以在数据整理过程中提高效率和准确性。