我们从回答第一个问题开始:

为什么我得到值错误:索引包含重复项，无法重塑

出现这种情况是因为pandas试图重新索引具有重复条目的columns或index对象。 可以使用各种不同的方法来执行透视。 其中一些不太适合当有重复的关键字时，它被要求在其中枢轴。 比如。 请考虑pd.dataframe.pivot。 我知道存在共享row和col值的重复条目:

df.duplicated(['row', 'col']).any()

True

所以当我pivot使用

df.pivot(index='row', columns='col', values='val0')

我得到了上面提到的错误。 实际上，当我尝试使用以下命令执行相同的任务时，会得到相同的错误:

df.set_index(['row', 'col'])['val0'].unstack()

下面是我们可以用来透视的成语列表

• PD.DataFrame.GroupBy+PD.DataFrame.Unstack
  • 用于执行任何类型的枢轴的良好通用方法
  • 指定将构成一个组中的枢转行级别和列级别的所有列。 然后选择要聚合的其余列和要执行聚合的函数。 最后，对要在列索引中的级别进行解堆叠。
  • 是groupby的美化版本，具有更直观的API。 对许多人来说，这是首选的方法。 并且是开发人员希望使用的方法。
  • 指定行级别，列级别，要聚合的值以及执行聚合的函数。
  • 方便和直观的一些（包括我自己）。 无法处理重复的分组键。
  • 类似于GroupBy范式，我们指定所有最终将是行或列级别的列，并将它们设置为索引。 然后unstack列中所需的级别。 如果其余索引级别或列级别不唯一，则此方法将失败。
  • 与set_index非常相似，因为它共享重复键限制。 API也非常有限。 它只接受索引，列，值的标量值。
  • 类似于pivot_table方法，我们选择要透视的行，列和值。 但是，我们不能聚合，如果行或列不唯一，则此方法将失败。
  • 这是pivot_table的专门版本，以其最纯粹的形式是执行几项任务的最直观的方法。
  • 这是一种高精尖的技术，很晦涩，但速度很快。 它不能在所有情况下都使用，但是当您能够使用它并且使用起来很舒服时，您将获得性能奖励。
  • 我使用它来巧妙地执行交叉制表。

  对于后续的每个答案和问题，我要做的是使用pd.dataframe.pivot_table来回答它。 然后我将提供执行相同任务的替代方案。

  如何透视df，使col值为列，row值为索引，val0的平均值为值，而缺失值为0？

  >

• pd.dataframe.pivot_table

  > 默认情况下不设置

• fill_value。 我倾向于适当地设置。 在本例中，我将其设置为0。 请注意，我跳过了问题2，因为它与没有fill_value
的答案相同

• aggfunc='mean'是默认值，我不必设置它。 我把它写进去是为了明确。

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc='mean')
  
  col   col0   col1   col2   col3  col4
  row                                  
  row0  0.77  0.605  0.000  0.860  0.65
  row2  0.13  0.000  0.395  0.500  0.25
  row3  0.00  0.310  0.000  0.545  0.00
  row4  0.00  0.100  0.395  0.760  0.24
  

  pd.dataframe.groupby

  df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)
  

  pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='mean').fillna(0)
  

  我能得到mean以外的东西吗，比如也许sum？

  >

• pd.dataframe.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc='sum')
  
  col   col0  col1  col2  col3  col4
  row                               
  row0  0.77  1.21  0.00  0.86  0.65
  row2  0.13  0.00  0.79  0.50  0.50
  row3  0.00  0.31  0.00  1.09  0.00
  row4  0.00  0.10  0.79  1.52  0.24
  

  pd.dataframe.groupby

  df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)
  

  pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='sum').fillna(0)
  

  我可以一次进行多个聚合吗？

  注意，对于pivot_table和crossstab，我需要传递可调用列表。 另一方面，groupby.agg能够将字符串用于有限数量的特殊函数。 groupby.agg也会接受我们传递给其他函数的相同的可调用项，但是利用字符串函数名通常更有效，因为这样可以获得更高的效率。

  >

• pd.dataframe.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc=[np.size, np.mean])
  
       size                      mean                           
  col  col0 col1 col2 col3 col4  col0   col1   col2   col3  col4
  row                                                           
  row0    1    2    0    1    1  0.77  0.605  0.000  0.860  0.65
  row2    1    0    2    1    2  0.13  0.000  0.395  0.500  0.25
  row3    0    1    0    2    0  0.00  0.310  0.000  0.545  0.00
  row4    0    1    2    2    1  0.00  0.100  0.395  0.760  0.24
  

  pd.dataframe.groupby

  df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)
  

  pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')
  

  是否可以在多个值列上聚合？

  >

• pd.dataframe.pivot_table我们传递values=['val0'，'val1']，但是我们可以完全不传递

  df.pivot_table(
      values=['val0', 'val1'], index='row', columns='col',
      fill_value=0, aggfunc='mean')
  
        val0                             val1                          
  col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
  row                                                                  
  row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
  row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
  row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
  row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46
  

  pd.dataframe.groupby

  df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)
  

  可以按多列细分？

  >

• pd.dataframe.pivot_table

  df.pivot_table(
      values='val0', index='row', columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item item0             item1                         item2                   
  col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
  row                                                                          
  row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
  row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
  row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
  row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00
  

  pd.dataframe.groupby

  df.groupby(
      ['row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
  

  可以按多列细分？

  >

• pd.dataframe.pivot_table

  df.pivot_table(
      values='val0', index=['key', 'row'], columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item      item0             item1                         item2                  
  col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
  key  row                                                                         
  key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
       row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
       row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
       row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
  key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
       row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
       row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
       row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
  key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
       row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
       row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00
  

  pd.dataframe.groupby

  df.groupby(
      ['key', 'row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
  

  pd.dataframe.set_index，因为键集对于行和列都是唯一的

  df.set_index(
      ['key', 'row', 'item', 'col']
  )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)
  

  我是否可以汇总列和行一起出现的频率，也就是“交叉制表”？

  >

• pd.dataframe.pivot_table

  df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')
  
      col   col0  col1  col2  col3  col4
  row                               
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1
  

  pd.dataframe.groupby

  df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)
  

  pd.crosstab

  pd.crosstab(df['row'], df['col'])
  

  pd.factorize+np.bincount

  # get integer factorization `i` and unique values `r`
  # for column `'row'`
  i, r = pd.factorize(df['row'].values)
  # get integer factorization `j` and unique values `c`
  # for column `'col'`
  j, c = pd.factorize(df['col'].values)
  # `n` will be the number of rows
  # `m` will be the number of columns
  n, m = r.size, c.size
  # `i * m + j` is a clever way of counting the 
  # factorization bins assuming a flat array of length
  # `n * m`.  Which is why we subsequently reshape as `(n, m)`
  b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
  # BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
  pd.DataFrame(b, r, c)
  
        col3  col2  col0  col1  col4
  row3     2     0     0     1     0
  row2     1     2     1     0     2
  row0     1     0     1     2     1
  row4     2     2     0     1     1
  

  pd.get_dummies

  pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))
  
        col0  col1  col2  col3  col4
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1
  

  如何通过仅在两列上旋转来将数据帧从长转换为宽？

  第一步是给每一行分配一个数字--这个数字将是枢转结果中那个值的行索引。 这是使用groupby.cumcount完成的:

  df2.insert(0, 'count', df.groupby('A').cumcount())
  df2
  
     count  A   B
  0      0  a   0
  1      1  a  11
  2      2  a   2
  3      3  a  11
  4      0  b  10
  5      1  b  10
  6      2  b  14
  7      0  c   7
  

  第二步是使用新创建的列作为索引来调用dataframe.pivot。

  df2.pivot(*df)
  # df.pivot(index='count', columns='A', values='B')
  
  A         a     b    c
  count                 
  0       0.0  10.0  7.0
  1      11.0  10.0  NaN
  2       2.0  14.0  NaN
  3      11.0   NaN  NaN
  

  如何在pivot之后将多个索引扁平化为单个索引

  如果列用字符串join键入object

  df.columns = df.columns.map('|'.join)
  

  其他格式

  df.columns = df.columns.map('{0[0]}|{0[1]}'.format) 
  

要扩展@Pirsquared的答案，则为问题10的另一个版本

数据帧:

d = data = {'A': {0: 1, 1: 1, 2: 1, 3: 2, 4: 2, 5: 3, 6: 5},
 'B': {0: 'a', 1: 'b', 2: 'c', 3: 'a', 4: 'b', 5: 'a', 6: 'c'}}
df = pd.DataFrame(d)

   A  B
0  1  a
1  1  b
2  1  c
3  2  a
4  2  b
5  3  a
6  5  c

输出:

   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

使用df.groupby和pd.series.toList

t = df.groupby('A')['B'].apply(list)
out = pd.DataFrame(t.tolist(),index=t.index)
out
   0     1     2
A
1  a     b     c
2  a     b  None
3  a  None  None
5  c  None  None

或者使用pd.pivot_table和df.squeeze更好的替代方案

t = df.pivot_table(index='A',values='B',aggfunc=list).squeeze()
out = pd.DataFrame(t.tolist(),index=t.index)