我试图在Python中使用熊猫和Scikit学习执行分类。我的数据集包含文本变量、数字变量和分类变量的混合。
假设我的数据集如下所示：
Project Cost Project Category Project Description Project Outcome
12392.2 ABC This is a description Fully Funded
493992.4 DEF Stack Overflow rocks Expired
我需要预测变量Project Outget。以下是我所做的（假设df包含我的数据集）：
>
我转换的类别项目类别和项目成果到数值
df['Project Category'] = df['Project Category'].factorize()[0]
df['Project Outcome'] = df['Project Outcome'].factorize()[0]
数据集现在如下所示：
Project Cost Project Category Project Description Project Outcome
12392.2 0 This is a description 0
493992.4 1 Stack Overflow rocks 1
然后我使用TF-IDF
tfidf_vectorizer = TfidfVectorizer()
df['Project Description'] = tfidf_vectorizer.fit_transform(df['Project Description'])
数据集现在看起来像这样：
Project Cost Project Category Project Description Project Outcome
12392.2 0 (0, 249)\t0.17070240732941433\n (0, 304)\t0.. 0
493992.4 1 (0, 249)\t0.17070240732941433\n (0, 304)\t0.. 1
既然现在所有的变量都是数值我想我可以开始训练我的模型了
X = df.drop(columns=['Project Outcome'], axis=1)
y = df['Project Outcome']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)
model = MultinomialNB()
model.fit(X_train, y_train)
但是我得到的错误ValueError：设置一个数组元素的序列。当我打印X_train时，我注意到Project description ption由于某种原因被NaN所取代。
有什么帮助吗？使用具有各种数据类型的变量进行分类有什么好方法吗？谢谢你。
把这个换掉
df['Project Description'] = tfidf_vectorizer.fit_transform(df['Project Description'])
与
df['Project Description'] = tfidf_vectorizer.fit_transform(df['Project Description']).toarray()
也可以使用：tfidf_矢量器。fit_变换（df['Project Description']）。托登斯（）
此外，您不应该简单地将类别转换为数字。例如，如果将A、B和C转换为0、1和2。它们被视为2
#df has all not categorical features
featurelist_categorical = ['Project Category', 'Feature A',
'Feature B']
for i,j in zip(featurelist_categorical, ['Project Category','A','B']):
df = pd.concat([df, pd.get_dummies(data[i],prefix=j)], axis=1)
功能前缀不是必需的，但在有多个分类功能的情况下，它将特别有助于您。
另外，如果你不想因为某种原因将你的特征分割成数字，你可以使用H2O。人工智能。使用H2O，您可以直接将分类变量作为文本输入到模型中。
问题出现在步骤2中，使用tfidf\u矢量器。fit_transform（df['Project Description']）因为tfidf_矢量器。fit_transform返回一个稀疏矩阵，然后以压缩形式存储在df['Project Description']列中。您希望将结果作为稀疏矩阵（或者更理想的是作为密集矩阵）保存，以用于模型训练和测试。下面是以密集形式准备数据的示例代码
import pandas as pd
import numpy as np
df = pd.DataFrame({'project_category': [1,2,1],
'project_description': ['This is a description','Stackoverflow rocks', 'Another description']})
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()
X_tfidf = tfidf_vectorizer.fit_transform(df['project_description']).toarray()
X_all_data_tfidf = np.hstack((df['project_category'].values.reshape(len(df['project_category']),1), X_train_tfidf))
我们在“project_类别”中添加的最后一行，用于确定是否要将其作为功能包含在模型中。
