我从列表列表中创建了一个DataFrame:
table = [
['a', '1.2', '4.2' ],
['b', '70', '0.03'],
['x', '5', '0' ],
]
df = pd.DataFrame(table)
如何将列转换为特定类型?在本例中，我想将列2和列3转换为浮点数。
是否有一种方法可以在转换到DataFrame时指定类型?还是先创建DataFrame，然后循环遍历列以更改每列的类型更好?理想情况下，我希望以动态的方式进行此操作，因为可能有数百个列，而我不想确切地指定哪些列属于哪种类型。我所能保证的是每一列都包含相同类型的值。
当前回答
Df.info()给出了temp的初始数据类型，即float64
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 date 132 non-null object
1 temp 132 non-null float64
现在，使用这段代码将数据类型更改为int64:
df['temp'] = df['temp'].astype('int64')
如果你再次执行df.info()，你会看到:
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 date 132 non-null object
1 temp 132 non-null int64
这表明您已经成功更改了列temp的数据类型。编码愉快!
其他回答
如果你想从字符串格式转换一列，我建议使用这段代码"
import pandas as pd
#My Test Data
data = {'Product': ['A','B', 'C','D'],
'Price': ['210','250', '320','280']}
data
#Create Data Frame from My data df = pd.DataFrame(data)
#Convert to number
df['Price'] = pd.to_numeric(df['Price'])
df
Total = sum(df['Price'])
Total
否则，如果你要将一些列值转换为数字，我建议你先过滤你的值并保存在空数组中，然后转换为数字。我希望这段代码能解决您的问题。
熊猫>= 1.0
下面这张图表总结了熊猫身上一些最重要的基因转换。
到字符串的转换是简单的.astype(str)，图中没有显示。
“硬”与“软”转换
注意，这里的“转换”既可以指将文本数据转换为实际数据类型(硬转换)，也可以指为对象列中的数据推断更合适的数据类型(软转换)。为了说明区别，我们来看一下
df = pd.DataFrame({'a': ['1', '2', '3'], 'b': [4, 5, 6]}, dtype=object)
df.dtypes
a object
b object
dtype: object
# Actually converts string to numeric - hard conversion
df.apply(pd.to_numeric).dtypes
a int64
b int64
dtype: object
# Infers better data types for object data - soft conversion
df.infer_objects().dtypes
a object # no change
b int64
dtype: object
# Same as infer_objects, but converts to equivalent ExtensionType
df.convert_dtypes().dtypes
我以为我有同样的问题，但实际上我有一个轻微的差异，使问题更容易解决。对于其他研究这个问题的人来说，检查输入列表的格式是值得的。在我的情况下，数字最初是浮点数，而不是问题中的字符串:
a = [['a', 1.2, 4.2], ['b', 70, 0.03], ['x', 5, 0]]
但是在创建dataframe之前过多地处理列表，我丢失了类型，所有内容都变成了字符串。
通过NumPy数组创建数据帧:
df = pd.DataFrame(np.array(a))
df
Out[5]:
0 1 2
0 a 1.2 4.2
1 b 70 0.03
2 x 5 0
df[1].dtype
Out[7]: dtype('O')
给出与问题中相同的数据帧，其中列1和列2中的条目被视为字符串。然而做
df = pd.DataFrame(a)
df
Out[10]:
0 1 2
0 a 1.2 4.20
1 b 70.0 0.03
2 x 5.0 0.00
df[1].dtype
Out[11]: dtype('float64')
实际上给出了一个数据帧，其中列的格式正确。
Df.info()给出了temp的初始数据类型，即float64
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 date 132 non-null object
1 temp 132 non-null float64
现在，使用这段代码将数据类型更改为int64:
df['temp'] = df['temp'].astype('int64')
如果你再次执行df.info()，你会看到:
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 date 132 non-null object
1 temp 132 non-null int64
这表明您已经成功更改了列temp的数据类型。编码愉快!
是否有一种方法可以在转换到DataFrame时指定类型?
是的。其他答案在创建DataFrame之后转换dtypes，但是我们可以在创建时指定类型。根据输入格式使用DataFrame.from_records或read_csv(dtype=…)。
后者有时是必要的，以避免大数据的内存错误。
1. DataFrame.from_records
从所需列类型的结构化数组创建DataFrame:
x = [['foo', '1.2', '70'], ['bar', '4.2', '5']]
df = pd.DataFrame.from_records(np.array(
[tuple(row) for row in x], # pass a list-of-tuples (x can be a list-of-lists or 2D array)
'object, float, int' # define the column types
))
输出:
>>> df.dtypes
# f0 object
# f1 float64
# f2 int64
# dtype: object
2. read_csv (dtype =…)
如果从文件中读取数据，则使用read_csv的dtype参数在加载时设置列类型。
例如，这里我们读取30M行，其评级为8位整数，类型为分类:
lines = '''
foo,biography,5
bar,crime,4
baz,fantasy,3
qux,history,2
quux,horror,1
'''
columns = ['name', 'genre', 'rating']
csv = io.StringIO(lines * 6_000_000) # 30M lines
df = pd.read_csv(csv, names=columns, dtype={'rating': 'int8', 'genre': 'category'})
在这种情况下，我们在加载时将内存使用量减半:
>>> df.info(memory_usage='deep')
# memory usage: 1.8 GB
>>> pd.read_csv(io.StringIO(lines * 6_000_000)).info(memory_usage='deep')
# memory usage: 3.7 GB
这是避免大数据内存错误的一种方法。加载后并不总是可以更改dtype，因为我们可能没有足够的内存来加载默认类型的数据。
