新版Pandas使用以下界面加载Excel文件:
read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])
但如果我不知道有哪些床单呢?
例如,我正在工作的excel文件,如下表
数据1,数据2…,数据N, foo, bar
但我不知道先验的N。
有没有办法从熊猫的excel文档中获得表的列表?
新版Pandas使用以下界面加载Excel文件:
read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])
但如果我不知道有哪些床单呢?
例如,我正在工作的excel文件,如下表
数据1,数据2…,数据N, foo, bar
但我不知道先验的N。
有没有办法从熊猫的excel文档中获得表的列表?
当前回答
如果你读excel文件
dfs = pd.ExcelFile('file')
然后使用
dfs.sheet_names
dfs.parse('sheetname')
另一种变体
df = pd.read_excel('file', sheet_name='sheetname')
其他回答
您应该显式地将第二个参数(sheetname)指定为None。是这样的:
df = pandas.read_excel("/yourPath/FileName.xlsx", None);
"df"都是一个数据帧字典,你可以通过运行这个来验证:
df.keys()
结果是这样的:
[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']
详情请参考熊猫文档:https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html
With the load_workbook readonly option, what was earlier seen as a execution seen visibly waiting for many seconds happened with milliseconds. The solution could however be still improved. import pandas as pd from openpyxl import load_workbook class ExcelFile: def __init__(self, **kwargs): ........ ..... self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames) The Excelfile.parse takes the same time as reading the complete xls in order of 10s of sec. This result was obtained with windows 10 operating system with below package versions C:\>python -V Python 3.9.1 C:\>pip list Package Version --------------- ------- et-xmlfile 1.0.1 numpy 1.20.2 openpyxl 3.0.7 pandas 1.2.3 pip 21.0.1 python-dateutil 2.8.1 pytz 2021.1 pyxlsb 1.0.8 setuptools 49.2.1 six 1.15.0 xlrd 2.0.1
我尝试过xlrd、pandas、openpyxl和其他类似的库,所有这些库似乎都需要指数级的时间,因为它们读取整个文件时,文件大小会增加。上面提到的其他解决方案,他们使用“on_demand”不适合我。如果您只想最初获得表名,下面的函数适用于xlsx文件。
def get_sheet_details(file_path):
sheets = []
file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
# Make a temporary directory with the file name
directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
os.mkdir(directory_to_extract_to)
# Extract the xlsx file as it is just a zip file
zip_ref = zipfile.ZipFile(file_path, 'r')
zip_ref.extractall(directory_to_extract_to)
zip_ref.close()
# Open the workbook.xml which is very light and only has meta data, get sheets from it
path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
with open(path_to_workbook, 'r') as f:
xml = f.read()
dictionary = xmltodict.parse(xml)
for sheet in dictionary['workbook']['sheets']['sheet']:
sheet_details = {
'id': sheet['@sheetId'],
'name': sheet['@name']
}
sheets.append(sheet_details)
# Delete the extracted files directory
shutil.rmtree(directory_to_extract_to)
return sheets
由于所有xlsx基本上都是压缩文件,我们提取底层xml数据并直接从工作簿中读取表名,这与库函数相比只需几分之一秒的时间。
基准测试:(在一个6mb的xlsx文件上,有4张纸) 熊猫,xlrd: 12秒 Openpyxl: 24秒 建议方法:0.4秒
因为我的要求只是读取表名,读取整个时间的不必要开销让我很困扰,所以我选择了这种方法。
import pandas as pd
path = "\\DB\\Expense\\reconcile\\"
file_name = "202209-v01.xlsx"
df = pd.read_excel(path + file_name, None)
print(df)
sheet_names = list(df.keys())
# print last sheet name
print(sheet_names[len(sheet_names)-1])
last_month = df.get(sheet_names[len(sheet_names)-1])
print(last_month)
from openpyxl import load_workbook
sheets = load_workbook(excel_file, read_only=True).sheetnames
对于我正在使用的5MB Excel文件,没有read_only标志的load_workbook花了8.24秒。对于read_only标志,只需要39.6 ms。如果您仍然希望使用Excel库而不使用xml解决方案,那么这比解析整个文件的方法要快得多。