当前位置: 首页 > 图灵资讯 > 行业资讯> 如何解决运行较大excel文件openpyxl变慢问题

如何解决运行较大excel文件openpyxl变慢问题

发布时间:2025-12-01 20:59:18

平时打开小文件的时候不注意。当有更大的excel偶尔需要运行时,openpyxl会变慢 。今日小编就教大家解决运行较大excel文件时openpyxl变慢的问题 。

运行以下代码:

from openpyxl import Workbook from openpyxl.utils import get_column_letter from openpyxl import load_workbook import time wb = load_workbook("E:/a.xlsx", read_only=True) sh = wb["Sheet"] # rowItem = {} # for j in range(1,2000): # for i in range(1, 30): # rowItem[get_column_letter(i)] = i # sh.append(rowItem) # wb.save("E:/a.xlsx") t0 = time.time() print(sh['V500'].value) t1 = time.time() print("openpyxl使用时间:", str(t1-t0)) import xlrd xlsPath = "E:/a.xlsx" WorkBook = xlrd.open_workbook(xlsPath) sh = WorkBook.sheet_by_name("Sheet") t0 = time.time() print(sh.cell(499,22).value) t1 = time.time() print("xlrd所用时间:", str(t1-t0))

测试结果:

22 openpyxl使用时间: 0.44217610359191895 23.0 xlrd所用时间: 0.0010063648223876953

结论

openpyxl的慢读取慢,可以选择xlrd代替,下面继续详细测试。

xlwt+xlrd之所以不直接使用,是因为xlwt只支持2003及以下版本,行数限制在65536,不够,openpyxl在100万左右。

主要说完了,下面详细说明:写工具时遇到的这个问题,从xlwt开始。+xlrd,然后行数超标,不能用excel2007版代替openpyxl。原来测试不到3万行的数据只需要三四秒钟。用openpyxl代替openpyxl需要几分钟,但是具体没看多少。然后加上函数运行时间的监控器,看到读取时出了问题。

推测原因:

推测openpyxl根据行号读取时,从第一行第一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号越多越慢(也可能是从第一行或有数据的列),而xlrd类似于数组。我们需要拿第几个元素,直接根据下标找到内存中相应地址的元素。

知识拓展:

xlwt写入只支持65536行,所以xlrd的读取很可能是一样的,也就是说,超过这么多数据可能会出错。

因为我在这里读多表数据来生成单表数据,生成方法可能是Na*Nb,所以我不会读太多,但生成很多,所以我基本上可以考虑这个问题。

此外,据说xlrd偶尔会出现读取xlsx格式的问题,具体没有测试,暂时使用也没有问题。

最后,带上监控函数运行时间的装饰器:

import time from functools import wraps def fn_timer(function): @wraps(function) def function_timer(*args, **kwargs): t0 = time.time() result = function(*args, **kwargs) t1 = time.time() print ("Total time running %s: %s seconds" % (function.__name__, str(t1-t0)) ) return result return function_timer

如果使用方法,则添加到要监控的函数定义中 @fn_timer 就行了。

相信下次用openpyxl打开大excel文件后,朋友们不需要慢慢等待。更多Python学习推荐:Python学习网教学中心

相关文章

如何解决运行较大excel文件openpyxl变慢问题

如何解决运行较大excel文件openpyxl变慢问题

2025-12-01
python获取当前时间日期有哪些方法?

python获取当前时间日期有哪些方法?

2025-12-01
Python基础:numpy中的常见函数有哪些

Python基础:numpy中的常见函数有哪些

2025-12-01
Python中用numpy进行图片处理

Python中用numpy进行图片处理

2025-12-01
Python中没有xlrd怎么办?

Python中没有xlrd怎么办?

2025-12-01
Python中xlrd读取的报错处理

Python中xlrd读取的报错处理

2025-12-01