正文

如何使用python将大量数据导出到excel中的小技巧

author  author  2023-03-11  627

关键词：

如何使用python将大量数据导出到Excel中的小技巧

（1）问题描述：为了更好地展示数据，Excel格式的数据文件往往比文本文件更具有优势，但是具体到python中，该如何导出数据到Excel呢？如果碰到需要导出大量数据又该如何操作呢？本文主要解决以上两个问题。

（2）具体步骤如下：
1.第一步，安装openpyxl,
使用pip install openpyxl即可，但是在windows下安装的是2.2.6版本，但是centos自动安装的是4.1版本,（多谢海哥的提醒）。
写的代码在windows下运行没问题，但centos上却报错了，说是ew=ExcelWriter(workbook=wb)少提供一个参数，于是果断在 237服务器上我已安装2.2.6版本的，问题解决。
pip install openpyxl==2.2.6
2.第二步，哈哈，没有啦，废话不说了，直接上代码，ps，代码中包含xlwt和openpyxl的两个实现版本。

（3）扩展阅读：通过查阅资料，发现网上众说纷纭，总结起来有如下几点：
python Excel相关的操作的module lib有两组，一组是xlrd、xlwt、xlutils，另一组是openpyxl,
但是前一组（xlrd，xlwt）比较老，只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件，xlwt甚至不支持07版以后的excel ，这个格式excel文件一般来说，最大只能支持256列或者65536行的excel文件。
因此面对需要导出大量数据到excel的情况，你将有如下三种选择，（1）换一种存储格式，如保存为CSV文件 (2)使用openpyxl—，因为它支持对Excel 2007+ xlsx/xlsm format的处理 (3) win32 COM (Windows only)
当然，我们要直面困难了，为了更好地展示数据给产品和用户，我们依然选择的第二种。
ps,非常lucky，一番搜索后我找到了openpyxl，支持07+的excel，一直有人在维护，文档清晰易读，参照Tutorial和API文档很快就能上手，就是它了~
(4)闲话少说，直接上代码，敬请参考

# coding:utf-8
'''
# 希望对大家有帮助哈，请多提问题
create by yaoyz
date: 2017/01/24
'''
import xlrd
import xlwt
# workbook相关
from openpyxl.workbook import Workbook
# ExcelWriter，封装了很强大的excel写的功能
from openpyxl.writer.excel import ExcelWriter
# 一个eggache的数字转为列字母的方法
from openpyxl.utils import get_column_letter
from openpyxl.reader.excel import load_workbook

class HandleExcel():
'''Excel相关操作类'''
def __init__(self):
self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']
"""
function：
读出txt文件中的每一条记录，把它保存在list中
Param:
filename: 要读出的文件名
Return:
res_list：返回的记录的list
"""
def read_from_file(self,filename):
res_list=[]
file_obj=open(filename,"r")
for line in file_obj.readlines():
res_list.append(line)
file_obj.close()
return res_list
"""
function：
读出*.xlsx中的每一条记录，把它保存在data_dic中返回
Param:
excel_name: 要读出的文件名
Return:
data_dic：返回的记录的dict
"""
def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):
# 读取excel2007文件
wb = load_workbook(filename=excel_name)
# 显示有多少张表
print "Worksheet range(s):" , wb.get_named_ranges()
print "Worksheet name(s):" , wb.get_sheet_names()
# 取第一张表
sheetnames = wb.get_sheet_names()
ws = wb.get_sheet_by_name(sheetnames[0])
# 显示表名，表行数，表列数
print "Work Sheet Titile:" ,ws.title
print "Work Sheet Rows:" ,ws.get_highest_row()
print "Work Sheet Cols:" ,ws.get_highest_column()
# 获取读入的excel表格的有多少行，有多少列
row_num=ws.get_highest_row()
col_num=ws.get_highest_column()
print "row_num: ",row_num," col_num: ",col_num
# 建立存储数据的字典
data_dic =
sign=1
# 把数据存到字典中
for row in ws.rows:
temp_list=[]
# print "row",row
for cell in row:
print cell.value,
temp_list.append(cell.value)
print ""
data_dic[sign]=temp_list
sign+=1
print data_dic
return data_dic
"""
function：
读出*.xlsx中的每一条记录，把它保存在data_dic中返回
Param:
records: 要保存的，一个包含每一条记录的list
save_excel_name: 保存为的文件名
head_row_stu_arrive_star:
Return:
data_dic：返回的记录的dict
"""
def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):
# 新建一个workbook
wb = Workbook()
# 新建一个excelWriter
ew = ExcelWriter(workbook=wb)
# 设置文件输出路径与名称
dest_filename = save_excel_name.decode('utf-8')
# 第一个sheet是ws
ws = wb.worksheets[0]
# 设置ws的名称
ws.title = "range names"
# 写第一行，标题行
for h_x in range(1,len(head_row)+1):
h_col=get_column_letter(h_x)
#print h_col
ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])
# 写第二行及其以后的那些行
i = 2
for record in records:
record_list=str(record).strip().split("\t")
for x in range(1,len(record_list)+1):
col = get_column_letter(x)
ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))
i += 1
# 写文件
ew.save(filename=dest_filename)
"""
function：
测试输出Excel内容
读出Excel文件
Param:
excel_name: 要读出的Excel文件名
Return:
无
"""
def read_excel(self,excel_name):
workbook=xlrd.open_workbook(excel_name)
print workbook.sheet_names()
# 获取所有sheet
print workbook.sheet_names() # [u'sheet1', u'sheet2']
sheet2_name = workbook.sheet_names()[1]
# 根据sheet索引或者名称获取sheet内容
sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始
sheet2 = workbook.sheet_by_name('Sheet1')
# sheet的名称，行数，列数
print sheet2.name,sheet2.nrows,sheet2.ncols
# 获取整行和整列的值（数组）
rows = sheet2.row_values(3) # 获取第四行内容
cols = sheet2.col_values(2) # 获取第三列内容
print rows
print cols
# 获取单元格内容
print sheet2.cell(1,0).value
print sheet2.cell_value(1,0)
print sheet2.row(1)[0].value
# 获取单元格内容的数据类型
print sheet2.cell(1,0).ctype
# 通过名称获取
return workbook.sheet_by_name(u'Sheet1')
"""
function：
设置单元格样式
Param:
name: 字体名字
height: 字体高度
bold: 是否大写
Return:
style: 返回设置好的格式对象
"""
def set_style(self,name,height,bold=False):
style = xlwt.XFStyle() # 初始化样式
font = xlwt.Font() # 为样式创建字体
font.name = name # 'Times New Roman'
font.bold = bold
font.color_index = 4
font.height = height
borders= xlwt.Borders()
borders.left= 6
borders.right= 6
borders.top= 6
borders.bottom= 6
style.font = font
style.borders = borders
return style
"""
function：
按照设置单元格样式把计算结果由txt转变为Excel存储
Param:
dataset：要保存的结果数据，list存储
Return:
将结果保存为 excel对象中
"""
def write_to_excel(self, dataset,save_excel_name,head_row):
f = xlwt.Workbook() # 创建工作簿
# 创建第一个sheet:
# sheet1
count=1
sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True) # 创建sheet
# 首行标题：
for p in range(len(head_row)):
sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))
default=self.set_style('Times New Roman',200,False) # define style out the loop will work
for line in dataset:
row_list=str(line).strip("\n").split("\t")
for pp in range(len(str(line).strip("\n").split("\t"))):
sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)
count+=1
f.save(save_excel_name) # 保存文件

def run_main_save_to_excel_with_openpyxl(self):
print "测试读写2007及以后的excel文件xlsx，以方便写入文件更多数据"
print "1. 把txt文件读入到内存中，以list对象存储"
dataset_list=self.read_from_file("test_excel.txt")
'''test use openpyxl to handle EXCEL 2007'''
print "2. 把文件写入到Excel表格中"
head_row_label=self.head_row_labels
save_name="test_openpyxl.xlsx"
self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
print "3. 执行完毕，由txt格式文件保存为Excel文件的任务"
def run_main_save_to_excel_with_xlwt(self):
print " 4. 把txt文件读入到内存中，以list对象存储"
dataset_list=self.read_from_file("test_excel.txt")
'''test use xlwt to handle EXCEL 97-2003'''
print " 5. 把文件写入到Excel表格中"
head_row_label=self.head_row_labels
save_name="test_xlwt.xls"
self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
print "6. 执行完毕，由txt格式文件保存为Excel文件的任务"
if __name__ == '__main__':
print "create handle Excel Object"
obj_handle_excel=HandleExcel()
# 分别使用openpyxl和xlwt将数据写入文件
obj_handle_excel.run_main_save_to_excel_with_openpyxl()
obj_handle_excel.run_main_save_to_excel_with_xlwt()
'''测试读出文件，注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
obj_handle_excel.read_excel("testexcel2003.xls")
obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx") 参考技术A print都存list
all_case=['姓名''张三''龄''18'...]
b=[]
x=0
y=0
for i in range(0,len(all_case),2):
b = all_case[i:i+2]
for i in b:

ws.write(x,y,i,style)

x+=1
y+=1

x=0

wtbook.save(path_dst)

面核内容理解list变2元素组listlist按行写入写完list再第行
写完发现没格式啊注意x+=1面for组y+=1x=0外面for组

如何将sql server中的大量数据导出到excel文件中

】如何将sqlserver中的大量数据导出到excel文件中【英文标题】：Howtoexporthugedatafromsqlserverintoexcelfile【发布时间】：2017-05-3011:21:16【问题描述】：我想将sqlservermanagementstudio中的大数据（大约500万行，2列）导出到excel文件中，但是exc... 查看详情

如何使用 python 3 将数据从 textedit 导出到 excel 文件

】如何使用python3将数据从textedit导出到excel文件【英文标题】：Howtoexportdatafromtextedittoexcelfileusingpython3【发布时间】：2017-11-1608:07:52【问题描述】：今天遇到一个新问题，希望大家能帮帮我。我的问题是使用python3将数据从textedit... 查看详情

如何在mysql里把数据导出成excel文件

在SQL数据库的很多应用场景中，需要将SQL中的某个数据库或查询的结果导出到EXCEL中，因为Excel更容易对数据处理和方便用户邮箱传输。本次经验归纳了SQL数据表导出到EXCEL中的三种方法：1、复制粘贴，将SQL查询语句按指定条件... 查看详情

如何通过python将多页数据导出到excel中？

】如何通过python将多页数据导出到excel中？【英文标题】：howtoexportthemultiplepagesdataintoexcelbypython?【发布时间】：2020-12-2608:59:16【问题描述】：下面是我的程序，我在控制台中使用beautifulsoup打印数据，但我想导出到带有预定义标... 查看详情

如何把sqlserver表数据导出为excel文件

使用 VB.Net 将 excel 中的特定列值导出到数据网格

...gridusingVB.Net【发布时间】：2020-03-0404:04:49【问题描述】：如何将没有标题的特定列值导出到数据网格...dta=NewOleDbDataAdapter("Select*from[linexcel$])...如何指定列（列B和D）而不是“*”。它没有常量头。. 查看详情

如何将access中的数据导出为excel文件？

导出到microsoftexcel或其他电子表格程序有三种方法可以在microsoftexcel或其他电子表格程序中使用microsoftaccess数据：可以将数据表作为无格式数据导出到microsoftexcel或其他电子表格程序中。可以将数据表、窗体或报表的导出直接作为... 查看详情

如何使用 python 客户端将大量行从 InfluxDB 导出到 CSV？

】如何使用python客户端将大量行从InfluxDB导出到CSV？【英文标题】：HowtoexportlargenumberofrowsfromInfluxDBtoCSVusingpythonclient?【发布时间】：2018-06-1414:00:07【问题描述】：我正在尝试将大量行(160.000.000+)从influxDB导出到csv文件。到目前为止... 查看详情

怎样将sql数据导出到excel中

...小量数据。2、导出完整的SQL数据表为Excel文件；——适合大量数据。3、定时自动导出指定SQL数据表为Excel文件；——适合大量数据。http://jingyan.baidu.com/article/fedf0737a8064b35ac8977c5.html 查看详情

如何使用网格将 HTML 表格导出到 Excel

】如何使用网格将HTML表格导出到Excel【英文标题】：HowcanIexportaHTMLtabletoExcelwithagrid【发布时间】：2017-07-1706:45:08【问题描述】：我在将表格/数据导出到Excel或PDF方面非常陌生。但是到目前为止，我已经编写了用于将HTML表导出到Ex... 查看详情

如何通过 Excel 中的展开和折叠操作将网格数据沿组标题/摘要记录导出到 Excel？

】如何通过Excel中的展开和折叠操作将网格数据沿组标题/摘要记录导出到Excel？【英文标题】：Howtoexportgriddatatoexcelalonggroupheaders/summaryrecordswithexpandandcollapseactioninExcel?【发布时间】：2013-05-1706:25:29【问题描述】：我已经使用Extjs4... 查看详情

使用 xlwt 将日期时间导出到 django 中的 excel

...种43239.6389467593格式导出。我不知道这种格式是什么以及如何在Excel表中将其更改为日期时间。我遵循了以下https 查看详情

如何使用 checkListBox 将数据导出到 Excel

】如何使用checkListBox将数据导出到Excel【英文标题】：HowtoexportdatatoexcelwithcheckListBox【发布时间】：2015-12-2010:49:02【问题描述】：我有一个带有检查列表框的Windows窗体应用程序。到目前为止，我能够将我的数据绑定到我的checkListB... 查看详情

使用 Pandas 将多个日志文件数据导出到单个 Excel

...xcelusingPandas【发布时间】：2020-09-1510:38:07【问题描述】：如何将多个数据框导出到单个excel，我不是在谈论合并或组合。我只想将多个日志文件中的特定行编译为单个Excel工作表。我已经写了一个代码，但我卡住了：importpandasaspdi... 查看详情

使用 EPPlus 将 DataTable 导出到 Excel

...型的属性，因此我希望Excel文件中的格式相同。有人知道如何将这样的DataTable导出到Excel吗？【问题讨论】：【参考方案1】：前言在v5中，EPPlus切换到付费许查看详情

如何将数据库中的数据导出到excel？

参考技术A在这里介绍把数据库中的数据导出到excel的方法，希望本指南能帮到大家。01双击打开access数据库。进入到操作界面。02鼠标移到菜单栏，点击：外部数据03下面即弹出与之相关的功能区。我们看“导出”这功能区。04在... 查看详情

如何将mysql中数据导出到excel表中python脚本？

参考技术A读myswl数据库用pymysql模块写excel用xlrd、xlwt、xlutils模块对应教程搜一下就有,当然需要一定的pyhton基础如果只是完成某项工作,直接mysql导出文本文件,再导入文本数据到excel更简单方便查看详情

如何使用excel对象将datagridview数据导出到excel

...://code.msdn.microsoft.com/How-to-insert-image-into-93964561本项目阐述如何使用OpenXMLSDK将图像插入到Excel中简介本示例演示如何使用OpenXMLSDK将图像自动插入到电子表格中。一些客户经常在MSDN论坛上咨询此问题，但是MSDN上并不存在示例。因此... 查看详情