关键词：
pandas-profiling 第一印象应该是 pandas吧，pandas-profiling确实和pandas有点关系，pandas-profiling能够使用DataFrame自动生成数据的详细报告，相比describe生成的profile要详细的多。
pandas_profiling基于pandas的DataFrame数据类型，可以简单快速地进行探索性数据分析。
对于数据集的每一列，pandas_profiling会提供以下统计信息：
1、概要：数据类型，唯一值，缺失值，内存大小2、分位数统计：最小值、最大值、中位数、Q1、Q3、最大值，值域，四分位
3、描述性统计：均值、众数、标准差、绝对中位差、变异系数、峰值、偏度系数
4、最频繁出现的值，直方图/柱状图
5、相关性分析可视化：突出强相关的变量，Spearman, Pearson矩阵相关性色阶图
并且这个报告可以导出为HTML，非常方便查看。
官方地址：https://github.com/pandas-profiling/pandas-profiling
pip安装失败，然后下载源码安装，也报错setup.py的18行：'must be unicode, not str' TypeError
源码中：
with (source_root / "pandas_profiling" / "version.py").open("w", encoding="utf-8") as f:
f.writelines(
[
'"""This file is auto-generated by setup.py, please do not alter."""\\n',
'__version__ = ""\\n'.format(version),
"\\n",
]
)
改为：
with (source_root / "pandas_profiling" / "version.py").open("w", encoding="utf-8") as f:
f.writelines(
[
'"""This file is auto-generated by setup.py, please do not alter."""\\n'.decode("utf-8"),
'__version__ = \\n'.format(version).decode("utf-8"),
"\\n".decode("utf-8"),
]
)然后就可以正常使用了。
看看一个官方简单例子：
import numpy as np
import pandas as pd
import pandas_profiling
df = pd.DataFrame(
np.random.rand(100, 5),
columns=['a', 'b', 'c', 'd', 'e']
)
df.profile_report(style='full_width':True)
profile = df.profile_report()
rejected_variables = profile.get_rejected_variables(threshold=0.9)
profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(output_file="output.html")效果显示：
一个初级简单入门例子完成。。。。。。。。。后续会尝试一些自己的大数据可视化的内容。
生成一份报告，其中包含当前有逾期图书的借款人的详细信息
】生成一份报告，其中包含当前有逾期图书的借款人的详细信息【英文标题】：Produceareportwiththedetailsofborrowerswhocurrentlyhavebooksoverdue【发布时间】：2016-03-1509:35:10【问题描述】：我很感激你在这里为我的学习做出贡献。我目前在... 查看详情
pytest测试报告美化
参考技术Apytest-HTML是一个插件，pytest用于生成测试结果的HTML报告。兼容Python2.7,3.6安装方式：pipinstallpytest-html然后写一个测试类在命令行中执行：如下：在当前目录下可以看到生成了一个report.html的文件，点开就可以看到测试报... 查看详情
pytest文档13-allure2生成html报告(史上最详细)
前言allure是一个report框架,支持java的Junit/testng等框架,当然也可以支持python的pytest框架，也可以集成到Jenkins上展示高大上的报告界面。环境准备1.python3.62.windows环境3.pycharm4.pytest-allure-adaptor5.allure2.7.06.java1.8**作者：上海-悠悠QQ交流... 查看详情
我想根据用户给出的输入（输入应该是'>'，'<'，'='之类的运算符）生成患者详细信息报告
...输入应该是\\\'>\\\'，\\\'<\\\'，\\\'=\\\'之类的运算符）生成患者详细信息报告【英文标题】：iwanttogenerateapatientdetailsreportbasedontheinput(inputshouldbeoperatorslike\'>\',\'<\',\'=\')givenbytheuser我想根据用户给出的输入（输入应该是\'>\... 查看详情
jmeter使用笔记之html报告扩展
题记：在用loadrunner的时候可以生成一个HTML的报告，并且里面包含各种图表，各种详细的数据。而在使用Jmeter测试完后并不能直接生成Html的报告（无论是用GUI还是命令行启动）。经过查找资料发现Jmeter的extras目录下有生成HTML的xs... 查看详情
pytest系列（12）-测试结果生成html报告插件之pytest-html的详细使用
如果你还想从头学起Pytest，可以看看这个系列的文章哦！https://www.cnblogs.com/poloyy/category/1690628.html 环境前提Python3.6+ 安装插件pip3installpytest-html-ihttp://pypi.douban.com/simple/--trusted-hostpypi.douban.com 查看详情
用pandas_profiling快速探索数据，算不算eda（exploratorydataanalysis）首选工具
...的变量类型、大致分布、异常值、缺失值……等等等等。pandas-profiling官方文档中的安装方法如下：不过在本人的机器上出了点小插曲。安装成功后提示错误，无法导入pandas_profiling包。安装成功后，使用很简单，直接df.profile_repor... 查看详情
如何详细获取 hdfs 使用报告
...【问题描述】：我们得到了容量为900TB的hdfs。随着存储的数据越来越多，很难跟踪有用的数据和可以删除的数据。我想分析以下模式的hdfs使用情况，以便优化使用容量。什么是经常访问的数据。数据长时间没有被触摸/访问（可... 查看详情
python生成allure测试报告，allure使用详细说明(代码片段)
...告，内容也相对全面，但是可读性差点，allure生成的测试报告，可改造性强，看起来也美观。使用过程在此总结一下。一、生成allure测试报告1.下载安装allure-pytest插件，我一般都是在pycharm里直接安装：... 查看详情
如何生成排毒测试报告？
】如何生成排毒测试报告？【英文标题】：Howtogeneratereportwithdetoxtesting?【发布时间】：2021-11-0814:09:16【问题描述】：我可以使用jest生成HTML报告，但无法在端到端排毒测试中生成报告。有什么解决办法吗？【问题讨论】：请澄清... 查看详情
将共享数据源用于动态生成和部署的报告
】将共享数据源用于动态生成和部署的报告【英文标题】：Usingashareddatasourcefordynamicallygeneratedanddeployedreports【发布时间】：2009-11-2514:17:00【问题描述】：我正在为s-s-rS2008动态生成RDL文件，从“构建块”组装我的报告，我将其定... 查看详情
如何使报告生成更快？（从 sql 数据库中提取数据）
】如何使报告生成更快？（从sql数据库中提取数据）【英文标题】：howtomakereportgeneratefaster?(datapulloutfromasqldatabase)【发布时间】：2012-08-0807:23:16【问题描述】：我的团队使用SQL数据库生成“每日活跃用户”报告我们搜索的表的大... 查看详情
Concat 将详细数据分组到 Reporting Services 中的一行
】Concat将详细数据分组到ReportingServices中的一行【英文标题】：ConcatgroupeddetaildataintoonerowwithinReportingServices【发布时间】：2014-07-1009:26:35【问题描述】：我在s-s-rs报告中有两列，其中有n行，显示详细数据。我想concat这个表的数据... 查看详情
报告自动生成系统
【金融行业投资报告自动生成系统】是由北京博信施科技有限公司为银行、证券、信托等金融行业量身定做的各种财务报表、数据统计等报告生成系统。通过预定义的报告模板，可以自动生成所需要的各类财务报告。实现了报告... 查看详情
从详细信息创建摘要跟踪报告
...布时间】：2011-09-1221:55:21【问题描述】：我需要根据详细数据创建一份汇总的月度跟踪报告。数据样本如下：公司|国家|加入日期A公司|美国|2011年1月1日B公司|爱尔兰|2011年5月5日C公司|意大利|2011年7月11日D公司|德国|2011年6月14日... 查看详情
python+requests+excel+unittest+ddt接口自动化数据驱动并生成html报告(优化版)(代码片段)
...文链接python+requests+excel+unittest+ddt接口自动化数据驱动并生成html报告2、修改前后框架区别修改前：修改后：3、主要修改内容增加：token关联（token获取和保存）增加：cookie关联（cookie获取和保存）增加：发送邮件（使用SMTP）修改... 查看详情
超详细从入门到精通，pytest自动化测试框架实战教程-allure测试报告(代码片段)
...：https://www.bilibili.com/video/BV18K411m7FH/pytest本身是没有生成测试报告的功能，但是pytest中有很多插件，我们可以通过插件来生成测试报告。下面会给大家介绍两个生成报告的方式。一个是生成html报告，一个是集成allu... 查看详情
如何从 Access 数据库中的表格数据生成在线报告？
】如何从Access数据库中的表格数据生成在线报告？【英文标题】：HowcanIgenerateanonlinereportsfromtablesdatainmyAccessDatabase?【发布时间】：2019-10-0706:46:40【问题描述】：美好的一天！我是使用PHP进行Web开发的新手，我打算将Access数据库拆... 查看详情