正文

当pandas撞上了sql，于是一个强大的pandasql库产生了！

黄至尊qwe  黄至尊qwe  2022-12-02  284

关键词：

1. 演示数据

本文的所有演示数据，均是基于下方的四张表。下面这四张表大家应该不陌生，这就是网传50道经典MySQL面试题中使用到的几张原表。关于下方各表之间的关联关系，我就不给大家说明了，仔细观察字段名，应该就可以发现。

当pandas撞上了sql，于是一个强大的pandasql库产生了！_pandasql

2. pandasql的使用

1）简介

pandas中的DataFrame是一个二维表格，数据库中的表也是一个二维表格，因此在pandas中使用sql语句就显得水到渠成，pandasql使用SQLite作为其操作数据库，同时Python自带SQLite模块，不需要安装，便可直接使用。

这里有一点需要注意的是：使用pandasql读取DataFrame中日期格式的列，默认会读取年月日、时分秒，因此我们要学会使用sqlite中的日期处理函数，方便我们转换日期格式，下方提供sqlite中常用函数大全，希望对你有帮助。

sqlite函数大全：http://suo.im/5DWraE

导入相关库：

import pandas as pd
from pandasql import

2）声明全局变量的2种方式

① 在使用之前，声明该全局变量；
② 一次性声明好全局变量；

① 在使用之前，声明该全局变量

df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")


global df1
global df2
global df3
global df4
query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"

sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_全局变量_02

② 一次性声明好全局变量

df1 = pd.read_excel("student.xlsx")
df2 = pd.read_excel("sc.xlsx")
df3 = pd.read_excel("course.xlsx")
df4 = pd.read_excel("teacher.xlsx")

pysqldf = lambda q: sqldf(q, globals())

query1 = "select * from df1 limit 5"
query2 = "select * from df2 limit 5"
query3 = "select * from df3"
query4 = "select * from df4"

sqldf(query1)
sqldf(query2)
sqldf(query3)
sqldf(query4)

部分结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_pandasql_03

3）写几个简单的SQL语句

① 查看sqlite的版本

student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
    select sqlite_version(*)
"""
pysqldf(query1)

结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_python操作

② where筛选

student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
    select * 
    from student 
    where strftime(%Y-%m-%d,sage) = 1990-01-01
"""
pysqldf(query1)

结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_sqlite_05

③ 多表连接

student = pd.read_excel("student.xlsx")
sc = pd.read_excel("sc.xlsx")


pysqldf = lambda q: sqldf(q, globals())
query2 = """
    select *
    from student s
    join sc on s.sid = sc.sid
"""
pysqldf(query2)

部分结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_python操作

④ 分组聚合

student = pd.read_excel("student.xlsx")
sc = pd.read_excel("sc.xlsx")


pysqldf = lambda q: sqldf(q, globals())
query2 = """
    select s.sname as 姓名,sum(sc.score) as 总分
    from student s
    join sc on s.sid = sc.sid
    group by s.sname
"""
pysqldf(query2)

结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_sqlite_07

⑤ union查询

student = pd.read_excel("student.xlsx")
pysqldf = lambda q: sqldf(q, globals())
query1 = """
    select * 
    from student 
    where strftime(%Y-%m,sage) = 1990-01
    union
    select * 
    from student 
    where strftime(%Y-%m,sage) = 1990-12
"""
pysqldf(query1)

结果如下：

当pandas撞上了sql，于是一个强大的pandasql库产生了！_sqlite_08

将 sql 选择解压缩到 pandas 数据框中

...ame【发布时间】：2013-06-1321:53:56【问题描述】：假设我有一个大致像这样的选择：selectinstrument,price,datefrommy_prices;如何将返回的价格解压缩到单个数据框中，其中包含每种工具的系列并按日期编制索引？明确一点：我正在寻找：&... 查看详情

使用 Pandas .to_sql 将 JSON 列写入 Postgres

...】：2017-05-1901:48:21【问题描述】：在ETL过程中，我需要从一个Postgres数据库中提取JSON列并将其加载到另一个。我们为此使用Pandas，因为它有很多方法可以从不同的源/目标读取和写入数据，并且所有转换都可以使用Python和Pand 查看详情

使用 Pandas 抛出错误在 Python 中编写 UDF

...它正在抛出错误。当我们尝试在没有Pandas的情况下使用另一个python代码时，它工作正常。请帮助理解问题。在下面提供Pand 查看详情

pandas实现常用sql操作

...个是_x，另一个是_y：如果想要自定义后缀，那么可以：于是上表的age_x和age_y就变成age_left和age_right了。pandas的join和SQL的join不太一样。默认行为是直接根据index进行关联。你可以理解为直接把两个表左右拼接在一查看详情

pandas优化(代码片段)

...和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助查看详情

python应用实战-从pandas的角度来对比mysql，教你如何更快更好的学习sql(代码片段)

...我相信你如果学习了Pandas，就一定是想从事数据分析这样一个行业。既然你想从事数据分析行业，那我就默认你肯定是会Sql，即使你现在不会，你以后也要会。以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你... 查看详情

pandas基础

参考技术APandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas名字衍生自术语"paneldata"（面板数据）和"Pythondataanalysis"（Python数据分析... 查看详情

pandas(代码片段)

...印出来，索引在左，值在右，由于没有为数据指定索引，于是会自动创建一个0到N-1（N为数据的长度）的整数型索引，取值的时候可以通过索引取值，跟之前学过的数组和列表一样-----------------------------------------------第二种：pd.Se... 查看详情

在工业网络中构建强大的安全性时要考虑什么？(代码片段)

...我对numpy、pandas、matpolib等库不是特别熟悉，基础不够，于是本周开始重新学习numpy及pandas库”熊猫库“pandas——数据处理1、主要的数据类型：ndarra2、（由于pandas我没找到合适的数据源来对它进行操作，明天再更，话说不是我懒... 查看详情

pandas：强大的python数据分析工具包(代码片段)

Pandas：强大的Python数据分析工具包pandas是一个Python包，提供快速，灵活和富有表现力的数据结构，旨在既简单又直观的处理“关系”或“标记”数据。它旨在成为在Python中进行实际，真实世界数据分析的基本... 查看详情

pandas：合并两个不同名称的列？

...框。不能并排连接。数据框包含相同的数据，但是，在第一个数据框中，一列的名称可能为“ObjectType”，而在第二个数据框中，该列的名称可能为“ObjectClass”。当我这样做时df_total=pand 查看详情

Python Pandas 的累积 OLS

...明。此外，这是针对研究复制项目的，因此即使在仅附加一个新数据点后重新运行回归可能很愚蠢（如果数据集很大），我仍然必须这样做。谢谢！在Pandas中，pand 查看详情

python数据分析之pandas(代码片段)

一、Pandas简介Pandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas一个强大的分析结构化数据的工具集，基础是Numpy（... 查看详情

pandas学习以及matplotlib绘图

...值打印出来,索引在左,值在右,由于没有为数据制定索引,于是会自动创建一个0到N-1(N为数据的长度)的整数型索引,取值的时候可以通过索引取值,跟之前学过的数组和列表一样##第二种s2=pd 查看详情

python遇上sql，于是一个好用的python第三方库出现了(代码片段)

1.演示数据本文的所有演示数据，均是基于下方的四张表。下面这四张表大家应该不陌生，这就是网传50道经典MySQL面试题中使用到的几张原表。关于下方各表之间的关联关系，我就不给大家说明了，仔细观察字段... 查看详情

python遇上sql，于是一个好用的python第三方库出现了(代码片段)

当.net撞上bi可视化，这3种“套路”你必须知道(代码片段)

最近葡萄在做技术支持，又遇到了客户给我们出的新问题。事情是这样的。这次客户使用的是.Net项目，直接做BI大屏过于复杂，所以想直接集成使用BI数据可视化分析大屏。所以，这次我们就从——Wyn出发，为大家介绍如何在.Net... 查看详情

将一行中的字符串与所有其他行中的相同字符串进行比较，并记录差异，pandes 的性能问题

...发布时间】：2020-12-0912:25:59【问题描述】：我在pandas中有一个包含700k条记录的数据框。由于积压问题查看详情