关键词：
编者荐语
用Python做数据分析光是掌握numpy和matplotlib可不够，Pandas是必须要掌握的一个重点，numpy虽然能够帮我们处理处理数值型数据，但是这还不够，很多时候，我们的数据除了数值之外，还有字符串，还有时间序列等。
来源 | AI算法与图像处理
今天来分享一些Pandas必会的用法，让你的数据分析水平更上一层楼。
一、Pandas两大数据结构的创建
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | pd.Series(对象,index=[ ]) | 创建Series。对象可以是列表\\ndarray、字典以及DataFrame中的某一行或某一列 |
| 2 | pd.DataFrame(data,columns = [ ],index = [ ]) | 创建DataFrame。columns和index为指定的列、行索引，并按照顺序排列 |
举例：用pandas创建数据表：
df = pd.DataFrame("id":[1001,1002,1003,1004,1005,1006],
"date":pd.date_range('20130102', periods=6),
"city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
"age":[23,44,54,32,34,32],
"category":['100-A','100-B','110-A','110-C','210-A','130-F'],
"price":[1200,np.nan,2133,5433,np.nan,4432],
columns =['id','date','city','category','age','price'])二、DataFrame常见方法
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | df.head() | 查询数据的前五行 |
| 2 | df.tail() | 查询数据的末尾5行 |
| 3 | pandas.qcut() | 基于秩或基于样本分位数将变量离散化为等大小桶 |
| 4 | pandas.cut() | 基于分位数的离散化函数 |
| 5 | pandas.date_range() | 返回一个时间索引 |
| 6 | df.apply() | 沿相应轴应用函数 |
| 7 | Series.value_counts() | 返回不同数据的计数值 |
| 8 | df.reset_index() | 重新设置index，参数drop = True时会丢弃原来的索引，设置新的从0开始的索引，常与groupby()一起用 |
举例：重新索引
df_inner.reset_index()三、数据索引
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | .values | 将DataFrame转换为ndarray二维数组 |
| 2 | .append(idx) | 连接另一个Index对象，产生新的Index对象 |
| 3 | .insert(loc,e) | 在loc位置增加一个元素 |
| 4 | .delete(loc) | 删除loc位置处的元素 |
| 5 | .union(idx) | 计算并集 |
| 6 | .intersection(idx) | 计算交集 |
| 7 | .diff(idx) | 计算差集，产生新的Index对象 |
| 8 | .reindex(index, columns ,fill_value, method, limit, copy ) | 改变、重排Series和DataFrame索引，会创建一个新对象，如果某个索引值当前不存在，就引入缺失值。 |
| 9 | .drop() | 删除Series和DataFrame指定行或列索引。 |
| 10 | .loc[行标签，列标签] | 通过标签查询指定的数据，第一个值为行标签，第二值为列标签。 |
| 11 | df.iloc[行位置，列位置] | 通过默认生成的数字索引查询指定的数据。 |
举例：按索引提取单行的数值
df_inner.loc[3]四、DataFrame选取和重新组合数据的方法
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | df[val] | 从DataFrame选取单列或一组列；在特殊情况下比较便利：布尔型数组（过滤行）、切片（行切片）、或布尔型DataFrame（根据条件设置值） |
| 2 | df.loc[val] | 通过标签，选取DataFrame的单个行或一组行 |
| 3 | df.loc[：,val] | 通过标签，选取单列或列子集 |
| 4 | df.1oc[val1,val2] | 通过标签，同时选取行和列 |
| 5 | df.iloc[where] | 通过整数位置，从DataFrame选取单个行或行子集 |
| 6 | df.iloc[where_i,where_j] | 通过整数位置，同时选取行和列 |
| 7 | df.at[1abel_i,1abel_j] | 通过行和列标签，选取单一的标量 |
| 8 | df.iat[i,j] | 通过行和列的位置（整数），选取单一的标量 |
| 9 | reindex | 通过标签选取行或列 |
| 10 | get_value | 通过行和列标签选取单一值 |
| 11 | set_value | 通过行和列标签选取单一值 |
举例：使用iloc按位置区域提取数据
df_inner.iloc[:3,:2] #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。五、排序
| 序号 | 函数 | 说明 |
|---|---|---|
| 1 | .sort_index(axis=0, ascending=True) | 根据指定轴索引的值进行排序 |
| 2 | Series.sort_values(axis=0, ascending=True) | 只能根据0轴的值排序。 |
| 3 | DataFrame.sort_values(by, axis=0, ascending=True) | 参数by为axis轴上的某个索引或索引列表。 |
举例：按照索引列排序
df_inner.sort_index()六、相关分析和统计分析
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | .idxmin() | 计算数据最小值所在位置的索引（自定义索引） |
| 2 | .idxmax() | 计算数据最大值所在位置的索引（自定义索引） |
| 3 | .argmin() | 计算数据最小值所在位置的索引位置（自动索引） |
| 4 | .argmax() | 计算数据最大值所在位置的索引位置（自动索引） |
| 5 | .describe() | 针对各列的多个统计汇总，用统计学指标快速描述数据的概要 |
| 6 | .sum() | 计算各列数据的和 |
| 7 | .count() | 非NaN值的数量 |
| 8 | .mean( ) | 计算数据的算术平均值 |
| 9 | .median() | 计算算术中位数 |
| 10 | .var() | 计算数据的方差 |
| 11 | .std() | 计算数据的标准差 |
| 12 | .corr() | 计算相关系数矩阵 |
| 13 | .cov() | 计算协方差矩阵 |
| 14 | .corrwith() | 利用DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数。 |
| 15 | .min() | 计算数据的最小值 |
| 16 | .max() | 计算数据的最大值 |
| 17 | .diff() | 计算一阶差分，对时间序列很有效 |
| 18 | .mode() | 计算众数，返回频数最高的那（几）个 |
| 19 | .mean() | 计算均值 |
| 20 | .quantile() | 计算分位数（0到1） |
| 21 | .isin() | 用于判断矢量化集合的成员资格，可用于过滤Series中或DataFrame列中数据的子集 |
| 22 | .unique() | 返回一个Series中的唯一值组成的数组。 |
| 23 | .value_counts() | 计算一个Series中各值出现的频率。 |
举例：判断city列的值是否为北京
df_inner['city'].isin(['beijing'])七、分组的方法
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | DataFrame.groupby() | 分组函数 |
| 2 | pandas.cut() | 根据数据分析对象的特征，按照一定的数值指标，把数据分析对象划分为不同的区间部分来进行研究，以揭示其内在的联系和规律性。 |
举例：.groupby用法
group_by_name=salaries.groupby('name')
print(type(group_by_name))输出结果为：
<class 'pandas.core.groupby.DataFrameGroupBy'>八、读写文本格式数据的方法
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | read_csv | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号 |
| 2 | read_table | 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符（t） |
| 3 | read_ fwf | 读取定宽列格式数据（也就是说，没有分隔符） |
| 4 | read_clipboard | 读取剪贴板中的数据，可以看做read_table的剪贴板版。再将网页转换为表格时很有用 |
| 5 | read_excel | 从ExcelXLS或XLSXfile 读取表格数据 |
| 6 | read_hdf | 读取pandas写的HDF5文件 |
| 7 | read_html | 读取HTML文档中的所有表格 |
| 8 | read_json | 读取JSON字符串中的数据 |
| 9 | read_msgpack | 二进制格式编码的pandas数据 |
| 10 | read_pickle | 读取Python pickle格式中存储的任意对象 |
| 11 | read_sas | 读取存储于SAS系统自定义存储格式的SAS数据集 |
| 12 | read_sql | 读取SQL 查询结果为pandas的DataFrame |
| 13 | read_stata | 读取Stata文件格式的数据集 |
| 14 | read_feather | 读取 Feather二进制文件格式 |
举例：导入CSV或者xlsx文件
df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))九、处理缺失数据
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | .fillna(value,method,limit,inplace) | 填充缺失值 |
| 2 | .dropna() | 删除缺失数据 |
| 3 | .info() | 查看数据的信息，包括每个字段的名称、非空数量、字段的数据类型 |
| 4 | .isnull() | 返回一个同样长度的值为布尔型的对象（Series或DataFrame），表示哪些值是缺失的 |
举例：查看数据表基本信息（维度、列名称、数据格式等等）
df.info()十、数据转换
| 序号 | 方法 | 说明 |
|---|---|---|
| 1 | .replace(old, new) | 用新的数据替换老的数据，如果希望一次性替换多个值，old和new可以是列表。默认会返回一个新的对象，传入inplace=True可以对现有对象进行就地修改。 |
| 2 | .duplicated() | 判断各行是否是重复行，返回一个布尔型Series。 |
| 3 | .drop_duplicates() | 删除重复行，返回删除后的DataFrame对象。 |
举例：删除后出现的重复值：
df['city'].drop_duplicates()结语
文章中总结的是都是一些Pandas常用的方法，至于一些基础的概念还需要你学到Pandas的时候去理解，例如Series是什么？DataFrame是什么？如果你已经清楚了Pandas的这些基础东西之后，搭配上文章中的这些方法，那你用Pandas去做数据处理和分析必然会游刃有余。
pandas必会的方法汇总，用python做数据分析更加如鱼得水！(代码片段)
用Python做数据分析光是掌握numpy和matplotlib可不够，Pandas是必须要掌握的一个重点，numpy虽然能够帮我们处理处理数值型数据，但是这还不够，很多时候，我们的数据除了数值之外，还有字符串，还有时... 查看详情
pandas必知必会的18个实用技巧，值得收藏！
参考技术A干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集，毫不夸张地说，数据清洗会占据他们80%的工作时间，而真正用来分析数据的时间只占到20%左右。所以，数据清洗到底是在... 查看详情
5个必知必会的python数据合并技巧(代码片段)
大家好，前不久在我们技术交流群有群友提到最近他面试阿里70万总包的数据岗位，对方问Pandas的5种数据合并的函数，结果他只答出了2个。那么，究竟是哪五个呢？今天，我们就来带大家了解一下！想... 查看详情
java必会的基础知识
1.类是一种抽象的概念，对象是类的一种具体表示形式，是具体的概念。先有类，然后由类来生成对象（Object）。对象又叫做实例（Instance）。2.类由两大部分构成：属性以及方法。属性一般用名词来表示，方法一般用动词来表示... 查看详情
javascript进阶必会的手写功能
JavaScript进阶必会的手写功能(一)6.手写浅拷贝6.1JavaScript数据类型分类单数据类型：Number、String、Boolean、null、undefined、Symbol用数据类型：Array、Object6.2不同数据类型的存储方式由上图可见，简单数据类型,将值存储在栈中... 查看详情
持续更新，建议收藏python必知必会的知识点，极大提升开发效率(代码片段)
问题本文主要介绍Python编程的一些必知必会的知识点，方便后续编程，提升效率。方法字符串转整数#字符串是普通整数a=int('1000')print(a)#1000#字符串是二进制b=int('1000',2)print(b)#8#整数转固定长度的二进制... 查看详情
持续更新，建议收藏python必知必会的知识点，极大提升开发效率(代码片段)
问题本文主要介绍Python编程的一些必知必会的知识点，方便后续编程，提升效率。方法整数列表join设有一个整数列表，实现连接所有整数形成一个字符串，如下：d=[1,2,3,4]print(''.join(d))很遗憾，上... 查看详情
用分类汇总，实现分页打印
...位工资表（为了方便演示，只做了一个简表，再多行操作方法一样），现需要按部门分别打印工资表。操作方法：1、按部门排序2、数据-分类汇总3、在打开的分类汇总窗口中进行如下设置：分类字段：部门汇总方式：求和选定... 查看详情
多线程必知必会的知识点
1)现在有T1、T2、T3三个线程，你怎样保证T2在T1执行完后执行，T3在T2执行完后执行？这个线程问题通常会在第一轮或电话面试阶段被问到，目的是检测你对”join”方法是否熟悉。这个多线程问题比较简单，可以用join方法实现。2)... 查看详情
机器学习领域必知必会的12种概率分布（附python代码实现）
作者：graykode编辑：机器之心机器学习开发者需要了解的12种概率分布，这些你都了解吗？机器学习有其独特的数学基础，我们用微积分来处理变化无限小的函数，并计算它们的变化；我们使用线性代数... 查看详情
必知必会的设计原则——合成复用原则(代码片段)
设计原则系列文章 必知必会的设计原则——单一职责原则必知必会的设计原则——开放封闭原则必知必会的设计原则——依赖倒置原则必知必会的设计原则——里氏替换原则必知必会的设计原则——接口隔离原则必知必... 查看详情
数据库系列必会的mysql数据库技术知识总结，你得把握住呀
...萌新小白，还是搬砖的，都得学会数据库方面的必会知识。前人栽树，后人乘凉。现在分享一下，个人总结到的一些 常用且实用的数据库必会知识点（PS：你可以现在不 查看详情
❤️hadoop必知必会的基本知识❤️
🏃HDFS🏊HDFS的组成架构：这种架构主要由四个部分组成，分别为HDFSClient、NameNode、DataNode和SecondaryNameNode。下面我们分别介绍这四个组成部分。1）Client：就是客户端。 （1）文件切分。文件上... 查看详情
❤️hadoop必知必会的基本知识❤️
🏃HDFS🏊HDFS的组成架构：这种架构主要由四个部分组成，分别为HDFSClient、NameNode、DataNode和SecondaryNameNode。下面我们分别介绍这四个组成部分。1）Client：就是客户端。 （1）文件切分。文件上... 查看详情
java必会的基础知识
1.接口中所声明的方法都是抽象方法。接口中的方法都是public的。2.接口中也可以定义成员变量。接口中的成员变量都是public、final、static的。3.一个类不能既是final，又是abstract的。因为abstract的主要目的是定义一种约定，让子类... 查看详情
vim故障及必会的处理方法（详细图解流程）
1、vim编辑文件时候，修改了内容，没有正常保存退出导致，重新打开会出现下面的故障提示rm-rf文件名，之前未保存的信息丢失2、恢复修改的内容按Enter------:q离开vim-r/tmp/xiyuxingxia.txt,恢复内容后:wq保存退出ls-la/tmp将.xiyuxingxia.txt.... 查看详情
java必会的基础知识
1.多态：父类型的引用可以指向子类型的对象。2.Parentp=newChild();当使用多态方式调用方法时，首先检查父类中是否有sing()方法，如果没有则编译错误；如果有，再去调用子类的sing()方法。3.一共有两种类型的强制类型转换：a)向上... 查看详情
intellijidea必会的快捷键，成倍提高开发效率
参考自：https://blog.csdn.net/tang9140/article/details/52333601定位、切换、继承关系、调用关系、查找与替换、导航Navigation、Search、Replace等一、进入或返回方法（1）简单介绍Ctrl+B：查看方法定义或返回方法调用地方(与Ctrl+单击等价)；(双... 查看详情