关键词:
文章目录
Python函数式编程
我的AI Studio项目:【笔记】LearnDL第三课:Python高级编程——抽象与封装 - 飞桨AI Studio (baidu.com)
python中函数式编程的一些技巧,可以提升我们编写代码的效率,写出更加清晰且高效的代码。
开发者关心两个效率,
- 程序运行的效率:程序用更少的计算资源完成更多的任务。
- 编写代码的效率:程序员在更少的时间实现更多的功能。
随着计算机算力的不断增长,如今我们更加关心的往往是后者。
本文主要包含以下内容:
- 函数应当如何使用数据
- 使用列表推导式或字典推导式简化代码
- 使用Lambda函数,简化代码
- python中一些内置函数的使用技巧
- 什么是高阶函数
- 使用函数式编程的技巧完成一个小任务
最后一节“函数式编程的应用”中用到了一个图像数据集,在AI Studio中可以使用它。
1. 数据
- 数据的状态——尤为重要
- 不修改外部环境,不影响输入,多次调用函数不会产生不同的结果
- 避免可变的状态
- 尽量使用不可变的数据结构。例如list可变,而tuple不可变。
# 返回斐波那契数列的某一项
def fib(i):
if i > 1:
return fib(i - 1) + fib(i - 2)
else:
return 1
print(fib(5))
8
使用可变的数据结构,例如list
,有时会踩坑,例如作为函数的默认参数时,下面是一个例子。
你惊讶地发现,put(10)
和put(5)
竟然输出了一样的结果,而你单独运行put(5)
时又能得到正确的结果。
def put(n, x=[1, 1]):
while len(x) < n:
x.append(x[-1] + x[-2])
return x
print(put(10))
print(put(5))
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]
原因就是,两次调用put
函数时,默认参数[1, 1]
都是同一个对象,例如可以打印出对象的id(相当于在内存中的地址)看一下,发现两次调用put函数都在直接操作同一个list对象。
def put(n, x=[1, 1]):
print(id(x))
while len(x) < n:
x.append(x[-1] + x[-2])
return x
put(10), put(5)
140357520173648
140357520173648
([1, 1, 2, 3, 5, 8, 13, 21, 34, 55], [1, 1, 2, 3, 5, 8, 13, 21, 34, 55])
而使用不可变的数据对象作为函数的默认参数,就不会出现该问题。之前因为默认参数list本身也是一个对象实例,“可变”就是可以被篡改;而元组对象本身是无法修改的,后面代码怎么写都不会影响默认参数的值。
下面的例子中,你发现两次调用时元组x的id还是相同的,但是转换成的list的id就不同了,put(5)
也得到了正确的结果。
def put(n, x=(1, 1)):
print("tuple:", id(x))
x = list(x)
print("list: ", id(x))
while len(x) < n:
x.append(x[-1] + x[-2])
return x
put(10), put(5)
tuple: 140357563320112
list: 140357519739872
tuple: 140357563320112
list: 140357519346416
([1, 1, 2, 3, 5, 8, 13, 21, 34, 55], [1, 1, 2, 3, 5])
2. 推导式
列表推导式与字典推导式,可以提升我们编码的效率,以及程序运行的效率。
例如前面的put
函数,使用推导式,函数体仅需一行代码,而且代码逻辑也清晰易懂。
# 列表推导式
def put(n):
return [fib(i) for i in range(n)]
print(put(5))
# 字典推导式
def put(n):
return i:fib(i) for i in range(n)
print(put(5))
[1, 1, 2, 3, 5]
0: 1, 1: 1, 2: 2, 3: 3, 4: 5
3. 函数式编程
善用一些函数式编程技巧,提高编程效率。
- Lambda函数
- python内置函数
- sum:求和
- all:有一个None就返回False
- any:有一个不是None,就返回True
- reduce:自定义求和方式
- 高阶函数
3.1. Lambda函数
Lambda定义的函数,与def
定义的函数是等价的,但是在形式上更简单。
f = lambda a, b : a + b
print(f(1, 2))
def f(a, b):
return a + b
print(f(1, 2))
3
3
Lambda与其它迭代器对象结合使用,有时会十分方便。例如,生成一个完全平方数列:
# 生成一个完全平方数列
x = list(map(lambda x : x * x, range(11)))
print(x)
# 找到数列中以‘1’结尾的数字,组成一个新的数列
x = list(filter(lambda x : str(x).endswith("1"), x))
print(x)
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
[1, 81]
3.2. python内置函数
关于python内置函数,下面给出几个示例代码。其中all
和any
常用于有效数据的筛选。
x = [1, 2, 3, 4, 5]
print(sum(x))
x = [1, 2, 3, None, 5]
print(all(x))
x = [None, None, 3, None, None]
print(any(x))
x = ['a', 'b', 'c', 'd']
reduce(lambda x, y : x * 2 + y, x)
15
False
True
'aabaabcaabaabcd'
reduce可能看起来不太好懂,其实这里的“求和”对于字符串而言就是“连接”,x作为之前的和传入,y就是下一项,(其实和sum的求和还是很相似的,可以仔细比较一下)。过程如下:
- a * 2 + b = aab
- aab * 2 + c = aabaabc
- aabaabc * 2 + d = aabaabcaabaabcd
3.3. 高阶函数
在python中,函数其实可以玩得挺花。例如,函数可以作为返回值,也可以作为函数的参数。
# 1. 函数作为返回值
# 这里例子中,函数k()的定义受函数f()的控制
def f(n):
def k(x):
return n * x
return k
F = f(3)
print(F(2))
# 2. 函数作为参数
def F(x, f):
x = f(x)
return x * x
print(F(1, lambda x : x + 1))
6
4
4. 函数式编程的应用
对于一个任务,先梳理需求,把共性、重复的地方抽象出来,再统一安排。
例如下面的任务:
- 将两个image文件夹归类至dataset/image文件夹,并将文件按照顺序重新编号
待处理数据集结构:
- PlantSegmentationDatasets
- vinecuttings
- images
- masks
- weeds
- weed50images
- weed50masks
images
文件夹中都是".JPG"后缀的文件,weed50images
中既有".JPG"也有".png"。
首先,我们要得到待复制的所有文件,
dir_1 = "/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/"
dir_2 = "/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/"
# 1. glob模糊匹配
paths = glob(dir_1 + "*.JPG")
for path in paths[:5]:
print(path)
# 2. 列表推导式 --> 匹配多种文件后缀
# 此时得到了一个两层嵌套的列表 [[], [], [], []]
ends = ["*.JPG", "*.jpg", "*.png", "*.jpeg"]
paths = [glob(dir_2 + end) for end in ends]
print(paths)
# 3. reduce(求和) --> 拼接嵌套列表为一层
paths = reduce(lambda x, y : x + y, paths)
for path in paths[:5]:
print(path)
输出:
输出内容过长, 已自动对输出内容进行截断
/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00149.JPG
/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00241.JPG
/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00248.JPG
/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00214.JPG
/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/DSC00200.JPG
[['/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_0026.JPG', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_035.JPG'], [], ['/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0035-YuzhenLu(C).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0021-YuzhenLu(B).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0031-YuzhenLu.png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0035-YuzhenLu(A).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0017-YuzhenLu(B).png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0042-YuzhenLu.png', '/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_Nikon
/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_0026.JPG
/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_SpurredAnoda_035.JPG
/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0035-YuzhenLu(C).png
/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0021-YuzhenLu(B).png
/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/08192020_NikonD3300_YL_Carpetweed_0031-YuzhenLu.png
下面是完整的代码:
# 将in_dirs里每个目录的图片,分别复制到同一个out_dir中,并为它们重新编号
def copy_dir(in_dirs, out_dir):
!mkdir $out_dir # 创建文件夹
for j, in_dir in enumerate(in_dirs):
ends = ["*.JPG", "*.png", "*.jpg", "*.jpeg"]
paths = reduce(lambda x, y : x + y, [glob(in_dir + end) for end in ends])
for i, in_filename in enumerate(paths):
out_filename = out_dir + str(j) + "_" + str(i) + ".jpg"
print(out_filename)
!cp $in_filename $out_filename # 复制图片
dir_1 = "/home/aistudio/PlantSegmentationDatasets/vinecuttings/images/"
dir_2 = "/home/aistudio/PlantSegmentationDatasets/weeds/weed50images/"
out_dir = "/home/aistudio/data/image/"
in_dirs = [dir_1, dir_2]
copy_dir(in_dirs, out_dir)
更多的应用,就以后在实践中慢慢摸索咯。
完
javascript进阶笔记
js是一门函数式语言,因为js的强大威力依赖于是否将其作为函数式语言进行使用。在js中,我们通常要大量使用函数式编程风格。函数式编程专注于:少而精、通常无副作用、将函数作为程序代码的基础构件块。在函数式编程中... 查看详情
函数式编程本质(笔记)转载
纯函数式编程语言中的变量也不是命令式编程语言中的变量,即存储状态的单元,而是代数中的变量,即一个值的名称。变量的值是不可变的(immutable),也就是说不允许像命令式编程语言中那样多次给一个变量赋值。比如说在... 查看详情
函数式编程读书笔记
函数式编程函数式编程思想:在思考问题时,使用不可变值和函数,函数对一个值进行处理,映射成另一个值。已经掌握的使用场景:1、 获取集合中的最大或最小值,当集合类型为自定义类型时的使用比... 查看详情
与函数式编程中的“折叠”函数等效的“pythonic”是啥?
】与函数式编程中的“折叠”函数等效的“pythonic”是啥?【英文标题】:Whatisthe\'pythonic\'equivalenttothe\'fold\'functionfromfunctionalprogramming?与函数式编程中的“折叠”函数等效的“pythonic”是什么?【发布时间】:2012-05-0903:08:35【问... 查看详情
python精简笔记——函数式编程(代码片段)
函数式编程就是一种抽象程度很高的编程范式,纯粹的函数式编程语言编写的函数没有变量,因此,任意一个函数,只要输入是确定的,输出就是确定的,这种纯函数我们称之为没有副作用。而允许使用变... 查看详情
java之函数编程(代码片段)
...《告别996,开启Java高效编程之门》学习过程中的学习笔记和课外资料补充,希望可以方便自己和其他需要的同学查阅。Lambda表达式简介 ①Java8引入的函数式编程风格; ②可以理解为一种匿名函数的代替ÿ... 查看详情
scala学习笔记-函数式编程(14)
将函数赋值给变量1//Scala中的函数是一等公民,可以独立定义,独立存在,而且可以直接将函数作为值赋值给变量2//Scala的语法规定,将函数赋值给变量时,必须在函数后面加上空格和下划线34defsayHello(name:String){println("Hello,"+name)}... 查看详情
python入门--04函数式编程(代码片段)
...级的语言,越贴近计算机,抽象程度低,执行效率高,比如C语言;越高级的语言,越贴近计算,抽象程度高,执行效率低,比如Lisp语言。函数式编程就是一种抽象程度很高的编程范式,纯 查看详情
python入门--04函数式编程(代码片段)
...级的语言,越贴近计算机,抽象程度低,执行效率高,比如C语言;越高级的语言,越贴近计算,抽象程度高,执行效率低,比如Lisp语言。函数式编程就是一种抽象程度很高的编程范式,纯 查看详情
《java8实战》读书笔记12:函数式编程(代码片段)
《Java8实战》读书笔记12:函数式编程第13章函数式的思考13.1实现和维护系统13.1.1共享的可变数据13.1.2声明式编程13.2什么是函数式编程13.2.1函数式Java编程13.2.2引用透明性13.2.3面向对象的编程和函数式编程的对比13.2.4函数式编... 查看详情
javascript与函数式编程
...听KyleSimpson精彩的课程《Functional-LightJavaScript》时所做的笔记(外加个 查看详情
读java8函数式编程笔记02_流
1. 外部迭代1.1. for循环是一个封装了迭代的语法糖1.1.1. 本质上来讲是一种串行化操作1.2. 很难抽象出不同操作2. 内部迭代2.1. 内部迭代中的相应接口:Stream2.2. 和Iterator类似,Stream是一种内部迭代方式2.3.&... 查看详情
《java8实战》读书笔记12:函数式编程(代码片段)
《Java8实战》读书笔记12:函数式编程第13章函数式的思考13.1实现和维护系统13.1.1共享的可变数据13.1.2声明式编程13.2什么是函数式编程13.2.1函数式Java编程13.2.2引用透明性13.2.3面向对象的编程和函数式编程的对比13.2.4函数式编... 查看详情
2.python函数式编程中的字符串,元组,函数的分类,高阶函数,一篇文章都介绍一遍(代码片段)
函数式编程中的字符串在函数式编程中,经常用到Python字符串,因其是不可变数据结构。字符串本身是一个对象,具备很多对象方法,与常识中函数的使用不太相同,例如下述代码my_str="xiangpica"print(my... 查看详情
python函数式编程,看这一篇就够了!
点击机器学习算法与Python学习,选择加星标精彩内容不迷路机器之心、Python编程时光本文对Python中的函数式编程技术进行了简单的入门介绍。头等函数在Python中,函数是「头等公民」(first-class)。也就是说,... 查看详情
python函数式编程,看这一篇就够了!
点击机器学习算法与Python学习,选择加星标精彩内容不迷路机器之心、Python编程时光本文对Python中的函数式编程技术进行了简单的入门介绍。头等函数在Python中,函数是「头等公民」(first-class)。也就是说,... 查看详情
scala笔记整理:函数式编程(代码片段)
[TOC]作为值传递的函数测试代码如下:packagecn.xpleaf.bigdata.p4.function/***scala中关于函数的操作*/object_01FunctionOpsdefmain(args:Array[String]):Unit=functionOps1/***作为值传递的函数*将一个函数作为值传递给另外一个函数变量的时候,约定需要在... 查看详情
函数响应式编程及reactiveobjc学习笔记
之前我们初步认识了RAC的设计思路跟实现方式,现在我们再来看看如果使用它以及它能帮我们做什么OneofthemajoradvantagesofRACisthatitprovidesasingle,unifiedapproachtodealingwithasynchronousbehaviors,includingdelegatemethods,callbackblocks,target 查看详情