python开发者应该知道的7个开发库(代码片段)

sollor525 sollor525     2022-12-11     490

关键词:

本文由 OSChina 译自 7 Python Libraries you should know about

在我多年的 Python 编程经历以及在 Github 上的探索漫游过程中,我发掘到一些很不错的 Python 开发包,这些包大大简化了开发过程,而本文就是为了向大家推荐这些开发包。

请注意我特别排除了像 SQLAlchemy Flask 这样的库,因为其实在太优秀了,无需多提。

下面开始:

1. PyQuery (with lxml)

安装方法 pip install pyquery

Python 解析 HTML 时最经常被推荐的是 Beautiful Soup ,而且它的确也表现很好。提供良好的 Python 风格的 API,而且很容易在网上找到相关的资料文档,但是当你需要在短时间内解析大量文档时便会碰到性能的问题,简单,但是真的非常慢。

下图是 08 年的一份性能比较图:

这个图里我们发现 lxml 的性能是如此之好,不过文档就很少,而且使用上相当的笨拙!那么是选择一个使用简单但是速度奇慢的库呢,还是选择一个速度飞快但是用起来巨复杂的库呢?

谁说二者一定要选其一呢,我们要的是用起来方便,速度也一样飞快的 XML/HTML 解析库!

而 PyQuery 就可以同时满足你的易用性和解析速度方面的苛刻要求。

看看下面这几行代码:

from pyquery import PyQuery
page = PyQuery(some_html)

last_red_anchor = page('#container > a.red:last')
很简单吧,很像是 jQuery,但它却是 Python。


不过也有一些不足,在使用迭代时需要对文本进行重新封装:

for paragraph in page('#container > p'):
    paragraph = PyQuery(paragraph)
    text = paragraph.text()


2. dateutil

安装方法:pip install dateutil

处理日期很痛苦,多亏有了 dateutil

from dateutil.parser import parse

>>> parse('Mon, 11 Jul 2011 10:01:56 +0200 (CEST)')
datetime.datetime(2011, 7, 11, 10, 1, 56, tzinfo=tzlocal())

# fuzzy ignores unknown tokens

>>> s = """Today is 25 of September of 2003, exactly
...        at 10:49:41 with timezone -03:00."""
>>> parse(s, fuzzy=True)
datetime.datetime(2003, 9, 25, 10, 49, 41,
                  tzinfo=tzoffset(None, -10800))


3. fuzzywuzzy

安装方法:pip install fuzzywuzzy

fuzzywuzzy 可以让你对两个字符串进行模糊比较,当你需要处理一些人类产生的数据时,这非常有用。下面代码使用Levenshtein 距离比较方法来匹配用户输入数组和可能的选择。

from Levenshtein import distance

countries = ['Canada', 'Antarctica', 'Togo', ...]

def choose_least_distant(element, choices):
    'Return the one element of choices that is most similar to element'
    return min(choices, key=lambda s: distance(element, s))

user_input = 'canaderp'
choose_least_distant(user_input, countries)
>>> 'Canada'
这已经不错了,但还可以做的更好:
from fuzzywuzzy import process

process.extractOne("canaderp", countries)
>>> ("Canada", 97)


4. watchdog

安装方法:pip install watchdog

watchdog 是一个用来监控文件系统事件的 Python API和shell实用工具。

5. sh

安装方法:pip install sh

sh 可让你调用任意程序,就好象是一个函数一般:

from sh import git, ls, wc

# checkout master branch
git(checkout="master")

# print(the contents of this directory
print(ls("-l"))

# get the longest line of this file
longest_line = wc(__file__, "-L")


6. pattern

安装方法:pip install pattern

Pattern 是 Python 的一个 Web 数据挖掘模块。可用于数据挖掘、自然语言处理、机器学习和网络分析。

7. path.py

安装方法:pip install path.py

当我开始学习 Python 时,os.path 是我最不喜欢的 stdlib 的一部分。尽管在一个目录下创建一组文件很简单。

import os

some_dir = '/some_dir'
files = []

for f in os.listdir(some_dir):
    files.append(os.path.joinpath(some_dir, f))


但 listdir 在 os 而不是 os.path 中。

而有了 path.py ,处理文件路径变得简单:

from path import path

some_dir = path('/some_dir')

files = some_dir.files()
其他的用法:
>>> path('/').owner
'root'

>>> path('a/b/c').splitall()
[path(''), 'a', 'b', 'c']

# overriding __div__
>>> path('a') / 'b' / 'c'
path('a/b/c')

>>> path('ab/c').relpathto('ab/d/f')
path('../d/f')
是不是要好很多?


python之每个人都应该知道的30个一行代码程序(代码片段)

Python语法简洁,能够用一行代码实现很多有趣的功能,现在整理30个常见的Python一行代码集合。①转置矩阵old_list=[[1,2,3],[3,4,6],[5,6,7]]list(list(x)forxinzip(*old_list))[[1,3,5],[2,4,6],[3,6,7]]②二进制转十进制decimal=int('1010& 查看详情

每个java开发人员都应该知道的4个spring注释(代码片段)

这是每个Java开发人员都应该知道的最重要的Spring注解。感谢优锐课老师对本文提供的一些帮助。随着越来越多的功能被打包到单个应用程序或一组应用程序中,现代应用程序的复杂性从未停止增长。尽管这种增长带来了一些惊... 查看详情

在linux上高效开发的7个建议(代码片段)

我们都知道被困在一段简单代码上数个小时是一个开发者挫败感的由来。出了问题却找不到bug会让人身心俱疲。我认为对于开发人员来讲,节省时间是相当重要的。我发现自己经常浪费时间在有关Linux的简单事情上,而我也曾目... 查看详情

java程序员应该知道的20个有用的lib开源库

一般一个经验丰富的开发者,一般都喜欢使用开源的第三方api库来进行开发,毕竟这样能够提高开发效率,并且能够简单快速的集成到项目中去,而不用花更多的时间去在重复造一些无用的轮子,多了解一些第三方库可以提高我... 查看详情

7个最受瞩目的python库,提升你的开发效率(代码片段)

...数据分析和处理已经成为了各行各业中不可或缺的一环。Python作为一种非常流行的编程语言,为我们提供了许多强大的工具和库来处理不同类型的数据。在这篇文章中,我将向您介绍七个非常有用的Python库,这些库各... 查看详情

献给python开发人员的25个最佳github代码库

以下为译文:根据2020年StackOverflow开发者调查报告,Python是世界上最受欢迎的语言之一,排名仅次于Rust和TypeScript。更令人惊讶的是,Python是开发人员最想尝试的语言。如果你是一位使用Python的开发人员,而且希望提高自己的技... 查看详情

每个开发者都应该知道的solid原则(代码片段)

每个开发者都应该知道的SOLID原则单一职责原则(SRP)它为什么违反了SRP?这种设计将来会带来什么问题?开闭原则(OCP)如何使它(AnimalSound)符合OCP?里氏替换原则(LSP)接口隔离原则(ISP)依赖倒置原则(DIP)小结每个开... 查看详情

python开发面试问题(代码片段)

可变与不可变类型; 浅拷贝与深拷贝的实现方式、区别;deepcopy如果你来设计,如何实现; __new__()与__init__()的区别; 你知道几种设计模式; 编码和解码你了解过么; 列表推导listcomprehension和生成器的优劣;&... 查看详情

python开发者需要知道的完美终端工具(代码片段)

Rich是一个Python库,可以为你在终端中提供富文本和漂亮、精美的格式。使用RichAPI可以很容易的在终端输出添加各种颜色和不同风格。它可以绘制漂亮的表格,进度条,markdown,突出显示语法的源代码及回溯等等&#x... 查看详情

python开发者需要知道的完美终端工具(代码片段)

Rich是一个Python库,可以为你在终端中提供富文本和漂亮、精美的格式。使用RichAPI可以很容易的在终端输出添加各种颜色和不同风格。它可以绘制漂亮的表格,进度条,markdown,突出显示语法的源代码及回溯等等&#x... 查看详情

python开发基础模块(代码片段)

1#模块23"""4python标准库直接import导入5第三方模块pip下载,import导入6程序自定义的模块库7"""89#系统模块10importtime#时间11importdatetime#日期时间12importrandom#随机模块13importos#操作系统交互14importsys#解释器交互15importjson#json信息16importpickle... 查看详情

前端高效开发必备的js库梳理(代码片段)

之前有很多人问学好前端需要学习哪些js库,主流框架应该学vue还是react?针对这些问题,笔者来说说自己的看法和学习总结.首先我觉得在学习任何知识之前必须要有一个明确的学习目标,知道自己为什么要学它,而不是看网上说的一... 查看详情

你应该知道的8个java牛人

简单介绍一下8个Java牛人,他们为Java社区,创建了框架(framework),产品或者是写书,影响甚至改变了Java开发的方法8.Tomcat创始人JamesDuncanDavidson,是当时Sun公司的软件工程师(1997-2001),创建了Java的Web服务器Tomcat,Tomcat广泛应用... 查看详情

学习python,开发工具我们应该如何选择

7款适合Python语言的开发工具,各位同学选择最适合自己项目的即可:一、PyCharm用户可以根据自己的需要下载任何Windows、Mac或Linux版本进行使用。可以说,PyCharm被认为是Python最好的IDE之一,并且是使用最广泛的IDE!另外,PyCharm还... 查看详情

每个开发人员都应该知道的11个linux命令(代码片段)

本文主要挑选出读者有必要首先学习的11个Linux命令,如果不熟悉的读者可以在虚拟机或云服务器上实操下,对于开发人员来说,能熟练掌握Linux做一些基本的操作是必要的!事不宜迟,这里有11个Linux命令行技巧,可以使你的生... 查看详情

python官网有几个下载文件,有啥区别?如下

...e(2.7.8)[1]1.Windowsx86MSIInstaller(2.7.8) - 32位系统安装的python2.Windowsx86MSIprogramdatabase(2.7.8)-32位python源码的符号库。如果做纯Python开发,为python的C接口开发准备的。3.WindowsX86-64MSIInstaller(2.7.8) - 64位系统安装的python4.WindowsX86... 查看详情

吐血整理:7个最佳的学习python编程的开源库,拿去吧你!(代码片段)

很多伙伴们在学习Python的过程中,更倾向于在Github上寻找Python学习资料,今天就和大家分享Github上7个绝佳的Python编程学习的开源库:1、learn-python3这个存储库一共有19本Jupyter笔记本。它涵盖了字符串和条件之类的基础... 查看详情

apache_conf开发同构应用程序时应该知道的webpack设置(代码片段)

查看详情