python十大开源python库,看看你熟悉几个?

摸鱼芝士 摸鱼芝士     2023-03-31     461

关键词:

嗨害大家好鸭!我是芝士❤

对于码农来说,
关注的永远是新近有什么流行的、
既能解决问题又好用的利器。
本文就为你盘点十大开源Python库。

1、Pipenv

第一名非它莫属,
这个工具2017年初才发布,
但它已经能够影响每个Python开发者的工作流了,
更别提现在连Python.org都官方推荐它作为支持库的管理工具!

Pipenv最开始不过是大神Kenneth Reitz搞的周末项目,
本意是将npm或yarn这些包管理器的闪光点引入Python世界。

别管什么安装virtualenv、virtualenvwrapper,
管理requirements.txt文件,
更别提根据支持库的版本来确保复用性了。
有了Pipenv,
再也不需要用命令来增加、删除或更新支持库了,
一个Pipfile文件就能搞定所有的支持库。
这个工具会生成一个Pipfile.lock文件,
确保编译的库都是最终版,
还能避免因为漏掉一些边边角角的支持库而导致的bug。

当然,Pipenv还有其他不少好功能,
并且它的文档也很赞。
赶紧去了解一下,
用它来支持你的Python项目吧,
我们已经在Tryolabs上用上啦:)

2、PyTorch

要说2017年深度学习社区里面哪个库实现了大爆发,
那必须是PyTorch,
这个深度学习框架是Facebook 2017年才推出的。

PyTorch是基于流行一时的Torch框架构建和改进的,
与Lua相比,它是基于Python的。
近几年,
越来越多的人开始用Python开展数据科学工作,
PyTorch让深度学习变得更加平易近人了。

值得注意的是,
采用了全新动态计算图范式的PyTorch已经成为很多研究者的专用框架之一。
使用TensorFlow、CNTK和MXNet等框架写代码时,
必须先定义计算图,
这个计算图指定了代码运行的所有操作,
随后在框架中进行编译与优化,
使它能进行GPU并行处理,运算速度更快
这种范式被称为静态计算图。

它的好处在于可以利用各种优化,
而且,因为构建与执行是分开进行的,
此图一旦被构建即可在不同设备上运行。

然而,对于诸如自然语言处理等任务,
其工作量是可变的。

将图片应用于算法前,
可以将图片调整为固定尺寸,
但是无法将不同长度的句子进行类似的处理。

PyTorch和动态图的又是在于可在代码中使用标准Python控制指令,

在执行指令时定义动态图,
这就给了你更多自由,
对于多任务,这点至关重要。

和其他现代深度学习框架一样,
PyTorch还可以进行梯度计算,
它的运行速度极快,还可以扩展,
既然如此,干嘛不试试?

3、Caffe2


听上去有点不可思议,但是Facebook 2017年还发布了另一款重磅深度学习框架。

多年前,Caffe框架就已被广泛应用,并以无可比拟的性能和实战检测的代码库著称。然而,深度学习的最新趋势使得这个框架在某些方向陷入了停滞。Caffe2试图将Caffe引入现代世界。

它支持分布式训练及部署,包括多种移动平台、最新的CPU与CUDA适配的硬件。PyTorch更适合研究,Caffe2则适用于Facebook那种大规模部署。

还可以了解一下ONNX(微软与Facebook共同推出的开源项目,全称为Open Neural Network Exchange)近期的努力。用PyTorch构建和训练模型,再用Caffe2进行部署!是不是挺棒?

4、Pendulum

2016年,
Arrow荣登本榜,
这个库是为了让Python处理datetimes更简单。

2017年,轮到Pendulum了。

Pendulum的一大优势是内嵌式取代Python的datetime类,
可以轻易地将它整合进现有代码,
并且可以在需要它的时候才进行调用。

作者精心调校了时区,确保时区的正确,
还让每个实例都对时区敏感,并且默认使用UTC。
还有就是提供了扩展的timedelta,使datetime计算更加容易。

与现有的其他库不同,它提供了一个可预测行为的API,
这样就可以知道后面会发生什么。
如果你正开发使用datetimes的复杂项目,这个库能让你更轻松!想要了解更多,请查阅文档。

5、Dash

从事数据科学工作,
少不了使用Pandas、scikit-learn这些Python生态系统中的利器,

还有就是控制工作流的Jupyter Notebooks,
没的说,你和同事都爱用。

但是,要想将工作成果分享给不会用这些工具的人,
那该怎么办?
怎么才能构建一个人人能够轻松上手的界面,
来操控数据和可视化?
以前,为实现这一目的,
需要一个精通Javascript的前端专职团队来搭建GUI,
以后就用不着啦。

2017年发布的Dash是一个在纯Python环境中构建数据可视化网站应用的开源库。
基于Flask、Plotly.js和React构建,提供抽象层,
无需学习上述框架即可快速上手开发。
它在浏览器中渲染和响应,
因此适用移动端。

如果你想知道Dash都能实现什么效果,
这个样例库可以让你大饱眼福。

6、PyFlux

很多Python库都适用于数据科学和机器学习,
但当数据点是随着时间进化的矩阵时,
比如股价或从设备获取的测量数据等,这就是另一回事儿了。

PyFlux是专门处理时间序列的Python开源库。
时间序列是统计学与计量经济学的子域,
其目标是描述时间序列行为(主要是关于潜在成分或利息特征),并且预测未来它们如何演化。

PyFlux允许通过概率方式进行时间序列建模,
并且实现了几个像GARCH这样的现代时间序列模型。
是个不错的好东西。

7、Fire

做项目的时候经常需要制作命令行界面(Command Line Interface~CLI)。
除了传统的argparse,
Python还有类似click或docopt等工具。
谷歌今年发布的Fire,
使用另一个视角来解决同样的问题。

Fire是一个为任意Python项目自动生成命令行界面的开源库。
请注意,

重点是自动构建命令行界面,
基本上不需要再写代码或文档说明啦。
只需要调用一个Fire方法,
把它传输给需要生成命令行界面的内容即可
比如,函数、对象、类、字典,就算没有参数都可以,
这样Fire就会为所有代码生成一个命令行界面(CLI)。

请仔细阅读此指南,
通过例子理解它如何运作。
密切关注这个库,
它绝对能给你节省不少时间。

8、imbalance-learn

理想状态下,
我们有均衡的数据集可以用来训练模型,一切都很如意。可惜,真实世界不是这样的,现实任务更多是非均衡数据。比如,在预测伪造信用卡交易时,预期超过99.9%的绝大多数交易是合法的。如果只是训练朴素机器学习算法会让你很糟心,因此需要格外关注这类数据集。

好在这个问题已经解决了,
还有各种不同的技术解决方案。
Imbalanced-learn 这个Python包提供了多种技术解决方案,
可以让开发工作变得更轻松。
它与scikit-learn兼容,
并且是scikit-learn-contrib项目的一部分。有用!

9、FlashText

一般来说,查找或替换文本可以使用正则表达式。
正则表达式能妥妥的完成这项任务。
但是,需要查找几千个术语时,
正则表达式就慢死了。

FlashText能够更好地解决这个问题。
在作者最初的基准测试中,
它大幅提高了整个操作运行时间,
从5天缩减到5分钟。

FlashText的美妙之处在于不论查找多少术语
其运行时间都是一样的,
而正则表达式的运行时间则会随着术语数量的增加而线性增加。

FlashText证明了算法和数据结构设计的重要性,
由此可知,即便是简单的问题,
更好的算法也可以比更强的CPU有效。

10、Luminoth

声明:本库是由Tryolab的研发中心开发的。

当今世界图片满天飞,
一些应用急需理解这些图片的内容。
多亏深度学习技术的发展,
图像处理技术也取得了长足的进步。

Luminoth是基于TensorFlow和Sonnet构建的一个处理计算机视觉的Python工具箱。
目前,它通过快速R-CNN模型支持对象检测。

Luminoth不仅实现了这个特定模型,
它还是基于模块化构建的,可以扩展。
因此,
自定义现有组件或结合新的模型来解决复杂问题是可行的,
好好复用这些代码吧。

在构建深度学习模型时,
它提供了必要的开发工具:
转换图像数据为适用的格式
以供数据管道(TensorFlow的tfrecords)处理,
进行数据增强,
在一个或多个GPU上进行训练
(在处理大型数据集时,必须使用分布式训练)

运行评估指标,
轻松地在TensorFlow中实现可视化,
通过简单的API或浏览器界面部署训练模型,
供人操作。

还有,Luminoth可以很简单地整合谷歌云的机器学习引擎
就算你没有强大的GPU,
也可以和在本机一样,
轻松一个指令就能在云端进行模型训练。


更多优秀库:这些也不错

PyVips

可能你从没听说过libvips这个库。

这么说吧,

它是个像Pillow或ImageMagick这样的图像处理库,

并且支持很多图片格式。

然而,和其他库相比,libvips更快,

占用内存更少。

比如说,基准测试显示它比ImageMagick快3倍,

占用内存仅为1/15。

有关libvips的优势,请点此查阅。

PyVips是近期发布的Python版libvips,

兼容Python2.7和3.6,还有PyPy。

使用pip安装,内嵌式兼容绑定的老版本,无需修改代码。

如果在APP中进行图像处理,那一定要关注它。

Requestium

声明:本库为Tryolabs发布。
更多Python相关视频、资料加qun540305994免费获取
有时,你可能会在网上实现一些自动化操作。比如抓取网站,进行应用测试,或在网上填表,但又不想使用API,这时自动化就变得很必要。Python提供了非常优秀的Requests库,可以辅助进行这些操作。可惜,很多网站采用基于JavaScript的重客户端,这就意味着Requests获取的HTML代码中,根本就没有想要用于自动化操作的表单,更别提自动填表了!它取回的基本上都是React或Vue这些现代前端库在浏览器中生成的空DIV这类的代码。

可以通过反向工程处理JavaScript生成的代码,但是这需要花几个小时来编译,处理这些丑陋的JS代码。谢谢,还是算了吧。还有一个方法就是使用Selenium库,允许以程序化的方式和浏览器进行交互,并运行JavaScript代码。用了这个库就没啥问题了,但是它比占用资源很少的Requests慢太多了。

如果能以Requests为主,只有在需要Selenium的时候才无缝调用,这样不是更好?看看Requestium吧,它以内嵌方式取代Requests,而且干的不错。它还整合了Parsel,用它编写的页面查询元素选择器代码特别清晰。它还为诸如点击元素和确保在DOM中渲染内容这些通用操作提供了帮助。又一个网页自动化省时利器!

skorch

喜欢scikit-learn的API,但又得用PyTorch来进行工作?别担心,skorch这个打包器为PyTorch提供了像sklearn一样的界面。只要你熟悉这些库,就会觉得它的句法直白易懂。有了skorch,就可以将一些代码抽象化,从而把精力集中在真正重要的事上,比如干点儿数据科学。

你喜欢哪个呢?

十大开源swift库开始你的下一个ios项目

随着Swift变得更加成熟,开源Swift库变得越来越多样化并且数量迅速增长。在本文中,我策划了可用于引导您的下一个iOS项目的最佳开源Swift库。它们将使您的代码库更加强大,性能更高,并允许您 更快地发布iOS项目。事实上... 查看详情

anaconda和conda——关于python的数据科学开发环境,数据科学必备的十大python库(代码片段)

1、什么是anaconda?Anaconda是一个免费开源的Python和R语言的发行版本如果把Python类比成Linux,那么Anaconda就是centos、ubuntu。换句话说,Anaconda就是一个整合了python及一系列pip包的第三方软件,类似于Web开发的LNMP一键安... 查看详情

万字博文教你python爬虫pyquery库详解篇

如果你对web比较熟悉,比较喜欢用CSS选择器,如果你对jQuery有所了解。那么,就一起来看看这个解析库——pyquery吧!pyquery库详解每篇前言:1.初始化:①直接传入字符串②传入URL③传入文件名2.基本CSS选择器3.查找节点①子孙节... 查看详情

Python Exchange ActiveSync 库

】PythonExchangeActiveSync库【英文标题】:PythonExchangeActiveSyncLibrary【发布时间】:2012-09-1420:32:56【问题描述】:是否有人熟悉Python的ExchangeActiveSync库或开源客户端?我已经进行了初步搜索,但几乎没有成功。我看过一些C#的例子,但... 查看详情

最常用的几个python库

Python常用库大全,看看有没有你需要的。环境管理管理Python版本和环境的工具p–非常简单的交互式python版本管理工具。pyenv–简单的Python版本管理工具。Vex–可以在虚拟环境中执行命令。virtualenv–创建独立Python环境的工具。virtu... 查看详情

作为python开发者,这几个pycharm技巧你必须掌握!

...者所有,如有问题请及时联系我们以作处理。PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun0.PyCharm常用快捷键 1. 查看使用库源码 PyCharm主程序员在Stackoverflow上答道经常听人说,多看源... 查看详情

python十大必学模块是啥?

这个不能一概而论的,据说python目前高达27万+个库,看你学习的方向必学模块也有不同,简单列举:   1、网络通用方面:urllib -网络库requests -网络库pycurl –网络库httplib2 –网络库RoboBrowser –浏览网... 查看详情

anaconda和conda——关于python的数据科学开发环境,数据科学必备的十大python库

1、什么是anaconda?Anaconda是一个免费开源的Python和R语言的发行版本如果把Python类比成Linux,那么Anaconda就是centos、ubuntu。换句话说,Anaconda就是一个整合了python及一系列pip包的第三方软件,类似于Web开发的LNMP一键安装之类的Anaconda... 查看详情

2022年最火的十大测试工具,你掌握了几个(代码片段)

...e多平台支持:Linux、Windows、MAC多语言支持:Java、Python、Ruby、C#、JavaScript、C++对web页面有良好的支持,直接运行在浏览器中,模拟用户的操作简单(API简单)灵活(用开发语言驱动)支持分布... 查看详情

来都来了,你确定不看看,使用python中的科学计算库numpy操作数组,你一定能学废!!(图文并茂版!!!!)(代码片段)

Numpy操作数组Numpy库Numpy库的介绍Numpy库的安装:python中数组与列表对比列表:数组:数组的创建使用array方法创建数组注意:ndmin,dtype参数的使用使用arange方法创建数组使用random(随机数)方法创建数组其它方式... 查看详情

这几个常用的python库你需要知道

python可以说是近几年最火热、最实用的、最容易上手的工具之一了。功能强大、应用广泛,可以帮你搜集工作数据,还能帮你下载音乐,电影,于参考技术Apython可以说是近几年最火热、最实用的、最容易上手的工具之一了。功... 查看详情

十大健康好习惯?看看你占了几条?

十大健康好习惯?看看你占了几条?  不良的生活习惯不知不觉给人们的健康带来威胁,很多慢性病呈现年轻化趋势。十大健康生活方式,快来看看你占了几条?  一、勤洗手  德国格赖夫斯瓦尔德大学研究人员发现,... 查看详情

hashmap的几个问题,看看你都答得上来吗?

某一天你接到一个公司的面试邀请,去参加面试。面试官问你:HashMap熟悉吗?答:熟悉的,经常用。HashMap的底层是什么?答:数组+链表+红黑树。简单讲一下HashMap的实现原理!?答:嗯先用hash算法计算插入位置,然后插入到对... 查看详情

中国通信行业十大杰出女性,看看你认识几个?

注:排名不分先后█01中国信息通信研究院副院长王志勤王志勤王志勤在中国乃至全球通信行业具有极高的知名度。她1992年毕业于北京邮电大学无线通信专业,在通信领域辛勤耕耘了三十余年,长期从事标准研究和制... 查看详情

matplotlib出图示例

...的解决方案,应该考虑尝试下matplotlib库。Matplotlib是基于python的开源科学测绘包,基于python软件基金会许可证发布。大量的文档和例子、集成了Python和Numpy科学计算包、以及自动化能力,是作为Linux环境中进行科学画图的可靠选择... 查看详情

你应该看看!

Python入门篇Python爬虫Python数据分析Python入门篇学习Python,首先要知道你应该按照什么样的学习路径去学,因为这样你会少走很多弯路,那么我们来看下Python需要学哪些内容。Python全栈学习路线今天推荐的这个专栏按照... 查看详情

标准库举例:syscopy

引言:Python标准库内容非常多,有人专门为此写过一本书。本文将选择几个呈现出来,一来显示标准库之强大功能,二来演示如何理解和使用标准库。sys是常用的标准库,已经不陌生了;copy也是已经用过的标准库。先从熟悉的... 查看详情

标准库举例:syscopy

引言:Python标准库内容非常多,有人专门为此写过一本书。本文将选择几个呈现出来,一来显示标准库之强大功能,二来演示如何理解和使用标准库。sys是常用的标准库,已经不陌生了;copy也是已经用过的标准库。先从熟悉的... 查看详情