关键词：
python一直被病垢运行速度太慢，但是实际上python的执行效率并不慢，慢的是python用的解释器Cpython运行效率太差。
“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。
我们来看一下这个最简单的例子，从1一直累加到1亿。
最原始的代码：
import time
def foo(x,y):
tt = time.time()
s = 0
for i in range(x,y):
s += i
print(‘Time used: sec‘.format(time.time()-tt))
return s
print(foo(1,100000000))
结果：
Time used: 6.779874801635742 sec
4999999950000000
我们来加一行代码，再看看结果：
from numba import jit
import time
@jit
def foo(x,y):
tt = time.time()
s = 0
for i in range(x,y):
s += i
print(‘Time used: sec‘.format(time.time()-tt))
return s
print(foo(1,100000000))
结果：
Time used: 0.04680037498474121 sec
4999999950000000
是不是快了100多倍呢？
那么下面就分享一下“为啥numba库的jit模块那么牛掰？”
NumPy的创始人Travis Oliphant在离开Enthought之后，创建了CONTINUUM，致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行，从而上百倍的提高程序的运算速度。
Numba项目的主页上有Linux下的详细安装步骤。编译LLVM需要花一些时间。
Windows用户可以从Unofficial Windows Binaries for Python Extension Packages下载安装LLVMPy、meta和numba等几个扩展库。
下面我们看一个例子：
import numba as nb
from numba import jit
@jit(‘f8(f8[:])‘)
def sum1d(array):
s = 0.0
n = array.shape[0]
for i in range(n):
s += array[i]
return s
import numpy as np
array = np.random.random(10000)
%timeit sum1d(array)
%timeit np.sum(array)
%timeit sum(array)
10000 loops, best of 3: 38.9 us per loop
10000 loops, best of 3: 32.3 us per loop
100 loops, best of 3: 12.4 ms per loop
numba中提供了一些修饰器，它们可以将其修饰的函数JIT编译成机器码函数，并返回一个可在Python中调用机器码的包装对象。为了能将Python函数编译成能高速执行的机器码，我们需要告诉JIT编译器函数的各个参数和返回值的类型。我们可以通过多种方式指定类型信息，在上面的例子中，类型信息由一个字符串’f8(f8[:])’指定。其中’f8’表示8个字节双精度浮点数，括号前面的’f8’表示返回值类型，括号里的表示参数类型，’[:]’表示一维数组。因此整个类型字符串表示sum1d()是一个参数为双精度浮点数的一维数组，返回值是一个双精度浮点数。
需要注意的是，JIT所产生的函数只能对指定的类型的参数进行运算：
print sum1d(np.ones(10, dtype=np.int32))
print sum1d(np.ones(10, dtype=np.float32))
print sum1d(np.ones(10, dtype=np.float64))
1.2095376009e-312
1.46201599944e+185
10.0
如果希望JIT能针对所有类型的参数进行运算，可以使用autojit：
from numba import autojit
@autojit
def sum1d2(array):
s = 0.0
n = array.shape[0]
for i in range(n):
s += array[i]
return s
%timeit sum1d2(array)
print sum1d2(np.ones(10, dtype=np.int32))
print sum1d2(np.ones(10, dtype=np.float32))
print sum1d2(np.ones(10, dtype=np.float64))
10000 loops, best of 3: 143 us per loop
10.0
10.0
10.0
autoit虽然可以根据参数类型动态地产生机器码函数，但是由于它需要每次检查参数类型，因此计算速度也有所降低。numba的用法很简单，基本上就是用jit和autojit这两个修饰器，和一些类型对象。下面的程序列出numba所支持的所有类型：
print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)]
[size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,
unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,
double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,
int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,
char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,
unsigned int, short, int64, Py_ssize_t]
工作原理
numba的通过meta模块解析Python函数的ast语法树，对各个变量添加相应的类型信息。然后调用llvmpy生成机器码，最后再生成机器码的Python调用接口。
meta模块
通过研究numba的工作原理，我们可以找到许多有用的工具。例如meta模块可在程序源码、ast语法树以及Python二进制码之间进行相互转换。下面看一个例子：
def add2(a, b):
return a + b
decompile_func能将函数的代码对象反编译成ast语法树，而str_ast能直观地显示ast语法树，使用这两个工具学习Python的ast语法树是很有帮助的。
from meta.decompiler import decompile_func
from meta.asttools import str_ast
print str_ast(decompile_func(add2))
FunctionDef(args=arguments(args=[Name(ctx=Param(),
id=‘a‘),
Name(ctx=Param(),
id=‘b‘)],
defaults=[],
kwarg=None,
vararg=None),
body=[Return(value=BinOp(left=Name(ctx=Load(),
id=‘a‘),
op=Add(),
right=Name(ctx=Load(),
id=‘b‘)))],
decorator_list=[],
name=‘add2‘)
而python_source可以将ast语法树转换为Python源代码：
from meta.asttools import python_source
python_source(decompile_func(add2))
def add2(a, b):
return (a + b)
decompile_pyc将上述二者结合起来，它能将Python编译之后的pyc或者pyo文件反编译成源代码。下面我们先写一个tmp.py文件，然后通过py_compile将其编译成tmp.pyc。
with open("tmp.py", "w") as f:
f.write("""
def square_sum(n):
s = 0
for i in range(n):
s += i**2
return s
""")
import py_compile
py_compile.compile("tmp.py")
下面调用decompile_pyc将tmp.pyc显示为源代码：
with open("tmp.pyc", "rb") as f:
decompile_pyc(f)
def square_sum(n):
s = 0
for i in range(n):
s += (i ** 2)
return s
llvmpy模块
LLVM是一个动态编译器，llvmpy则可以通过Python调用LLVM动态地创建机器码。直接通过llvmpy创建机器码是比较繁琐的，例如下面的程序创建一个计算两个整数之和的函数，并调用它计算结果。
from llvm.core import Module, Type, Builder
from llvm.ee import ExecutionEngine, GenericValue
# Create a new module with a function implementing this:
#
# int add(int a, int b)
# return a + b;
#
#
my_module = Module.new(‘my_module‘)
ty_int = Type.int()
ty_func = Type.function(ty_int, [ty_int, ty_int])
f_add = my_module.add_function(ty_func, "add")
f_add.args[0].name = "a"
f_add.args[1].name = "b"
bb = f_add.append_basic_block("entry")
# IRBuilder for our basic block
builder = Builder.new(bb)
tmp = builder.add(f_add.args[0], f_add.args[1], "tmp")
builder.ret(tmp)
# Create an execution engine object. This will create a JIT compiler
# on platforms that support it, or an interpreter otherwise
ee = ExecutionEngine.new(my_module)
# Each argument needs to be passed as a GenericValue object, which is a kind
# of variant
arg1 = GenericValue.int(ty_int, 100)
arg2 = GenericValue.int(ty_int, 42)
# Now let‘s compile and run!
retval = ee.run_function(f_add, [arg1, arg2])
# The return value is also GenericValue. Let‘s print it.
print "returned", retval.as_int()
returned 142
f_add就是一个动态生成的机器码函数，我们可以把它想象成C语言编译之后的函数。在上面的程序中，我们通过ee.run_function调用此函数，而实际上我们还可以获得它的地址，然后通过Python的ctypes模块调用它。
首先通过ee.get_pointer_to_function获得f_add函数的地址：
addr = ee.get_pointer_to_function(f_add)
addr
2975997968L
然后通过ctypes.PYFUNCTYPE创建一个函数类型：
import ctypes
f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)
最后通过f_type将函数的地址转换为可调用的Python函数，并调用它：
f = f_type(addr)
f(100, 42)
142
numba所完成的工作就是：
解析Python函数的ast语法树并加以改造，添加类型信息；
将带类型信息的ast语法树通过llvmpy动态地转换为机器码函数，然后再通过和ctypes类似的技术为机器码函数创建包装函数供Python调用。
用pypy让你的python代码运行得更快！(代码片段)
Python是开发人员中最常用的编程语言之一，但它有一定的局限性。例如，对于某些应用程序而言，它的运行速度可能比其它语言低100倍。这就是为什么当Python的运行速度成为用户瓶颈后，许多公司会用另一种语言... 查看详情
一行代码让你的python计算速度提高十倍(代码片段)
Python语言近年来人气爆棚。它广泛应用于数据科学，人工智能，以及网络安全问题中，由于代码可读性较强，学习效率较高，吸引了许多非科班的同学进行学习。然而，使用Python一段时间以后，发现它... 查看详情
一行代码让你的python计算速度提高十倍(代码片段)
Python语言近年来人气爆棚。它广泛应用于数据科学，人工智能，以及网络安全问题中，由于代码可读性较强，学习效率较高，吸引了许多非科班的同学进行学习。然而，使用Python一段时间以后，发现它... 查看详情
如何将python数据管道的速度提高到91倍？(代码片段)
...;并非所有数据科学家都是C++专家。假如有一种Python代码以并行执行的方式运行，并以编译代码的速度运行，该怎么办？那是Tuplex要解决的问题。内容较 查看详情
掌握这个小技巧，让你的c++编译速度提升50倍。
...提升效率呢？一起来看看下面这几个方法，足以让你的编译速度飞起来。先随便下载一个第三方源码&#x 查看详情
为啥 Mongo 提示使查询运行速度提高 10 倍？
】为啥Mongo提示使查询运行速度提高10倍？【英文标题】：WhydoesMongohintmakeaqueryrunupto10timesfaster?为什么Mongo提示使查询运行速度提高10倍？【发布时间】：2011-12-0513:07:02【问题描述】：如果我使用explain()从shell运行mongo查询，获取使... 查看详情
idea中tabnine的安装，让你写代码的速度提升100倍
...编辑器中，程序员写代码时，这个程序会给出下一行代码建议，每次提供一小段代码。你可以将它理解为Gmail的智能撰写功能用到了代码上。据悉，Jacob于2018年2月开始研究该软件的原始版本，在11月发布之前它... 查看详情
idea中tabnine的安装，让你写代码的速度提升100倍
...编辑器中，程序员写代码时，这个程序会给出下一行代码建议，每次提供一小段代码。你可以将它理解为Gmail的智能撰写功能用到了代码上。据悉，Jacob于2018年2月开始研究该软件的原始版本，在11月发布之前它... 查看详情
光纤技术取得突破，互联网速度或可提高100倍
...上的一篇文章称，通过检测扭曲成螺旋状的光线，互联网速度可以提高100倍。这项研究可用于轻松升级现有的网络，大幅提高传输效率。光纤线缆使用光脉冲来传输信息，但目前信息只能通过光的颜色，以及波是水平的还是垂直... 查看详情
python3：只用一个装饰器，就让python的运行速度提升200倍！！(代码片段)
让python运行速度更快1、引言2、Numba2.1简介2.2安装2.3代码实例3、代码实战3.1不使用Numba3.2使用Numba4、总结1、引言小屌丝：鱼哥，我今天被鄙视了小鱼：因为你的颜值被鄙视了？？小屌丝：咱还能正常聊天吗&... 查看详情
pandarallel：一款能让你的python计算火力拉满的工具(代码片段)
众所周知，由于GIL的存在，Python单进程中的所有操作都是在一个CPU核上进行的，所以为了提高运行速度，我们一般会采用多进程的方式。而多进程无非就是以下几种方案：multiprocessingconcurrent.futures.ProcessPoolExecu... 查看详情
pandarallel：一款能让你的python计算火力拉满的工具(代码片段)
众所周知，由于GIL的存在，Python单进程中的所有操作都是在一个CPU核上进行的，所以为了提高运行速度，我们一般会采用多进程的方式。而多进程无非就是以下几种方案：multiprocessingconcurrent.futures.ProcessPoolExecu... 查看详情
比requests更强大python库，让你的爬虫效率提高一倍！
...屏幕经过asyncawait（协程在Python中的实现）修饰的代码，我顿时感到一脸懵逼，不知所措。虽然之前有了解过"协程"是什么东西，但并没有深入探索， 查看详情
比requests更强大python库，让你的爬虫效率提高一倍
...屏幕经过asyncawait（协程在Python中的实现）修饰的代码，我顿时感到一脸懵逼，不知所措。虽然之前有了解过"协程"是什么东西，但并没有深入探索，于是正好借着这次机 查看详情
XAMPP 在 Windows 上的 PHP 运行速度太慢了 100 倍
】XAMPP在Windows上的PHP运行速度太慢了100倍【英文标题】：PHPonWindowswithXAMPPrunning100timestooslow【发布时间】：2016-08-1318:01:42【问题描述】：PHP在我的Windows桌面上运行如此缓慢，以至于phpMyAdmin需要几分钟才能打开一个数据库。下面是... 查看详情
什么是 LLVM 以及如何用 LLVM 替换 Python VM 将速度提高 5 倍？
】什么是LLVM以及如何用LLVM替换PythonVM将速度提高5倍？【英文标题】：WhatisLLVMandHowisreplacingPythonVMwithLLVMincreasingspeeds5x?【发布时间】：2010-10-1606:33:15【问题描述】：Google正在赞助一个开源项目，旨在将Python的速度提高5倍。Unladen-Sw... 查看详情
10个python办公黑科技，助你办公效率提高100倍(代码片段)
1946年，世界上第一台通用计算机“ENIAC”在美国宾夕法尼亚大学诞生；“ENIAC”占地170平方米，重达30吨，耗电功率约150千瓦，每秒钟可进行5000次运算，这个庞然大物用于美国国防部进行弹道计算。在当时&... 查看详情
import一个“太极”库，让python代码提速100倍！
...了：只需import一个叫做“Taichi”的库，就可以把代码速度提升100倍！不信？来看三个例子。计算素数的个数，速度 查看详情