当前位置:主页 > python教程 > python速度提升numba

利用numba让python速度提升百倍

发布:2022-06-14 21:23:50 59


为找教程的网友们整理了python相关的编程文章,网友蒋浩岚根据主题投稿了本篇教程内容,涉及到python速度提升numba、python速度提升、python、numba、python速度提升numba相关内容,已被832网友关注,如果对知识点想更进一步了解可以在下方电子资料中获取。

python速度提升numba

前言;

python由于它动态解释性语言的特性,跑起代码来相比java、c++要慢很多,尤其在做科学计算的时候,十亿百亿级别的运算,让python的这种劣势更加凸显。

办法永远比困难多,numba就是解决python慢的一大利器,可以让python的运行速度提升上百倍!

一、什么是numba?

numba是一款可以将python函数编译为机器代码的JIT编译器,经过numba编译的python代码(仅限数组运算),其运行速度可以接近C或FORTRAN语言。

python之所以慢,是因为它是靠CPython编译的,numba的作用是给python换一种编译器。

python、c、numba三种编译器速度对比:

使用numba非常简单,只需要将numba装饰器应用到python函数中,无需改动原本的python代码,numba会自动完成剩余的工作。

import numpy as np
import numba
from numba import jit

@jit(nopython=True) # jit,numba装饰器中的一种
def go_fast(a): # 首次调用时,函数被编译为机器代码
    trace = 0
    # 假设输入变量是numpy数组
    for i in range(a.shape[0]):   # Numba 擅长处理循环
        trace += np.tanh(a[i, i]) 
    return a + trace

以上代码是一个python函数,用以计算numpy数组各个数值的双曲正切值,我们使用了numba装饰器,它将这个python函数编译为等效的机器代码,可以大大减少运行时间。

二、numba适合科学计算

numpy是为面向numpy数组的计算任务而设计的。

在面向数组的计算任务中,数据并行性对于像GPU这样的加速器是很自然的。Numba了解NumPy数组类型,并使用它们生成高效的编译代码,用于在GPU或多核CPU上执行。特殊装饰器还可以创建函数,像numpy函数那样在numpy数组上广播。

什么情况下使用numba呢?

  • 使用numpy数组做大量科学计算时
  • 使用for循环时

三、学习使用numba

第一步:导入numpy、numba及其编译器

import numpy as np
import numba 
from numba import jit

第二步:传入numba装饰器jit,编写函数

# 传入jit,numba装饰器中的一种
@jit(nopython=True) 
def go_fast(a): # 首次调用时,函数被编译为机器代码
    trace = 0
    # 假设输入变量是numpy数组
    for i in range(a.shape[0]):   # Numba 擅长处理循环
        trace += np.tanh(a[i, i])  # numba喜欢numpy函数
    return a + trace # numba喜欢numpy广播

nopython = True选项要求完全编译该函数(以便完全删除Python解释器调用),否则会引发异常。这些异常通常表示函数中需要修改的位置,以实现优于Python的性能。强烈建议您始终使用nopython = True。

第三步:给函数传递实参

# 因为函数要求传入的参数是nunpy数组
x = np.arange(100).reshape(10, 10) 
# 执行函数
go_fast(x)

第四步:经numba加速的函数执行时间

% timeit go_fast(x)

输出:

3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

第五步:不经numba加速的函数执行时间

def go_fast(a): # 首次调用时,函数被编译为机器代码
    trace = 0
    # 假设输入变量是numpy数组
    for i in range(a.shape[0]):   # Numba 擅长处理循环
        trace += np.tanh(a[i, i])  # numba喜欢numpy函数
    return a + trace # numba喜欢numpy广播

x = np.arange(100).reshape(10, 10) 
%timeit go_fast(x)

输出:

136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

结论:

在numba加速下,代码执行时间为3.63微秒/循环。不经过numba加速,代码执行时间为136微秒/循环,两者相比,前者快了40倍。

四、numba让python飞起来

前面已经对比了numba使用前后,python代码速度提升了40倍,但这还不是最快的。

这次,我们不使用numpy数组,仅用for循环,看看nunba对for循环到底有多钟爱!

# 不使用numba的情况
def t():
    x = 0
    for i in np.arange(5000):
        x += i
    return x
%timeit(t())

输出:

408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

# 使用numba的情况
@jit(nopython=True) 
def t():
    x = 0
    for i in np.arange(5000):
        x += i
    return x
%timeit(t()) 

输出:

1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

使用numba前后分别是408微秒/循环、1.57微秒/循环,速度整整提升了200多倍!

结语:

numba对python代码运行速度有巨大的提升,这极大的促进了大数据时代的python数据分析能力,对数据科学工作者来说,这真是一个lucky tool !

当然numba不会对numpy和for循环以外的python代码有很大帮助,你不要指望numba可以帮你加快从数据库取数,这点它真的做不到哈。

到此这篇关于利用numba让python速度提升百倍的文章就介绍到这了,更多相关python速度提升numba内容请搜索码农之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持码农之家!


参考资料

相关文章

  • python测试opencv时imread导致的错误解决方法

    发布:2019-06-05

    今天小编就为大家分享一篇解决python测试opencv时imread导致的错误问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • python 类对象和实例对象动态添加方法(分享)

    发布:2022-04-11

    下面小编就为大家分享一篇python 类对象和实例对象动态添加方法。具有很的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • python字符串的操作方法及实例

    发布:2020-06-04

    ​本篇文章给大家带来的内容是关于python中字符串的操作方法总结(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。


  • int在python中的含义和用法

    发布:2019-09-16

    int在python里是一个类,它是不可变数据类型中的一种,它的一些性质和字符串是一样的,是整型。Python语法简洁清晰,特色之一是强制用空白符(white space)作为语句缩进。


  • 如何由java转学python

    发布:2019-09-17

    相对来讲,学习过Java的同学,想转到python,还是比较容易的。转其他语言的时候,要明确自己的目标,并且朝这个方向去学习专业的开发技能,同时结合合理的学习方法,很快就会转过去的。


  • 总结Python中并行(多进程)方法

    发布:2020-02-12

    本篇文章主要介绍了Python中使用多进程来实现并行处理的方法小结,具有一定的参考价值,感兴趣的小伙伴们可以参考一下


  • Python3+Pycharm+PyQt5环境搭建步骤图文详解

    发布:2021-04-26

    这篇文章主要介绍了Python3+Pycharm+PyQt5环境搭建步骤图文详解,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下


  • Python3用SMTP协议发送E-mail电子邮件的实例方法

    发布:2019-12-08

    SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。下面这篇文章主要给大家介绍了关于Python3如何利用SMTP协议发


网友讨论