当前位置:主页 > python教程 > python做并行计算可以吗

python做并行计算的实例方法

发布:2020-02-04 10:29:13 131


为找教程的网友们整理了python相关的编程文章,网友能华美根据主题投稿了本篇教程内容,涉及到python、并行计算、python做并行计算可以吗相关内容,已被535网友关注,内容中涉及的知识点可以在下方直接下载获取。

python做并行计算可以吗

python做并行计算可以吗

 

python可以做并行计算,下面是相关介绍:

一、概览

Parallel Python是一个python模块,提供在SMP(具有多个处理器或多核的系统)和集群(通过网络连接的计算机)上并行执行python代码的机制。它轻巧,易于安装和与其他python软件集成。Parallel Python是一个用纯Python编写的开源和跨平台模块。二、特性

在SMP和集群上并行执行python代码

易于理解和实现基于Job的并行化技术(易于并行转换串行应用程序)

自动检测最佳配置(默认情况下工作进程数设置为有效处理器数)

动态处理器分配(工作进程数可以在运行时更改)

具有相同功能的后续作业的低开销(实现透明高速缓存以减少开销)

动态负载平衡(作业在运行时在处理器之间分布)

容错(如果其中一个节点发生故障,任务在其他节点上重新调度)

计算资源的自动发现

计算资源的动态分配(自动发现和容错的结果)

网络连接的基于SHA的认证

跨平台可移植性和互操作性(Windows,Linux,Unix,Mac OS X)

跨架构可移植性和互操作性(x86,x86-64等)

开源

相关推荐:《python视频教程》

三、动机

现在,用python编写的软件应用在很多应用程序中,包括业务逻辑,数据分析和科学计算。这与市场上的SMP计算机(多处理器或多核)和集群(计算机通过网络连接)的广泛可用性一起创建了并行执行python代码的需求。

为SMP计算机编写并行应用程序的最简单和常见的方法是使用线程。虽然,如果应用程序是计算绑定使用线程或线程python模块将不允许并行运行python字节码。原因是python解释器使用GIL(全局解释器锁)进行内部记账。这个锁允许一次只执行一个python字节码指令,即使在SMP计算机上。

PP模块克服了这个限制,并提供了一种写并行python应用程序的简单方法。内部ppsmp使用进程和IPC(进程间通信)来组织并行计算。后者的所有细节和复杂性完全被照顾,应用程序只提交作业并检索其结果(写并行应用程序的最简单的方法)。

为了使事情更好,用PP编写的软件并行工作,即使在通过本地网络或Internet连接的许多计算机上。跨平台可移植性和动态负载平衡允许PP即使在异构和多平台集群上也能有效地并行计算。

四、安装

任何平台:下载模块存档并将其解压缩到本地目录。 运行安装脚本:python setup.py install

Windows:下载并执行Windows安装程序二进制文件。

五、例子

import math, sys, time
import pp
def isprime(n):
    """Returns True if n is prime and False otherwise"""
    if not isinstance(n, int):
        raise TypeError("argument passed to is_prime is not of 'int' type")
    if n < 2:
        return False
    if n == 2:
        return True
    max = int(math.ceil(math.sqrt(n)))
    i = 2
    while i <= max:
        if n % i == 0:
            return False
        i += 1
    return True
def sum_primes(n):
    """Calculates sum of all primes below given integer n"""
    return sum([x for x in xrange(2,n) if isprime(x)])
print """Usage: python sum_primes.py [ncpus]
    [ncpus] - the number of workers to run in parallel, 
    if omitted it will be set to the number of processors in the system
"""
# tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)
if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "Starting pp with", job_server.get_ncpus(), "workers"
# Submit a job of calulating sum_primes(100) for execution. 
# sum_primes - the function
# (100,) - tuple with arguments for sum_primes
# (isprime,) - tuple with functions on which function sum_primes depends
# ("math",) - tuple with module names which must be imported before sum_primes execution
# Execution starts as soon as one of the workers will become available
job1 = job_server.submit(sum_primes, (100,), (isprime,), ("math",))
# Retrieves the result calculated by job1
# The value of job1() is the same as sum_primes(100)
# If the job has not been finished yet, execution will wait here until result is available
result = job1()
print "Sum of primes below 100 is", result
start_time = time.time()
# The following submits 8 jobs and then retrieves the results
inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
jobs = [(input, job_server.submit(sum_primes,(input,), (isprime,), ("math",))) for input in inputs]
for input, job in jobs:
    print "Sum of primes below", input, "is", job()
print "Time elapsed: ", time.time() - start_time, "s"
job_server.print_stats()

以上就是python做并行计算可以吗的详细内容,更多请关注码农之家其它相关文章!


参考资料

相关文章

  • Python openpyxl遍历所有sheet查找特定字符串的实例方法

    发布:2019-11-25

    今天小编就为大家分享一篇Python openpyxl 遍历所有sheet 查找特定字符串的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • Python读取大量Excel文件并跨文件批量计算平均值的方法

    发布:2023-04-22

    这篇文章主要介绍了Python读取大量Excel文件并跨文件批量计算平均值,介绍基于Python语言,实现对多个不同Excel文件进行数据读取与平均值计算的方法,需要的朋友可以参考下


  • Python+Appium自动化操作微信的教程分享

    发布:2023-03-03

    Appium 是一个开源的自动化测试工具,支持 Android、iOS 平台上的原生应用,支持 Java、Python、PHP 等多种语言。本文主要介绍了Python+Appium自动化操作微信的教程,希望对大家有所帮助


  • python怎样判断一个数值(字符串)为整数

    发布:2023-03-31

    这篇文章主要介绍了python怎样判断一个数值(字符串)为整数问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教


  • python爬虫xpath模块简介示例代码

    发布:2023-04-10

    xpath是最常用且最便捷高效的一种解析方式,通用型强,其不仅可以用于python语言中,还可以用于其他语言中,数据解析建议首先xpath,这篇文章主要介绍了python爬虫xpath模块简介,需要的朋友可以参考下


  • Python中Generators教程的实现

    发布:2023-04-09

    本文主要介绍了Python中Generators教程的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • Python 相对路径和绝对路径及写法演示

    发布:2023-04-14

    这篇文章主要介绍了Python 相对路径绝对路径的相关知识,结合实例代码介绍了Python 相对路径、绝对路径的写法实例演示,需要的朋友可以参考下


  • Python读取excel指定列生成指定sql脚本的思路和方法

    发布:2019-06-06

    今天小编就为大家分享一篇Python读取excel指定列生成指定sql脚本的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


网友讨论