Tag Archive : multiprocessing

/ multiprocessing

分布式进程

2018-4-8 01:42:14 | Distributed, Python | 没有评论

面试的时候,相比Java老是问算法,Python经常会问一些概念,比如元类,闭包等等,当然分布式进程也是其中之一

分布式进程应该爬虫用得比较多,一个作为master,其它workers可以作为分布式进程来执行各自的业务,而它们之间通过网络进行数据通信

主要用到了managers子模块,官方说明了一些用法

16.6.2.7. Managers

Managers provide a way to cr[……]

Read more

Python的multiprocessing引起的问题

2015-12-11 01:28:07 | Python | 没有评论

刚在用到python的mutliprocessing的时候,遇到了一个问题

引申为一个小例子就是,比如多进程并发在不同的az上创建虚拟机

#!/usr/bin/env python

import multiprocessing

class Nvs(object):
    def __init__(self):
        self.az_list = ['xiaoshan', 'bin[......]

Read more