分布式进程

面试的时候,相比Java老是问算法,Python经常会问一些概念,比如元类,闭包等等,当然分布式进程也是其中之一

分布式进程应该爬虫用得比较多,一个作为master,其它workers可以作为分布式进程来执行各自的业务,而它们之间通过网络进行数据通信

主要用到了managers子模块,官方说明了一些用法

16.6.2.7. Managers

Managers provide a way to cr[……]

Read more

Python闭包

装饰器实际上就是对闭包的使用

Python里一个函数里面又定义了一个函数,内部函数却可以引用外部函数的参数,局部变量;而当外部函数执行完毕返回内部函数引用的时候,以上所有参数也一同保存在返回的内部函数当中,这样就构成一个闭包,也就是说,外部函数要返回的时候发现自己的局部变量内部函数还要用,那么本属于它的局部变量并没有释放,而是给内部函数引用,自己结束返回

def outside(a):
b[......]

Read more