分布式进程

面试的时候,相比Java老是问算法,Python经常会问一些概念,比如元类,闭包等等,当然分布式进程也是其中之一

分布式进程应该爬虫用得比较多,一个作为master,其它workers可以作为分布式进程来执行各自的业务,而它们之间通过网络进行数据通信

主要用到了managers子模块,官方说明了一些用法

16.6.2.7. Managers

Managers provide a way to cr[……]

Read more

Python闭包

装饰器实际上就是对闭包的使用

Python里一个函数里面又定义了一个函数,内部函数却可以引用外部函数的参数,局部变量;而当外部函数执行完毕返回内部函数引用的时候,以上所有参数也一同保存在返回的内部函数当中,这样就构成一个闭包,也就是说,外部函数要返回的时候发现自己的局部变量内部函数还要用,那么本属于它的局部变量并没有释放,而是给内部函数引用,自己结束返回

def outside(a):
b[......]

Read more

HTTPie

GitHub上排名第一的python开源项目名叫HTTPie,它的描述为:HTTPie is a command line HTTP client, a user-friendly cURL replacement,看样子跟cURL的功能类似,之前有项目是通过python脚本调用cURL将磁盘中存储的JSON数据通过HTTP POST的方式发送给各个接收端来分别进行解析,处理并展示,既然是比较火的[……]

Read more

绑定

方法在所属的类定义了实例时,方法才绑定了那个实例,没有实例的时候,方法就是未绑定状态,而定义方法的时候,第一个参数都是self,代表的是调用此方法的实例

在实例调用方法的时候,由于实例都是作为第一个参数传递到方法调用中的,也就是self变量引用了方法所绑定的实例,所以在方法定义上第一个参数必须是self

在方法中可以没有用到self,比如仅仅打印一个hello world,这时候就没有使用到调用该[……]

Read more