问一个实现场景

brightpegion
Roli 2014-08-08 字数 221

自从看了GIL的issue ppt之后内心拔凉拔凉。

请教实现。

工作服务器,几百台吧,要通过一个py web server去抓状态,每次抓取文件大小<5m。

多线程去抓的话,WEB几十个用户同时使用response 如何。? 查询队列不会是一个等一个吧?

网络都是千兆

Python Python的自由天空
1 个回复
goodtaste
有乐享乐,没乐刨乐 2014-08-10

scrapy,多进程

【 在 brightpegion (Roli) 的大作中提到: 】

: 自从看了GIL的issue ppt之后内心拔凉拔凉。

: 请教实现。

: 工作服务器,几百台吧,要通过一个py web server去抓状态,每次抓取文件大小<5m。

: ...................