由于公司近期需求，把测试版采集器改进了一下，目前采集器已经稳定运行一段时间，所以推出v1.0版本，仅用于交流学习。

v1.0更新日志

1.类库新增日志处理

可以将本次采集数据成功、失败数量以及相关时间等记录到文件或者数据库

2.类库新增抓取URL管理

针对批量采集的URL去重和管理

3.类库新增网络图片处理

github地址：https://github.com/xstudio/curler

… 阅读全文