book/advanced-go-programming-book
1
0
Fork 0
mirror of https://github.com/chai2010/advanced-go-programming-book.git synced 2025-05-24 12:32:21 +00:00
Code Issues Releases Wiki Activity

update cr

Browse Source
This commit is contained in:
Xargin 2018-08-24 16:18:07 +08:00
parent adf3e46f71
commit cd04b06d5c
1 changed files with 3 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
ch6-cloud/ch6-09-crawler.md
View File

@ -89,4 +89,6 @@ func main() {
![dist-crawler](../images/ch6-dist-crawler.png) ![dist-crawler](../images/ch6-dist-crawler.png)
上游的主要工作是根据预先配置好的起点来爬取所有的目标“列表页”。 上游的主要工作是根据预先配置好的起点来爬取所有的目标“列表页”，列表页的 html 内容中会包含有所有详情页的链接。详情页的数量一般是列表页的 10~100 倍，所以我们将这些详情页链接作为“任务”内容，通过 mq 分发出去。
针对页面爬取来说，在执行时是否偶尔会有重复其实不太重要，因为任务结果是幂等的(这里我们只爬页面内容，不考虑评论部分)。