分布式爬虫是什么意思？

分布式爬虫指的是将同一个爬虫程序部署在多台电脑（或同一台电脑的多个虚拟机环境）上，并在这些电脑上同时启动该爬虫。与之相对，仅在单台电脑上运行的爬虫程序则被称为单机爬虫。分布式爬虫的作用主要在于，其能够利用多台电脑的带宽、处理器等资源，从而提高爬虫的爬取速度。

在分布式爬虫的应用中，会面临一些问题，例如如何保证多台电脑中的爬虫代码完全一致，以及当多台电脑操作同一个网站时，如何管理URL去重等。共用的队列Queue和共用的去重集合set()，是分布式爬虫需要解决的两个核心问题。

构建企业级项目，进阶Go高级工程师

郑建勋

Go 语言技术专家，《Go 语言底层原理剖析》作者，Go 语言垃圾回收源码贡献者，Go 语言精度库 shopspring/decimal 核心贡献者，极客时间每日一课作者。曾获得电子工业出版社年度优秀作者与 2021 CSDN 年度十大图书作者。

作者曾就职于人工智能独角兽公司的视觉中台与大型互联网企业的业务中台，拥有丰富的大规模云原生、分布式、微服务集群的实战经验。确保了百万级流量系统的服务稳定性，并经历和主导了复杂业务系统的性能优化与系统重构。

此外，作者还具有丰富的教育经验，曾作为 51CTO 高级讲师，帮助了上百位同学从 0 到 1 用 Go 语言搭建出完整的项目，完成了职场上的进阶。他也为华为特训营、联想超级课等企业内训项目提供了培训和技术支持。2022 年，开始于 B 站、博客连载 Go 语言入门课程：《Go 语言开挂入门之旅》。

课程介绍
过去的十多年间，互联网行业迅猛发展，大数据、大规模集群计算、复杂的网络环境……各种新的挑战让人应接不暇。面对这些问题，一些早已发展成熟的语言显示出些许笨重和疲态，也就是在这一语境下，Go 语言应运而生。

Go 语言被称作是“云计算时代的 C 语言”，它专注于软件开发过程本身，简洁、易上手，且天生支持高并发编程。因此，也在众多编程语言中日益显示出其竞争力，市场需求有增无减。

然而，就是在这个崭新的赛道上，想要进阶成为 Go 高级工程师也并非易事。你可能有过这样的困惑：

疲于应付需求，程序缺乏设计，代码也不规范，最终导致程序越来越难扩展和维护；
不懂 Go 语法背后的运行机制，也不知道如何提升，无法解决复杂的系统问题；
难以跳出开发，从上层视角思考系统的技术选型与架构设计；
没有大规模云原生、分布式系统、微服务集群的实战经验，且缺乏学习路径。
为了解决这些问题，我们请到了深耕 Go 领域的郑建勋老师。他有着丰富的大规模云原生、分布式、微服务集群实战经验。

这门课程，他会把零碎的知识点串联起来，形成 Go 语言和系统设计的完整知识体系与方法论。然后理论融合实践，带你一起完成一个具备扩展性、高并发、分布式、微服务的复杂系统：