我们的数据库大修
无需纠结于我们反向链接数据库改革的技术细节……以下是我们路线图的简要概述：
爬虫
在仔细研究了现有架构的缺点和局限性之后，我们决定从头开始彻底重新编程我们的爬虫，使用完全不同的方法来收集数据。
队列
我们对新爬虫及其待处理 URL 队列进行的初步测试表明，。第一个解决方案：简单马来西亚电邮清单地增加我们的材料容量。但这还不够。然后我们开发了一个更高效的队列。
播种
为了给我们的爬虫提供高质量的初始列表，我们将 Google 上来自 Organic Search 工具的 4.5 亿个关键词的前 100 个 URL 全部排在了队列中。保证我们的数据库的相关性。
贮存
数据收集的增加必然意味着存储空间的增加。我们不得不将服务器规模扩大四倍。
评估我们的进展
为了准确评估我们作为反向链接提供商的表现，我们决定与最好的提供商进行比较：Majestic、Ahrefs 和 Moz。