Heavens Above 爬虫的实现

发表于 分类于 Disqus： 本文字数： 214 阅读时长 ≈ 1 分钟

Heavens Above 是一个天文数据库网站，可以查询到诸如卫星过境的很多信息。虽然数据很全面，但是检索方式非常繁琐，在网站上需要依次打开多个链接进行比对，难以迅速地获取需要的信息。故笔者决定写一个爬虫，以直观地展现所有数据。由于 Heavens Above 采取了大量的反爬虫措施，例如校验 Cookie、限制单个 IP 的访问次数等，因此必须严格地模拟浏览器请求，才能正确爬取数据。

Heavens Above数据收集

笔者也参考了大量 GitHub 上已有的 Heavens Above 爬虫项目，不过它们大部分失去维护，停留在数年前，已经不再适用。具体的逻辑还是要自行测试。

项目地址：heavens-above