Heavens Above 爬虫的实现

Heavens Above 是一个天文数据库网站,可以查询到诸如卫星过境的很多信息。虽然数据很全面,但是检索方式非常繁琐,在网站上需要依次打开多个链接进行比对,难以迅速地获取需要的信息。故笔者决定写一个爬虫,以直观地展现所有数据。由于 Heavens Above 采取了大量的反爬虫措施,例如校验 Cookie、限制单个 IP 的访问次数等,因此必须严格地模拟浏览器请求,才能正确爬取数据。

Heavens Above数据收集

笔者也参考了大量 GitHub 上已有的 Heavens Above 爬虫项目,不过它们大部分失去维护,停留在数年前,已经不再适用。具体的逻辑还是要自行测试。

项目地址:heavens-above