Heavens Above爬虫的实现

Heavens Above是一个天文数据库网站,可以查询到诸如卫星过境的很多信息。虽然数据很全面,但是检索方式非常繁琐,在网站上需要依次打开多个链接进行比对,难以迅速地获取需要的信息。故博主决定写一个爬虫,以直观地展现所有数据。由于Heavens Above采取了大量的反爬虫措施,例如校验Cookie、限制单个IP的访问次数等,因此必须严格地模拟浏览器请求,才能正确爬取数据。

博主也参考了大量GitHub上已有的Heavens Above爬虫项目,不过它们大部分失去维护,停留在数年前,已经不再适用。具体的逻辑还是要自行测试。

项目地址:heavens-above

🍭支持一根棒棒糖!
0%