我是个大三的学生,然后期末考需要爬取一个网站,我想爬个网盘并且下载里面的文件,贵网站的演示站我可以尝试爬取,然后作为期末课设的演示目标吗? @admin
爬取可以,但不保证后期资源长期有效,且有可能会防止流量产生过多而进行限制。不推荐。可以考虑爬取 github,或 gitee,或者爬取壁纸站等。
admin 好的,感谢。我会尽量控制自己会产生的流量。对于资源的有效性其实是没有要求的,我们的课设提交时间大概在12月中下旬,到那个时候以后就不会再有爬取的行为。对于github,我们学校的宽带的NAT和DNS很迷,经常会解析不到,访问都成问题别说爬取了。而壁纸网站又太简单了拿不到我想要的分数hhhhh