![](https://static.youtibao.com/asksite/comm/h5/images/m_q_title.png)
[单选题]
新网站本身权重很低,爬虫根本不来爬,怎么办?()
A.设置404页面
B.用网站地图主动邀请
C.设置302跳转
D.使用动态链接
查看答案
![](https://static.youtibao.com/asksite/comm/h5/images/solist_ts.png)
A.设置404页面
B.用网站地图主动邀请
C.设置302跳转
D.使用动态链接
A.简单低级的网络爬虫,数据采集速度快,伪装度低,如果没有反爬机制,它们可以很快地抓取大量数据,甚至因为请求过多,造成网站服务器不能正常工作,影响了企业的业务开展
B.反爬机制也是一把双刃剑,一方面可以保护企业网站和网站数据,但是,另一方面,如果反爬机制过于严格,可能会误伤到真正的用户请求
C.如果既要和“网络爬虫”死磕,又要保证很低的误伤率,那么又会增加网站研发的成本
D.反爬机制不利于信息的自由流通,不利于网站发展,应该坚决取消
A.robot.txt
B.robot.html
C.robots.txt
D.robots.html
A.有一个小爬虫ProxySpider去各大代理网站爬取免费代理并验证,将可以使用的代理IP保存到数据库中
B.在发现某个请求已经被设置过代理后,什么也不做,直接返回
C.在ProxyMiddlerware的process.request中,每次从数据库里面随机选择一条代理IP地址使用
D.周期性验证数据库中的无效代理,及时将其删除
A.利用ETL工具将分布的、异构数据源中的数据,抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中
B.利用日志采集工具把实时采集的数据作为流计算系统的输入,进行实时处理分析
C.利用网页爬虫程序到互联网网站中爬取数据
D.对分析结果进行可视化呈现,帮助人们更好地理解数据、分析数据