一、搜索引擎抓取原理
互联网是一个开放自由的平台,每天有无数用户在网页上发布无数的内容。搜索引擎需要做的第一步就是要顺着网页中的链接抓取有用、最新的信息。百度蜘蛛会通过深度抓取和广度抓取两种方式来抓去我们的网站。深度抓取就是蜘蛛跟随一个链接不断的向其下级链接抓取,直至无链接可循,广度抓取就是蜘蛛抓取的时候是在同一层级上将所有的链接抓取完成后才开始下一层级的链接抓取。百度蜘蛛目前对文字抓取的功能强大,对含有图片和JS效果的代码抓取不利,因此我们的网站上如有图片的地方应加上alt标签来迎合搜索引擎的抓取习惯。
互联网是一个开放自由的平台,每天有无数用户在网页上发布无数的内容。搜索引擎需要做的第一步就是要顺着网页中的链接抓取有用、最新的信息。百度蜘蛛会通过深度抓取和广度抓取两种方式来抓去我们的网站。深度抓取就是蜘蛛跟随一个链接不断的向其下级链接抓取,直至无链接可循,广度抓取就是蜘蛛抓取的时候是在同一层级上将所有的链接抓取完成后才开始下一层级的链接抓取。百度蜘蛛目前对文字抓取的功能强大,对含有图片和JS效果的代码抓取不利,因此我们的网站上如有图片的地方应加上alt标签来迎合搜索引擎的抓取习惯。