如何让移动端页面更容易被收录?以下是一些检查,以确保谷歌和百度的爬虫不会在抓取移动页面时遇到问题:
- 不要在robots.txt中使用“禁止”指令阻止Googlebot爬行
- 不要使用noindex元标签
- 不要阻止Googlebot爬行移动CSS
- 不要阻止Googlebot跟踪内部链接
除了检查robots.txt指令、noindex标签和nofollow标签外,站点所有者还应该检查服务器的抓取能力。
理想情况下,服务器应该能够处理与移动爬虫一样多的桌面爬虫。
提醒网站所有者,在移动设备上查看页面内容应该与在桌面上查看页面内容相同。
当网站所有者故意在移动设备上隐藏内容时,他们可能会遇到问题。
例如,一些移动页面可能要求用户点击“查看更多”按钮来扩展可见内容。
这应该避免,因为Googlebot不与页面元素交互。所以它只能爬上眼前可见的东西。
如果Googlebot只看到少量的内容,那么它将不能很好地排名页面。
保持移动和桌面的内容相同,你应该能够避免移动优先索引的问题。
这包括保持页面中不可见的部分相同,比如结构化数据和元描述,最好的做法是,直接让自己的网站成为自适应网站,就无须太过于在意什么手机分辨率和设备的问题了。
