YisouSpider：神马搜索爬虫，站长必须了解的蜘蛛

做网站运维、SEO 的站长，几乎都在网站访问日志里见过 YisouSpider。它就是神马搜索（Shenma）的网页爬虫，属于阿里 UC 旗下移动端搜索引擎蜘蛛，名字源于早期宜搜，所以 UA 标识保留 YisouSpider 至今。

一、YisouSpider 是什么

神马搜索是早年 UC 浏览器内置的移动搜索引擎，主打移动端网页收录，YisouSpider 就是负责全网抓取网页、建立索引的爬虫程序，抓取的网页会进入神马搜索库，UC 浏览器、神马搜索的用户可以检索到你的站点内容。

区分：YisouSpider = 神马搜索；EasouSpider 是宜搜科技的爬虫，二者不是同一个，很多站长容易混淆。

典型 User-Agent

1. 移动端 UA（最常见）

Mozilla/5.0 (Linux; U; Android 4.3; zh-CN; SCH-N719 Build/JSS15J) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 YisouSpider/1.0.0 Mobile Safari/533.1

2. 简化标识：UA 字符串直接包含 YisouSpider 关键词，日志分析可以用这个关键词识别爬虫访问。

二、YisouSpider 的特点

1. 面向移动端优先抓取 神马从诞生之初就是移动搜索，YisouSpider 抓取时会模拟手机浏览器，优先看移动端页面、自适应页面。如果你的网站没有移动端适配，收录和排名效果会很差。
2. 理论上遵守 robots 协议 官方说明 YisouSpider 会读取网站根目录robots.txt，遵守抓取禁止规则。但在早年大量站长反馈：抓取频率失控、短时间大量请求打满服务器带宽、无视 robots 限制，所以很多中小站点会直接屏蔽它。
3. 动态 IP 池 爬虫不是固定 IP 段，使用大量动态 IP 访问，很难通过 IP 黑名单彻底拦截，识别和限制优先靠 UA 判断。

三、站长两种选择：允许收录 / 屏蔽爬虫

✅ 方案 1：允许 YisouSpider 抓取（想获取神马搜索流量）

robots.txt 放开权限示例：

User-agent: YisouSpider
Disallow:

配套优化建议：

• 做好移动端适配，保证手机端访问速度；
• 提交 URL 到神马站长平台，加速收录；
• 控制服务器负载，可在 Web 服务器（Nginx/Apache）对 YisouSpider 做请求限速，防止爬虫爆量。

❌ 方案 2：完全屏蔽 YisouSpider（不想被抓取，节省服务器资源）

robots.txt 禁止全部抓取：

User-agent: YisouSpider
Disallow: /

注意：robots 只是协议，爬虫可以选择不遵守。如果日志里依然大量出现 YisouSpider 访问，建议在 Nginx/Apache 直接根据 UA 拦截。

Nginx 拦截 UA 示例：

if ($http_user_agent ~* "YisouSpider") {
    return 403;
}

四、常见疑问

1. YisouSpider 抓取我的网站，会带来流量吗？ 早年 UC 浏览器流量巨大，神马搜索能带来不少移动端访问；现在神马搜索流量萎缩，很多站点被大量抓取，但几乎没有对应流量，这也是很多站长选择屏蔽的核心原因。
2. 怎么确认是不是伪装的假 YisouSpider？ 有恶意爬虫伪造 UA 冒充 YisouSpider。可以做反向 DNS 解析校验：官方神马爬虫 IP 可以反向解析验证，伪造爬虫一般无法通过校验。
3. 屏蔽 YisouSpider 会不会影响百度、搜狗收录？ 不会，各个搜索引擎爬虫独立，屏蔽 YisouSpider 只影响神马搜索，和百度 Baiduspider、SogouWebspider 互不干扰。

五、总结

YisouSpider 是移动端搜索引擎神马的爬虫，是一把双刃剑。

• 如果你做移动端流量、想覆盖 UC 搜索用户：允许抓取，做好移动端页面，同时限制爬虫抓取频率，保护服务器；
• 如果你的站点不依赖神马搜索，并且观察到爬虫频繁爬取、消耗带宽资源：直接 robots+Web 服务器 UA 双重拦截。

建议：定期查看网站访问日志，监控 YisouSpider 抓取频次，根据自身服务器负载和业务需求决定是否放行。