本文属于 代理检测完全指南 系列，聚焦 Scrapy 与 Playwright 接入前的代理冒烟预检。

Scrapy / Playwright 接代理后「能跑但数据全空」，多半是凭证或出口 IP 未验过。本文给出凭证预检、Scrapy shell 验出口、Playwright 配置与 5 项清单——本地 15 分钟可跑完。

Scrapy 与 Playwright 代理预检流程
凭证预检 → 单页抓取 → 小样本并发 → 错误率阈值

配置前先验凭证

Scrapy 的 HTTP_PROXY（见 Scrapy 官方代理配置）、Playwright 的 proxy.server 都要求标准 URI。厂商导出的 host:port:user:pass 直接粘贴进框架，常见结果是全站 407 或连接超时——代码逻辑没问题，代理层已失败。

正确顺序：先验凭证，再写框架配置。用 curl 做 30 秒连通测试，再用 008ip 代理检测 核对出口 IP、类型与 Geo。URI 格式细节见 HTTP/SOCKS5 检测格式。

HTTP / SOCKS5 快速验连通（期望 origin 与 008ip 报告一致）：

export PROXY_URL="http://user:pass@proxy.example.com:8080"
curl -x "$PROXY_URL" -s https://httpbin.org/ip

# SOCKS5：前缀改为 socks5://
export PROXY_URL="socks5://user:pass@proxy.example.com:1080"
curl -x "$PROXY_URL" -s https://httpbin.org/ip

密码含 @、: 等特殊字符时必须 URL 编码，否则 curl 与框架会解析到错误的认证段。凭证在 008ip 与 curl 双重通过后，再把同一 URI 注入 Scrapy 或 Playwright，避免「curl 能通、框架不通」的格式漂移。

Scrapy 怎么验出口

Scrapy 最快验收方式是 scrapy shell：不启动完整爬虫，单请求验证代理是否生效。

一行命令验出口 IP，shell 内核对 origin 与 008ip 一致：

scrapy shell "https://httpbin.org/ip" \
  -s HTTP_PROXY=http://user:pass@proxy.example.com:8080

>>> import json; json.loads(response.text)["origin"]
'203.0.113.42'  # 应与 008ip 报告一致

# settings.py 集中配置
import os
HTTP_PROXY = os.environ.get("PROXY_URL", "http://user:pass@host:port")
# SOCKS5：pip install scrapy-socks python-socks[asyncio]

若 IP 不一致，检查系统代理/VPN。确认出口后，再对目标站 URL 重复 shell，观察 200 还是 403。

动态池可在 Request 的 meta['proxy'] 按请求注入不同出口。httpbin 通过后，换目标站真实 URL 做 10 次采样，记录成功率与 403 率——这是 爬虫项目代理检测流程 中阶段 3 冒烟测试的核心动作。切忌只用 httpbin 绿灯就宣告验收完成，目标站风控与公开检测库是两套标准。

Playwright 代理怎么配

Playwright 不走 Scrapy 的下载器栈，须在浏览器上下文显式声明代理。它能覆盖 TLS 指纹、JS 渲染与 Cookie 隔离等 requests/Scrapy 测不到的路径，与 Python 爬虫代理配置 中的 requests 验收形成互补。

同步 API 最小冒烟测试脚本：

import os
from playwright.sync_api import sync_playwright

PROXY = {
    "server": os.environ["PROXY_URL"],       # http://host:port 或 socks5://host:port
    "username": os.environ.get("PROXY_USER"),
    "password": os.environ.get("PROXY_PASS"),
}

TARGETS = [
    "https://httpbin.org/ip",
    "https://your-target-site.com/",          # 首页
    "https://your-target-site.com/list?page=1",  # 列表页
]

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    context = browser.new_context(proxy=PROXY)
    page = context.new_page()
    for url in TARGETS:
        resp = page.goto(url, wait_until="domcontentloaded", timeout=30000)
        print(url, resp.status, page.url)
    browser.close()
  • 认证写法：PROXY_URL 已含 user:pass@ 时只设 server；分开传凭证时 server 勿带认证段。Chromium 不支持带认证 SOCKS5，改 HTTP 或本地转发。
  • 验收标准：httpbin 出口与 008ip 一致；目标站首页/列表 200（或预期 3xx）。仅 httpbin 通过、目标 403 → 换池。
  • 混用 Scrapy：Playwright 管登录/渲染，Scrapy 管翻页；共用 PROXY_URL，分别冒烟通过后再合并流水线。

上线前 5 项 checklist

Scrapy 与 Playwright 两条链路都通过后，用下面清单做最后一次 Gate，再接入定时任务或分布式队列：

  1. 008ip 报告 Pass：IP 类型、Geo、多源风控分数符合业务要求（非仅 httpbin 可达）
  2. 目标站小样本：连续 10 次请求成功率 >90%，记录状态码分布
  3. Session 与并发匹配：需粘性 IP 时确认 10/10 出口不变；动态池并发不超过供应商上限
  4. 403 率可控：小样本 403 率 <5%；超标先查池健康而非盲目加延时
  5. 日志可溯源：每条请求日志带出口 IP 或代理槽位 ID，便于换池与对质服务商

建议把本清单写入 CI 或发布 Runbook：新池接入、供应商续费、限流告警三类事件触发时自动重跑冒烟测试。量产阶段若 unique IP 率下滑或 403 爬升，按 代理池健康 指南做动态复测与轮换阈值调整，避免在坏池上硬撑并发。

下一步

在 008ip 代理检测 生成报告，按文内 5 项清单打勾并保存截图，作为 Scrapy / Playwright 接入前的验收凭证。

常见问题 FAQ

Q：Scrapy 用 SOCKS5 要注意什么？

需安装 python-socks 并配置 DOWNLOAD_HANDLERS，不能仅靠 HTTP_PROXY。凭证格式为 socks5://user:pass@host:port，先用 curl 单独验连通，再接入 Scrapy。

Q：Playwright 与 Scrapy 出口 IP 不一致？

常见原因是一个走系统代理、另一个走显式配置，或 Playwright 未在 new_context 注入 proxy。统一从环境变量 PROXY_URL 读取，并关闭系统级 VPN/代理叠加。

Q：冒烟测试通过但量产 403？

小样本通过不代表池子扛得住并发与频率。检查请求间隔、并发数是否超池能力，并回退到动态检测观察 代理池健康 指标（unique IP 率、403 滑动窗口）。必要时降并发或换池，比无限重试更有效。