Scrapy中如何使用Splash进行JavaScript渲染

要在 Scrapy 中使用 Splash 进行 JavaScript 渲染，您需要安装 Splash 服务并在 Scrapy 中配置使用它。以下是一些步骤来实现这一目标：

1. 安装 Splash 服务： 请参考 Splash 的官方文档（点击这里）来安装 Splash 服务。
2. 在 Scrapy 项目中安装 Splash 插件： 您可以使用 Scrapy-Splash 插件来与 Splash 服务进行交互。在 Scrapy 项目中运行以下命令来安装 Scrapy-Splash 插件：

   pip install scrapy-splash
   

3. 配置 Scrapy 项目使用 Splash： 在 Scrapy 项目的 settings.py 文件中添加以下配置：

   SPLASH_URL = 'http://localhost:8050'
   DOWNLOADER_MIDDLEWARES = {
       'scrapy_splash.SplashCookiesMiddleware': 723,
       'scrapy_splash.SplashMiddleware': 725,
       'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
   }
   SPIDER_MIDDLEWARES = {
       'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
   }
   DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
   HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
   

4. 在 Scrapy Spider 中使用 Splash： 在 Spider 中使用 Splash 来访问需要 JavaScript 渲染的页面。您可以使用 SplashRequest 来发送请求并使用 Lua 脚本来控制页面加载。例如：

   from scrapy_splash import SplashRequest
   
   class MySpider(scrapy.Spider):
       name = 'my_spider'
   
       def start_requests(self):
           yield SplashRequest(url='https://mybj123.com', callback=self.parse, args={'wait': 0.5})
   
       def parse(self, response):
           # 解析网页内容
           pass
   

通过以上步骤，您可以在 Scrapy 中成功使用 Splash 进行 JavaScript 渲染。请注意，使用 Splash 可能会增加爬取的时间和资源消耗，因此请谨慎使用。