javascript网站刮刀(代码片段)

关键词：

/*

https://github.com/website-scraper/node-website-scraper
https://www.npmjs.com/package/website-scraper-2
https://scraper.nepochataya.pp.ua/

npm install website-scraper
*/

var scraper = require('website-scraper');
scraper(
  urls: [
    'http://rsworldpi.com/'
  ],
  recursive: true,
  maxRecursiveDepth: 1,
  filenameGenerator: 'bySiteStructure',
  directory: 'rsworldpi',
  subdirectories: [
    directory: 'img', extensions: ['.jpg', '.png', '.svg'],
    directory: 'js', extensions: ['.js'],
    directory: 'css', extensions: ['.css']
  ],
  sources: [
    selector: 'img', attr: 'src',
    selector: 'link[rel="stylesheet"]', attr: 'href',
    selector: 'script', attr: 'src'
  ],
  request: 
    headers: 
      'User-Agent': 'Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19'
    
  
).then(function (result) 
  console.log('hello');
).catch(function(err)
  console.log('fail' + err);
);

javascript报告刮刀(代码片段)

查看详情

javascriptcheerio基本刮刀(代码片段)

查看详情

python链接刮刀(代码片段)

查看详情

text网络刮刀(代码片段)

查看详情

pythonhsnu压光机刮刀(代码片段)

查看详情

pythonbeezid.com-拍卖刮刀(代码片段)

查看详情

markdowncs：go投注刮刀(代码片段)

查看详情

ruby奥运会刮刀(代码片段)

查看详情

python创建刮刀并使用它们(代码片段)

查看详情

python可笑的简单刮刀（过时）(代码片段)

查看详情

text刮刀php浏览器(代码片段)

查看详情

ruby使用nokogiri的简单ruby刮刀(代码片段)

查看详情

text谷歌应用程序脚本的刮刀维基代码(代码片段)

查看详情

python简单的pdf表格刮刀的示例python代码(代码片段)

查看详情

ruby快速刮刀获取维基百科的第一段以获取主题列表(代码片段)

查看详情

JS 图像刮刀

...基本的图像抓取工具会是一个有趣的项目。下面的代码在网站上的控制台中工作，但我不知道如何从我的app.js中让它工作。varanchors=document.getElementsByTagName(\'a\');varhrefs=[];for(vari=0;i<anchors.length;i++) 查看详情

我美丽的汤刮刀没有按预期工作(代码片段)

...竟做错了什么？为什么我无法按预期提取列表？我是网络刮刀的初学者。答案您的网络抓取代码正在按预期工作。但是，您的请求无效。如果您检查请求的状态代码，则可以看到您获得4 查看详情

javascript网站抓取工具(代码片段)

查看详情