javascriptnodejs中的scrapy(代码片段)

关键词：

/**
 * 并发抓取原始网页数据
 * @param trackList
 * @param callback
 */
start: function (trackList, callback) 
    var urls = trackList;
    var ep = new eventproxy();
    ep.after("eventName", urls.length, function (urlResults) 
        callback(null, urlResults);
    );
    urls.forEach(function (url) 
        superagent.get(url)
            .end(function (err, urlRes) 
                ep.emit("eventName", [url, urlRes.text])
            );
    );
,

translateCDNews: function (data, callback) 
    // logger.trace(data);
    var url = data[0];
    logger.trace(url);
    var $ = cheerio.load(data[1]);
    // console.log($)
    //通过jquery方式获取内容链接
    var topnewsEle =$('.top-news');
    var topNews=[];
    topnewsEle.each(function(idx,element)
        var $element = $(element).children('h1').first();
        var title = $element.text();  //标题
        var href = $element.children('a').attr('href');//链接
        topNews.push(
            title:title,
            href:href
        )
    );
    logger.debug(topNews);
    callback(null,topNews)
,

var trackList = [
    // 'https://www.lagou.com/jobs/2678740.html',//lagou nodejs
    //bosszhipin
    //neitui
    "https://www.bilibili.com/ranking#!/all/0/0/3/"//bilibili
];
start(trackList,function(err,result)
    if(err)
        logger.error(err.stack);
    else
        logger.debug(result);
        testData = result;
    
)
translateCDNews(testData[0],function(err,result)
    console.log(result)                
)

javascriptnodejs回调黑洞(代码片段)

查看详情

javascriptnodejs读取文件(代码片段)

查看详情

javascriptnodejs的面试问题(代码片段)

查看详情

javascriptnodejs事件循环测试(代码片段)

查看详情

javascriptnodejs简单的睡眠(代码片段)

查看详情

javascriptnodejs+mongodb：战胜诺言(代码片段)

查看详情

javascriptnodejs_1.js(代码片段)

查看详情

javascriptnodejs的样本问题模型(代码片段)

查看详情

javascriptnodejs-创建服务器(代码片段)

查看详情

javascriptnodejs的记录器(代码片段)

查看详情

javascriptnodejs从后端渲染页面(代码片段)

查看详情

javascriptnodejs-静态文件服务器(代码片段)

查看详情

javascriptnodejs-crud实践(代码片段)

查看详情

javascriptnodejs主路由文件示例（快递）(代码片段)

查看详情

javascriptnodejs-fs模块命令(代码片段)

查看详情

javascriptnodejs-créerunserverhttp(代码片段)

查看详情

javascriptnodejs路由控制是否登录nuxt.js框架(代码片段)

查看详情

javascriptnodej在windows上处理ctrl+c.(代码片段)

查看详情