分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 代码编程

nodejs 爬虫模板 ??map&array 数据模型

发布时间:2023-09-06 01:41责任编辑:林大明关键词:jsnodejs爬虫
app.get(‘/knowledge‘, function (req, res, next) { ???var listUid = req.query.listUid; ???var url = "http://www.lengdou.net/page/" + listUid + "/"; ???// console.log(‘--------开始检测--------‘); ???var content = {}; ???var map = new Array(); ???superagent ???????.get(url) ???????.end(function (err, sres) { // callback ???????????// 常规的错误处理 ??????if (err) { ???????????????res.send(‘{\"code\":\"300\",\"msg\":\"读取出错!!\"}‘); ???????????} ???????????try { ???????????????var $ = cheerio.load(sres.text); ???????????????var lists = $(".list").each(function (index, element) { ???????????????????var text = $(this).find(".list-content").find("p").text(); ???????????????????var url = $(this).find(".list-content").find("img").attr("src"); ???????????????????console.log(text + url + "\n"); ???????????????????var content = {}; ???????????????????content[‘text‘] = text; ???????????????????content[‘url‘] = url; ???????????????????map[index] = content; ???????????????}); ???????????????res.send(JSON.stringify(map)); ???????????} catch (e) { ???????????} ???????});});

nodejs 爬虫模板 ??map&array 数据模型

原文地址:https://www.cnblogs.com/yysbolg/p/8430965.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved