分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 前端开发

简单实现nodejs爬虫工具

发布时间:2023-09-06 01:45责任编辑:熊小新关键词:jsnodejs爬虫

约30行代码实现一个简单nodejs爬虫工具,定时抓取网页数据。

使用npm模块

request---简单http请求客户端。(轻量级)
fs---nodejs文件模块。
 
index.js
var request = require(‘request‘);var fs = require("fs");var JJurl = "https://recommender-api-ms.juejin.im/v1/get_recommended_entry?suid=6bYFY7IRbfmijiJeeeIQ&ab=welcome_3&src=web"var title = ""var options = { ???uri: JJurl, ???headers: { ???????‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36‘, ???}, ???json: true};setInterval(function() { ???request(options, function(error, response, body) { ???????if (!error) { ???????????for (var i in body.d) { ???????????????title += body.d[i].title + "\n" ???????????} ???????????fs.writeFile(‘./result.txt‘, title, function(err) { ???????????????if (err) { ???????????????????throw err; ???????????????} ???????????}); ???????} else { ???????????console.log(‘抓取失败‘) ???????} ???});}, 5000);
PS: 建议设置用户代理。防止请求被拒绝。
 

简单实现nodejs爬虫工具

原文地址:https://www.cnblogs.com/Sroot/p/8543897.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved