分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 软件开发

网站爬取-案例一:猫眼电影TOP100

发布时间:2023-09-06 01:42责任编辑:董明明关键词:暂无标签

今天有小朋友说想看一下猫眼TOP100的爬取数据,要TOP100的名单,让我给发过去,其实很简单,先来看下目标网站:

建议大家都用谷歌浏览器:

这是我们要抓取的内容,100个数据,很少

我们看一下页面结构

100部电影分十个页码,也就是一页10个电影,抓取方式为10页循环抓取

先看下代码:

引入模块:

这次我用REQUEST模块作为抓取工具,以JSON的形式做成文件存储方式

第一步:请求网页并且读取:

  这个网站并没有设立反爬虫手段

第二步:解析网页函数:

我这里用的正则表达式

第三步:定义存储函数:’

第四部:主函数:

  请注意主函数里的参数

第5步:执行爬取

 看下结果:

这个真的很简单

网站爬取-案例一:猫眼电影TOP100

原文地址:https://www.cnblogs.com/woshiruge/p/8438043.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved