from selenium import webdriver# 必须下载driverbrowser = webdriver.Chrome(executable_path="D:\chromedriver_win32\chromedriver.exe")# 请求页面browser.get("https://www.bilibili.com/")# 请求的内容都会存在browser.page_source里面# 打印前100个字符print(browser.page_source[:100])‘‘‘<!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml" lang="zh-Hans"><head><meta charset="utf-8"‘‘‘
from selenium import webdriverfrom scrapy.selector import Selectorbrowser = webdriver.Chrome(executable_path="D:\chromedriver_win32\chromedriver.exe")browser.get("https://www.bilibili.com/")# Selector是一个类，要将html文本传进去，实例化之后才能调用xpath方法titles = Selector(text=browser.page_source).xpath(‘//a[@target="_blank"]/@title‘).extract()for title in titles: ???print(title)‘‘‘画友来探索bilibili音乐的世界吧~游戏中心直播会员购BWORLD萌战世界杯下载APP干杯，世界杯！2【洛天依原创曲】小城书院【天依6周年生日快乐~】【老E】时隔两年半的更新 GBA PART.08【窃格瓦拉＆面筋哥】BBoom BBoom【洛天依中心手书】天依的幸福理论【2018洛天依生诞祭】[中文字幕] 8.32 / *Luna feat.flower【泛式】姐姐非要看我发育正不正常！7月新番大吐槽第一弹!「新番妙妙屋07」国人真有才，动漫角色谐音梗都有哪些？【补番教室06】蹦蹦蹦，要和德丽莎一起睡午觉吗~hide and seek~在线观看：4467291‘‘‘
# 模拟登陆bilibilifrom selenium import webdriverbrowser = webdriver.Chrome(executable_path="D:\chromedriver_win32\chromedriver.exe")browser.get("https://passport.bilibili.com/login")# 语法和scrapy的xpath一样# 找到用户名输入框，通过send_keys()发送用户名browser.find_element_by_xpath(‘//input[@id="login-username"]‘).send_keys("18538712459")# 找到密码输入框，这里密码隐藏了browser.find_element_by_xpath(‘//input[@id="login-passwd"]‘).send_keys("zg2ffsaaaaahxxxx123")# 找到登陆按钮，这里是一个a标签browser.find_element_by_xpath(‘//a[@class="btn btn-login"]‘).click()会看到，自动帮我把账号和密码输入了
selenium本来就是模拟人的登陆
(1)selenium动态网页与请求
原文地址：https://www.cnblogs.com/traditional/p/9309613.html