分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 运营维护

搭建golang学习环境,并用chrome headless获取网页内容

发布时间:2023-09-06 02:31责任编辑:傅花花关键词:暂无标签

想用go练练手(我是win7系统,已从https://studygolang.com/dl 下载了go安装包并安装,比较简单,不详述。

但作为边民,没法go get ,又不敢用梯子,幸亏有爱心大牛们的国内镜像。

1、首先感谢gowalker,gopm 七牛 以及啃、萝卜、萝卜头go语言缔造者

2、因为国内用不了go get ,如果从gopm网页上手工下载包的话,相关依赖包下载太麻烦。后来发现有gopm工具。

首先从https://gowalker.org/ 搜索 gopm,根据包在github上的路径github.com/gpmgo/gopm,到gopm.io上下载,保存到相应目录下。

用go install安装,可能要根据错误提示修改目录名,及安装依赖包github.com/Unknwon/com

3、我运行go install后,在$gopath\bin下生成gopm.exe(将这个路径加入环境变量,我的gopath路径设为了E:\goapp,将手工下载的包放到了E:\goapp\src\github.com下。修改环境变量后可能需要重启电脑)

4、我是在$gopath\src\github.com目录下运行:

gopm get ?github.com/chromedp/chromedp

经过漫长等待,提示如下,

E:\goapp\src\github.com>gopm get github.com/chromedp/chromedp[GOPM] 01-24 16:30:17 [ERROR] Skipped invalid package: net/http/httptrace@branch:<UTD>[GOPM] 01-24 16:30:17 [ERROR] golang.org/x/image: fail to rename directory: rename C:/Users/Administrator/.gopm/repos/golang.org/x/image-183bebdce1b249c42a7cf6772817e8c2e873b966 C:/Users/Administrator/.gopm/repos/golang.org/x/image: Access is denied.

心中一惊,难道又要困死墙内!仔细一看,不是大问题,怀疑是360搞的鬼。于是按照提示手工修改文件名为 C:/Users/Administrator/.gopm/repos/golang.or

g/x/image,成功。(我的是gopm将包下载到了C:\Users\Administrator\.gopm\repos\ 之下。)

6、现在可以到http://www.runoob.com/go/go-tutorial.html入门学习了。

7、使用以下代码测试一下chromedp

// Command screenshot is a chromedp example demonstrating how to take a// screenshot of a specific element.package mainimport ( ???"context" ???"io/ioutil" ???"log" ???"time" ???"github.com/chromedp/chromedp")func main() { ???var err error ???// create context ???ctxt, cancel := context.WithCancel(context.Background()) ???defer cancel() ???// create chrome instance ???c, err := chromedp.New(ctxt, chromedp.WithLog(log.Printf)) ???if err != nil { ???????log.Fatal(err) ???} ???// run task list ???var buf []byte ???//err = c.Run(ctxt, screenshot(`https://brank.as/`, `#contact-form`, &buf)) ???err = c.Run(ctxt, screenshot(`http:/baidu.com/`, `#wrapper`, &buf)) ???if err != nil { ???????log.Fatal(err) ???} ???// shutdown chrome ???err = c.Shutdown(ctxt) ???if err != nil { ???????log.Fatal(err) ???} ???// wait for chrome to finish ???err = c.Wait() ???if err != nil { ???????log.Fatal(err) ???} ???err = ioutil.WriteFile("contact-form.png", buf, 0644) ???if err != nil { ???????log.Fatal(err) ???}}func screenshot(urlstr, sel string, res *[]byte) chromedp.Tasks { ???return chromedp.Tasks{ ???????chromedp.Navigate(urlstr), ???????chromedp.Sleep(2 * time.Second), ???????chromedp.WaitVisible(sel, chromedp.ByID), ???????//chromedp.WaitNotVisible(`div.v-middle > div.la-ball-clip-rotate`, chromedp.ByQuery), ???????chromedp.Screenshot(sel, res, chromedp.NodeVisible, chromedp.ByID), ???}}

运行后,在当前目录下生成了名为contact-form.png百度快照。

搭建golang学习环境,并用chrome headless获取网页内容

原文地址:https://www.cnblogs.com/pu369/p/10315988.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved