In [1]: from bs4 import BeautifulSoup
In [2]: s = ‘‘‘<div class="markdown_views">
??...: ????????????????<p>BeautifulSoup是Python的一个库，最主要的功能就是从网页
??...: 爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变
??...: 为字典或者数组，相对于正则表达式的方式，可以大大简化处理过程。</p>
??...:
??...: <h3 id="0x01-安装"><a name="t0"></a>0x01 安装</h3>
??...:
??...: <p>建议安装BeautifulSoup 4版本 利用pip进行安装:</p>‘‘‘
In [4]: bs = BeautifulSoup(s,"html.parser")
In [5]: print(bs.text)
---------------------------------------------------------------------------
UnicodeEncodeError ???????????????????????Traceback (most recent call last)
<ipython-input-5-0ea5f8e54d3a> in <module>()
----> 1 print(bs.text)
UnicodeEncodeError: ‘ascii‘ codec can‘t encode character u‘\u662f‘ in position 14: ordinal not in range(128)
In [15]: import sys
In [16]: reload(sys
???...: )
<module ‘sys‘ (built-in)>
In [17]: sys.setdefaultencoding(‘utf-8‘)
In [18]: bs = BeautifulSoup(s,"html.parser")
In [19]: print(bs.text)
BeautifulSoup是Python的一个库，最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变为字典或者数组，相对于正则表达式的方式，可以大大简化处理过程。
0x01 安装
建议安装BeautifulSoup 4版本 利用pip进行安装:
In [20]:
BeautifulSoup去除html中的标签，获取文本
原文地址：https://www.cnblogs.com/hyhyhy/p/9447945.html