python爬虫学习笔记--BeautifulSoup4库的使用详解

from bs4 import BeautifulSoup
#创建 Beautiful Soup 对象
# 使用lxml来进行解析
soup = BeautifulSoup(html,"lxml")
print(soup.prettify())

from bs4 import BeautifulSoup
#创建 Beautiful Soup 对象
# 使用lxml来进行解析
soup = BeautifulSoup(html,"lxml")
#print(soup.prettify())


#创建 Beautiful Soup 对象
soup = BeautifulSoup(html,'lxml')

print (soup.title)#None因为这里没有tiele标签所以返回none

print (soup.head)#None因为这里没有head标签所以返回none

print (soup.a)#返回 <a class="fill-dec" href="//my.csdn.net" target="_blank">编辑自我介绍，让更多人了解你<span class="write-icon"></span></a>


print (type(soup.p))#返回 <class 'bs4.element.Tag'>

print( soup.p)

print (soup.name)# [document] #soup 对象本身比较特殊，它的 name 即为 [document]

print (soup.head.name)#head #对于其他内部标签，输出的值为标签本身的名称

print (soup.p.attrs)##把p标签的所有属性打印出来,得到的类型是一个字典。

print (soup.p['class'])#获取P标签下地class标签

soup.p['class'] = "newClass"
print (soup.p) # 可以对这些属性和内容等等进行修改

print (soup.p.string)
# The Dormouse's story
print (type(soup.p.string))
# <class 'bs4.element.NavigableString'>thon

print(soup.name)
#返回 '[document]'

markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>

head_tag = soup.div
# 返回所有子节点的列表
print(head_tag.contents)

head_tag = soup.div

# 返回所有子节点的迭代器
for child in head_tag.children:
    print(child)

for string in soup.strings:
    print(repr(string))

for string in soup.stripped_strings:
    print(repr(string))

print(soup.find_all("a",id='link2'))

#通过标签名查找：
print(soup.select('a'))
#通过类名查找：
#通过类名，则应该在类的前面加一个'.'
print(soup.select('.sister'))
#通过id查找：
#通过id查找，应该在id的名字前面加一个＃号
print(soup.select("#link1"))

print(soup.select("p #link1"))#查找 p 标签中，id 等于 link1的内容

print(soup.select("head > title"))

print(soup.select('a[href="http://example.com/elsie"]'))#属性与标签属同一节点，中间不能有空格

print (type(soup.select('div')))

for title in soup.select('div'):
    print (title.get_text())

print (soup.select('div')[20].get_text())#选取第20个div标签的内容