在 Python 中,可以使用多种方法访问网页,以下是一些常见的方法:,1、使用requests
库,requests
是一个常用的 HTTP 客户端库,可以用来发送 HTTP 请求并获取响应。,安装requests
库:,示例代码:,2、使用urllib
库,urllib
是 Python 的标准库之一,可以用来处理 URL,它包含四个模块:urllib.request
、urllib.error
、urllib.parse
和urllib.robotparser
。,示例代码:,3、使用BeautifulSoup
解析 HTML,BeautifulSoup
是一个用于解析 HTML 和 XML 的库,可以方便地提取网页中的信息,需要先安装beautifulsoup4
和lxml
库。,安装库:,示例代码:,4、使用Selenium
模拟浏览器操作,Selenium
是一个自动化测试工具,可以模拟用户操作浏览器,需要先安装selenium
库和对应的浏览器驱动。,安装库:,示例代码:, ,pip install requests,import requests url = ‘https://www.example.com’ response = requests.get(url) print(response.text),import urllib.request url = ‘https://www.example.com’ response = urllib.request.urlopen(url) print(response.read().decode(‘utf8’)),pip install beautifulsoup4 lxml,from bs4 import BeautifulSoup import requests url = ‘https://www.example.com’ response = requests.get(url) soup = BeautifulSoup(response.text, ‘lxml’) 提取所有的段落标签(<p>)并打印文本内容 for p in soup.find_all(‘p’): print(p.get_text())
原创文章,作者:admin,如若转载,请注明出处:https://www.vaicdn.com/news/63811.html