首页 > 行业资讯 > 互联数码科普 >

python爬虫实例代码

发布时间:2024-11-26 18:07:30来源:

下面是一个简单的Python爬虫实例代码,使用requests库来发送HTTP请求和获取页面内容,以及BeautifulSoup库来解析HTML文档:

```python

import requests

from bs4 import BeautifulSoup

# 设置要爬取的网址

url = 'http://example.com' # 将这里替换为你要爬取的网址

# 发送HTTP请求并获取页面内容

response = requests.get(url)

# 检查请求是否成功

if response.status_code == 200:

# 解析HTML文档

soup = BeautifulSoup(response.text, 'html.parser')

# 找到需要爬取的数据,这里以标题为例

titles = soup.find_all('h1') # 根据实际情况替换成你需要的标签选择器

# 输出标题内容

for title in titles:

print(title.text)

else:

print('请求失败,状态码:', response.status_code)

```

注意,这只是一个简单的示例代码,实际使用时需要根据具体需求进行修改。此外,爬虫程序需要遵守网站的爬虫协议和相关法律法规,避免对网站造成不必要的压力和侵犯他人的权益。

免责声明:本答案或内容为用户上传,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 如遇侵权请及时联系本站删除。