python爬虫爬取图片代码(python爬虫代码)

介绍爬虫爬取图片

Python是一种非常强大的编程语言，它被广泛用于爬虫。如果您有兴趣开发一个Python爬虫来收集各种图片，那么这篇文章是您不容错过的。在这篇文章中，我们将向您展示如何使用Python编写爬虫代码来收集图片。

使用Python爬虫爬取图片

爬虫可以让我们从网站上下载图片并存放在本地计算机上。有很多网站可以供我们下载图片，也有很多Python库可以帮助我们实现爬虫。其中 requests,BeautifulSoup和urllib 是最常用的库。使用这些库，可以轻松编写出实用的爬虫代码。

Python爬虫代码实现

以下是Python爬虫代码的基本实现。我们将使用 requests 和 BeautifulSoup 来获取页面并解析，然后使用 urllib 和正则表达式来下载图片：

```python
import requests
from bs4 import BeautifulSoup
import urllib.request
import re

# 获取网页内容
def get_html(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""

# 图片下载
def download(url,name):
try:
urllib.request.urlretrieve(url, name)
print("{} 下载完成".format(name))
except:
print("{} 下载失败".format(name))

# 解析网页
def get_img_url(html):
soup = BeautifulSoup(html, "html.parser")
img_url_lst = []
for link in soup.find_all('img'):
img_url = link.get('src')
img_url_lst.append(img_url)
return img_url_lst

# 主函数
def main():
url = "http://www.baidu.com"
html = get_html(url)
img_url_lst = get_img_url(html)
for i,url in enumerate(img_url_lst):
suffix = url.split(".")[-1]
name = "img{}.{}".format(i,suffix)
download(url,name)

if __name__ == "__main__":
main()

```

这段代码使用了主要的 Python 爬虫工具库，requests、BeautifulSoup、urllib 等。其中，get_html()函数通过requests库获取页面内容。该库是 Python 的第三方库，功能强大，可以快速的发送HTTP请求去获取页面内容。get_img_url()函数利用BeautifulSoup库解析页面，find_all() 方法查找页面中所有的 img 标签，并把这些标签的 src 属性值取出来。最后，在函数 main() 中，我们根据获取到的图片URL使用 urllib.download() 方法下载到本地，命名方式是“img+序号.后缀名”。

总的来说，这是一个简单而实用的Python爬虫代码，它可以轻松地帮助我们爬取网站上各种图片。当然，在实际开发中，这段代码还需要进一步完善才能满足更多特定的需求。