最近看机器学习挺火的，然后，想要借助业余时间，来学习Python，希望能为来年找一份比较好的工作。
首先，学习得要有动力，动力，从哪里来呢？肯定是从日常需求之中来。我学Python看网上介绍。能通过Python来编写爬虫，于是，我也的简单的看了一下Python的介绍，主要是Python的一些语法，还有正则表达式。
好了，学习使用Python之前，来给大家看一下我们需要进行爬去的网站：
看到这个网站，感谢美女很养眼的同时，网站的图片也不太过，就是比较性感而已。看到这个多的美女，你想不想要将这些爬取到的美女，保存在你的硬盘，或者保存在你的网站，增加流量呢？
好了，目标网站有了，接下来，我们直接真刀真枪的直接开干吧。
考虑到，有很多和我一样的小白，我暂时，不介绍使用Pyspider来做爬虫，我们就使用Python的一些库来做爬虫，一步一步的进阶。
接下来需要大家安装一个IDE来编写Python脚本，我给大家推荐Pycharm编辑器。
恩，接下来直接上代码了，做好准备了没？
第一步：解析美女类别：
if __name__ == "__main__":
# page = 8
url = "http://www.mmjpg.com/"
base_url = urlparse(url)
#url = "http://cuiqingcai.com/1319.html"
#menu = getallAltls(url)
##menu = getparAltls(url, page)
#url = "http://www.mmjpg.com/tag/tgod"
path = r"E:\image"
#path = path + "\\" + "推女神"
craw = Crawler()
soup = craw.doc(craw.getHtml(url))
total = 0
for each in soup(soup(".subnav")(‘a[href^="http://www.mmjpg.com/tag"]‘)).items():
utils.log( "即将下载： " + each.text() + each.attr(‘href‘) )
path= r"E:\image"
path = path + "\\" + each.text()
utils.log( "即将存放在：" + path )
total += 1
if total<=11:
# continue
pass
else:
param={"url":each.attr(‘href‘),"path":path}
craw.downimgofsite(param )
第二步：下载站点某图集下的所有图片：
def downimgofsite(self , param):
url = ""
path = ""
#path = str(path)
if param and "url" in param:
url = param["url"]
utils.log( "即将下载：" + url)
else:
utils.log( "线程运行错误，url为空")
return
if param and "path" in param:
path = param["path"]
utils.log( "即将保存路径：" + path)
else:
utils.log( "线程运行错误，路径为空" )
return
#获取所有图集的名称和链接
meun_list = self.getallAltls(url)
total = 0
directorypath = ""
#print os.getcwd()
try:
for meun in meun_list:
try:
directoryname = self.str_fomat(meun[0])
if not directoryname:
utils.log("获取到的图集为空" + str(directoryname))
continue
if path.strip() != "":
directorypath = path + "\\" + directoryname
else:
directorypath = os.getcwd() + "\\" + directoryname
if not os.path.exists(directorypath):
os.makedirs(directorypath)
utils.log( "图集 "+ meun[0]+ " 创建路径：" + directorypath )
utils.log("正在下载第 "+ str(total) + "个图集：" + meun[0] + " 链接：" + url)
result = self.getSinglePic(meun[1], directorypath)
total += 1
except IOError, param:
utils.log("图集："+ meun[0] +"IO读写错误，原因"+ param)
continue
except BaseException,param:
utils.log("图集："+ meun[0] + "产生意外错误")
continue
except:
utils.log("图集："+ meun[0] + "产生意外错误，原因：" + param)
continue
try:
if result:
utils.log( "图集：" + meun[0] + " 获取链接：" + meun[1] +" 成功，共下载：" + str(result) + " 张图片" )
else:
os.rmdir(directorypath)
utils.log( "图集：" + meun[0] + " 获取链接：" + meun[1] +" 失败，即将删除目录：" + directoryname )
#self.cleanDir(directorypath)
except WindowsError,parm:
utils.log( "操作目录："+ directoryname + "失败，原因："+ parm ,logging.ERROR)
continue
except BaseException,parm:
utils.log( "发生错误，错误原因："+ parm ,logging.ERROR)
continue
except:
utils.log( "发生未知错误" ,logging.ERROR)
continue
except BaseException,parm:
utils.log( "下载站点图片出错，错误原因：" + parm ,logging.ERROR)
获取所有图集：
#function获取所有的图集名称
def getallAltls(self,url):
html =self.getHtml(url)
if not html:
utils.log("获取网页："+ url +"错误，错误原因：没有获取到网页")
return None
soup = self.bfs(html)
totalpage = int(self.getPageNum(html ,url))
meun = self.getPicNameandLink(url)
album_id = re.search( r‘\d+‘, url, re.M|re.I)
if not album_id:
album_id = str(int(random.random() * 10000))
albm_url = url
album_create_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
album_name = soup.find("div",class_="current").find("i").string
#循环遍历所有的图集页面，获取图集名称和链接
for pos in range(2,totalpage+1):
currenturl = url + "/" + str(pos)
#getPicNameandLink()返回的值是一个list。
#当一个list插入到另一个list中时，使用extend。
#若是插入一个值时，可以用append
tmenu = self.getPicNameandLink(currenturl)
if tmenu:
meun.extend(tmenu)
utils.log("从链接：" + url +"获取到" + str(len(tmenu)) + "链接")
else:
utils.log("获取链接："+ url + "图集失败")
# url = nextpage = self.getNextPage(url)
# meun.extend(self.getPicNameandLink(nextpage))
return meun
获取整个图集的所有页码：
# 获取整个图集的页码
def getPageNum(self , html , url):
soup = self.bfs( html)
# 直接在站点首页获取所有图集的总页码
#nums=soup.find_all(‘a‘,class_=‘page-numbers‘)
# 除掉“下一页”的链接，并获取到最后一页
#totlePage = int(nums[-2].text)
p = r‘共\d+?页‘
#print soup.get_text()
pa = re.compile(p.encode(‘utf-8‘))
match = re.search(pa, soup.get_text().encode("utf-8"))
if match:
ct = re.sub(r‘\D‘,‘‘, match.group(0))
if not ct:
utils.log( "链接： "+ url + " 页面共：" +"0" + "页,总页面查找失败" )
return 1
utils.log( "链接： "+ url + " 页面共：" + str(ct) + "页")
totlePage = int(ct)
print totlePage
return totlePage
else:
utils.log( "链接： "+ url + " 页面共：" +"0" + "页,总页面查找失败" )
return 1
获取指定图集下图集名称和链接：
#获取指定页面下图集名称和链接
def getPicNameandLink(self , url):
html = self.getHtml(url)
if html:
soup = self.bfs( html)
else:
utils.log("链接：" + url + " 请求失败" + "网页：")
utils.log(str(html))
return None
soup = self.bfs(html)
meun = []
total = 1
link_list = soup.find("div", class_="pic").find_all(‘a‘ ,target="_blank") #+ soup.find_all(‘img‘ ,target="_blank")
#print type(link_count)
link_count = len(link_list)
#print type(link_count)
utils.log("在链接："+ url+ "下找到: "+ str(link_count) + " 链接")
if(link_count > 0):
for pic in link_list:
link = pic["href"]
self.links.append(link)
picturename = ""
img = pic.find("img")
if img:
# 保证中文字符能够正常转码。
picturename = unicode(str(img["alt"]))
self.title.append(picturename)
else:
continue
#插入图集名称和对应的url
meun.append([picturename,link])
ids=self.get_url_page(url)
if ids:
self.ids.append(ids)
else:
self.ids.append(total)
total += 1
utils.log( "在链接：" + url +" 下实际找到：" + str(len(meun)) + "个链接")
return meun
else:
return None
获取下一页：
#获取下一页的链接
def getNextPage(self , url):
base_url = urlparse(url)
html = self.getHtml(url)
if html:
soup = self.bfs( html)
else:
utils.log("链接：" + url + " 请求失败" + "网页：")
utils.log(html)
return None
nt = "下一页"
next_url = soup.find_all(‘a‘,text=nt)
ret_url= next_url[0][‘href‘]
#print ret_url
if ret_url:
try:
if re.match(r‘^https?:/{2}\w.+$‘, ret_url):
utils.log( "获取到正确的网址：" + ret_url)
return ret_url
else:
ret_url = base_url.scheme +"://"+ base_url.netloc + next_url[0][‘href‘]
utils.log("只获取到查询路径，处理之后网址为："+ ret_url)
return ret_url
except BaseException, Argument:
utils.log("查找下一页出错，错误为："+Argument ,logging.ERROR)
return None
else:
print "获取下一页地址失败！"
return None
第三部：获取某一个妹子的所有图片：
#下载单个相册中的所有图片
def getSinglePic(self , url , path):
title = re.split(r‘\\‘, path)
title = title[-1]
try:
page_url = self.getSinglePicUrl(url)
if page_url:
totalPageNum = self.getSinglePicTotal(url)
base_url = urlparse(url)
real_url =base_url.scheme+"://"+base_url.netloc
#从第一页开始，下载单个图集中所有的图片
#range()第二个参数是范围值的上限，循环时不包括该值
#需要加1以保证读取到所有页面。
p = r‘.+\/‘
pa = re.compile(p)
#print title
if totalPageNum:
for i in range(1,totalPageNum + 1):
currenturl = real_url + "/" + str(i)
self.downloadpic(currenturl,path)
else:
next_url = self.getSinglePicUrl(url)
cur_page = 1
utils.log("即将下载图集：" + title)
while next_url:
match = re.search(pa, next_url).group(0)
if match:
currenturl = real_url+ "/" + match + str(cur_page)
else:
currenturl = real_url+ "/" + next_url # + str(cur_page)
#utils.log("正在下载： "+ str(cur_page) + " 个图片：" +" 链接："+ url )
self.downloadpic(currenturl,path)
cur_page += 1
next_url = self.getSinglePicUrl(currenturl) #判断是否还有下一页
# if cur_page > 2:
# return cur_page
return (cur_page-1)
else:
utils.log( "图集："+ title+ "链接：" + url +" 获取图片链接失败")
return None
except BaseException,param:
utils.log( "下载单个相册:" + title + " 链接：" + url+ "中的所有图片异常，原因：" + param ,logging.ERROR)
return None
except:
utils.log( "下载单个相册：" + title + " 链接：" + url+ "中的所有图片异常" ,logging.ERROR)
return None
#获取单个相册内图片链接
def getSinglePicUrl(self , url):
html = self.getHtml(url)
if html:
soup = self.bfs( html)
else:
utils.log("链接：" + url + " 请求失败" + "网页：")
utils.log(html)
return None
try:
if soup:
#print "当前页面链接："+ url
nt = "下一张"
next_url = soup.find_all(‘a‘,text=nt)
if next_url:
ret_url= next_url[0][‘href‘]
else:
return None
else:
utils.log( "网页" + url + "读取失败")
return None
except BaseException,param:
utils.log( "获取单个相册内图片链接异常，原因" + param ,logging.ERROR)
return None
return ret_url
获取图片数量：
#获取单个相册内图片所有图片的数量
def getSinglePicTotal(self , url):
html = self.getHtml(url)
if html:
soup = self.bfs( html)
else:
utils.log("链接：" + url + " 请求失败" + "网页：")
utils.log(html)
return None
#pagenavi还是一个对象（Tag），可以通过find_all找出指定标签出来
#print "当前页面链接："+ url
if soup:
#print "获取链接："+url +" 成功"
pass
else:
utils.log("获取链接："+url +" 失败")
return None
nt = "全部图片"
try:
total = soup.find_all(‘a‘,text=nt)
if total:
total= re.sub(‘\D‘,"",total[0][‘href‘])
else:
total = 0
except BaseException,param:
utils.log( "获取单个相册内图片所有图片的数量异常，原因" + param , logging.ERROR)
return None
return total
第四步：下个单个相册的所有图片：
#下载单个相册中的所有图片
def getSinglePic(self , url , path):
title = re.split(r‘\\‘, path)
title = title[-1]
try:
page_url = self.getSinglePicUrl(url)
if page_url:
totalPageNum = self.getSinglePicTotal(url)
base_url = urlparse(url)
real_url =base_url.scheme+"://"+base_url.netloc
#从第一页开始，下载单个图集中所有的图片
#range()第二个参数是范围值的上限，循环时不包括该值
#需要加1以保证读取到所有页面。
p = r‘.+\/‘
pa = re.compile(p)
#print title
if totalPageNum:
for i in range(1,totalPageNum + 1):
currenturl = real_url + "/" + str(i)
self.downloadpic(currenturl,path)
else:
next_url = self.getSinglePicUrl(url)
cur_page = 1
utils.log("即将下载图集：" + title)
while next_url:
match = re.search(pa, next_url).group(0)
if match:
currenturl = real_url+ "/" + match + str(cur_page)
else:
currenturl = real_url+ "/" + next_url # + str(cur_page)
#utils.log("正在下载： "+ str(cur_page) + " 个图片：" +" 链接："+ url )
self.downloadpic(currenturl,path)
cur_page += 1
next_url = self.getSinglePicUrl(currenturl) #判断是否还有下一页
# if cur_page > 2:
# return cur_page
return (cur_page-1)
else:
utils.log( "图集："+ title+ "链接：" + url +" 获取图片链接失败")
return None
except BaseException,param:
utils.log( "下载单个相册:" + title + " 链接：" + url+ "中的所有图片异常，原因：" + param ,logging.ERROR)
return None
except:
utils.log( "下载单个相册：" + title + " 链接：" + url+ "中的所有图片异常" ,logging.ERROR)
return None
下载图片的重点来了：
#下载单个相册中的所有图片
def getSinglePic(self , url , path):
title = re.split(r‘\\‘, path)
title = title[-1]
try:
page_url = self.getSinglePicUrl(url)
if page_url:
totalPageNum = self.getSinglePicTotal(url)
base_url = urlparse(url)
real_url =base_url.scheme+"://"+base_url.netloc
#从第一页开始，下载单个图集中所有的图片
#range()第二个参数是范围值的上限，循环时不包括该值
#需要加1以保证读取到所有页面。
p = r‘.+\/‘
pa = re.compile(p)
#print title
if totalPageNum:
for i in range(1,totalPageNum + 1):
currenturl = real_url + "/" + str(i)
self.downloadpic(currenturl,path)
else:
next_url = self.getSinglePicUrl(url)
cur_page = 1
utils.log("即将下载图集：" + title)
while next_url:
match = re.search(pa, next_url).group(0)
if match:
currenturl = real_url+ "/" + match + str(cur_page)
else:
currenturl = real_url+ "/" + next_url # + str(cur_page)
#utils.log("正在下载： "+ str(cur_page) + " 个图片：" +" 链接："+ url )
self.downloadpic(currenturl,path)
cur_page += 1
next_url = self.getSinglePicUrl(currenturl) #判断是否还有下一页
# if cur_page > 2:
# return cur_page
return (cur_page-1)
else:
utils.log( "图集："+ title+ "链接：" + url +" 获取图片链接失败")
return None
except BaseException,param:
utils.log( "下载单个相册:" + title + " 链接：" + url+ "中的所有图片异常，原因：" + param ,logging.ERROR)
return None
except:
utils.log( "下载单个相册：" + title + " 链接：" + url+ "中的所有图片异常" ,logging.ERROR)
return None
第五步：下载图片：
def Schedule(a,b,c):
‘‘‘‘‘
a:已经下载的数据块
b:数据块的大小
c:远程文件的大小
‘‘‘
per = 100.0 * a * b / c
if per > 100 :
per = 100
print ‘%.2f%%‘ % per
def auto_down(self, url , filename):
file_dir = os.path.split(filename )[0]
if os.path.isdir(file_dir):
pass
else:
utils.log("目录：" + file_dir +"不存在，将重新创建该目录，用于下载文件："+ filename)
os.makedirs(file_dir)
urllib.urlretrieve(url,filename ,Schedule)
接下来需要判断，图片是否存在，以及删除文件为空的文件夹：
#判断文件是否存在
def file_exists(self,filename):
try:
with open(filename) as f:
return True
except IOError:
return False
#删除空目录
def cleanDir( dir ):
try:
if os.path.isdir( dir ):
files = os.listdir(dir) # 获取路径下的子文件(夹)列表
if files:
utils.log( "找到：" +dir+"下共：" + str(len(files)) +" 文件或文件夹")
else:
dir= dir+"\\"
files = os.listdir(dir) # 获取路径下的子文件(夹)列表
utils.log( "找到：" + dir +"下" +str(len(files)) +"文件或文件夹")
for file in files:
print ‘扫描路径:‘+ file.decode(‘GBK‘)
if os.path.isdir(file): # 如果是文件夹
if not os.listdir(file): # 如果子文件为空
os.rmdir(file) # 删除这个空文件夹
utils.log( file.decode(‘GBK‘) + " 文件夹为空，即将删除" )
elif os.path.isfile(file): # 如果是文件
if os.path.getsize(file) == 0: # 文件大小为0
os.remove(file) # 删除这个文件
utils.log( file.decode(‘GBK‘)+"文件为空,即将删除" )
except BaseException,param:
utils.log( "扫描路径"+ dir + "异常，原因:" + str(param) ,logging.ERROR )
utils.log( "扫描路径"+ dir + " 结束")
好了，大工告成，让我们取旁边喝一杯，稍微等一会，就有大大的惊喜。
好了，这次的分享，到这里结束了，完整的源代码大家可以加入QQ群： 98556420，获取。
下一期，我也将会和大家分享使用人脸识别，来识别这些妹子。。。
时间： 2024-04-26 05:11:49