MAP函数应用于多线程下载图片

    

  1. # -*- coding:utf8 -*-
    2. 

  2. from bs4 import BeautifulSoup
    3. 

  3. import os, sys, urllib2, urllib
    4. 

  4. from multiprocessing.dummy import Pool as ThreadPool
    5. 

    6. 

  6. urls = []
    7. 

  7. def download(url):
    8. 

  8.     urllib.urlretrieve(url, ‘d:/‘+url[-7:])
    9. 

  9. def page_loop(page=1):
    10. 

  10.     url = ‘http://www.beautylegmm.com/Tiara/beautyleg-936.html?page=%s‘ % page
    11. 

  11.     content = urllib2.urlopen(url)
    12. 

  12.     soup = BeautifulSoup(content)
    13. 

  13.     my_girl = soup.find_all(‘img‘)
    14. 

  14.     if len(my_girl) <5:
    15. 

  15.         print ‘urls get done‘
    16. 

  16.         print urls
    17. 

  17.         return urls
    18. 

  18.     for girl in my_girl:
    19. 

  19.         link = girl.get(‘src‘)
    20. 

  20.         if ‘jpg‘ in link:
    21. 

  21.             flink = ‘http://www.beautylegmm.com‘ + link
    22. 

  22.             print flink
    23. 

  23.             urls.append(flink)
    24. 

  24.     page = int(page) + 1
    25. 

  25.     page_loop(page)
    26. 

    27. 

  27. page_loop()
    28. 

  28. pool = ThreadPool(10)
    29. 

  29. results = pool.map(download, urls)
    30. 

  30. pool.close()
    31. 

  31. pool.join
    32.

参考文章：

一行 Python 实现并行化 -- 日常多线程操作的新思路

caspar 117 2014年02月20日 发布

  • 推荐 5 推荐
  • 收藏 41 收藏，10.9k 浏览

春节坐在回家的火车上百无聊赖，偶然看到 Parallelism in one line 这篇在 Hacker News 和 reddit 上都评论过百的文章，顺手译出，enjoy:-)

http://www.zhangzhibo.net/2014/02/01/parallelism-in-one-line/

Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL1，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏“重”。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。

传统的例子

简单搜索下“Python 多线程教程”，不难发现几乎所有的教程都给出涉及类和队列的例子：

#Example.py
‘‘‘
Standard Producer/Consumer Threading Pattern
‘‘‘

import time
import threading
import Queue 

class Consumer(threading.Thread):
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self._queue = queue 

    def run(self):
        while True:
            # queue.get() blocks the current thread until
            # an item is retrieved.
            msg = self._queue.get()
            # Checks if the current message is
            # the "Poison Pill"
            if isinstance(msg, str) and msg == ‘quit‘:
                # if so, exists the loop
                break
            # "Processes" (or in our case, prints) the queue item
            print "I‘m a thread, and I received %s!!" % msg
        # Always be friendly!
        print ‘Bye byes!‘

def Producer():
    # Queue is used to share items between
    # the threads.
    queue = Queue.Queue()

    # Create an instance of the worker
    worker = Consumer(queue)
    # start calls the internal run() method to
    # kick off the thread
    worker.start() 

    # variable to keep track of when we started
    start_time = time.time()
    # While under 5 seconds..
    while time.time() - start_time < 5:
        # "Produce" a piece of work and stick it in
        # the queue for the Consumer to process
        queue.put(‘something at %s‘ % time.time())
        # Sleep a bit just to avoid an absurd number of messages
        time.sleep(1)

    # This the "poison pill" method of killing a thread.
    queue.put(‘quit‘)
    # wait for the thread to close down
    worker.join()

if __name__ == ‘__main__‘:
    Producer()

哈，看起来有些像 Java 不是吗？

我并不是说使用生产者/消费者模型处理多线程/多进程任务是错误的（事实上，这一模型自有其用武之地）。只是，处理日常脚本任务时我们可以使用更有效率的模型。

问题在于…

首先，你需要一个样板类；
其次，你需要一个队列来传递对象；
而且，你还需要在通道两端都构建相应的方法来协助其工作（如果需想要进行双向通信或是保存结果还需要再引入一个队列）。

worker 越多，问题越多

按照这一思路，你现在需要一个 worker 线程的线程池。下面是一篇 IBM 经典教程中的例子——在进行网页检索时通过多线程进行加速。

#Example2.py
‘‘‘
A more realistic thread pool example
‘‘‘

import time
import threading
import Queue
import urllib2 

class Consumer(threading.Thread):
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self._queue = queue 

    def run(self):
        while True:
            content = self._queue.get()
            if isinstance(content, str) and content == ‘quit‘:
                break
            response = urllib2.urlopen(content)
        print ‘Bye byes!‘

def Producer():
    urls = [
        ‘http://www.python.org‘, ‘http://www.yahoo.com‘
        ‘http://www.scala.org‘, ‘http://www.google.com‘
        # etc..
    ]
    queue = Queue.Queue()
    worker_threads = build_worker_pool(queue, 4)
    start_time = time.time()

    # Add the urls to process
    for url in urls:
        queue.put(url)
    # Add the poison pillv
    for worker in worker_threads:
        queue.put(‘quit‘)
    for worker in worker_threads:
        worker.join()

    print ‘Done! Time taken: {}‘.format(time.time() - start_time)

def build_worker_pool(queue, size):
    workers = []
    for _ in range(size):
        worker = Consumer(queue)
        worker.start()
        workers.append(worker)
    return workers

if __name__ == ‘__main__‘:
    Producer()

这段代码能正确的运行，但仔细看看我们需要做些什么：构造不同的方法、追踪一系列的线程，还有为了解决恼人的死锁问题，我们需要进行一系列的 join 操作。这还只是开始……

至此我们回顾了经典的多线程教程，多少有些空洞不是吗？样板化而且易出错，这样事倍功半的风格显然不那么适合日常使用，好在我们还有更好的方法。

何不试试 map

map 这一小巧精致的函数是简捷实现 Python 程序并行化的关键。map 源于 Lisp 这类函数式编程语言。它可以通过一个序列实现两个函数之间的映射。

    urls = [‘http://www.yahoo.com‘, ‘http://www.reddit.com‘]
    results = map(urllib2.urlopen, urls)

上面的这两行代码将 urls 这一序列中的每个元素作为参数传递到 urlopen 方法中，并将所有结果保存到 results 这一列表中。其结果大致相当于：

results = []
for url in urls:
    results.append(urllib2.urlopen(url))

map 函数一手包办了序列操作、参数传递和结果保存等一系列的操作。

为什么这很重要呢？这是因为借助正确的库，map 可以轻松实现并行化操作。

在 Python 中有个两个库包含了 map 函数： multiprocessing 和它鲜为人知的子库 multiprocessing.dummy.

这里多扯两句： multiprocessing.dummy？ mltiprocessing 库的线程版克隆？这是虾米？即便在 multiprocessing 库的官方文档里关于这一子库也只有一句相关描述。而这句描述译成人话基本就是说:"嘛，有这么个东西，你知道就成."相信我，这个库被严重低估了！

dummy 是 multiprocessing 模块的完整克隆，唯一的不同在于 multiprocessing 作用于进程，而 dummy 模块作用于线程（因此也包括了 Python 所有常见的多线程限制）。
所以替换使用这两个库异常容易。你可以针对 IO 密集型任务和 CPU 密集型任务来选择不同的库。2

动手尝试

使用下面的两行代码来引用包含并行化 map 函数的库：

from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool

实例化 Pool 对象：

pool = ThreadPool()

这条简单的语句替代了 example2.py 中 build_worker_pool 函数 7 行代码的工作。它生成了一系列的 worker 线程并完成初始化工作、将它们储存在变量中以方便访问。

Pool 对象有一些参数，这里我所需要关注的只是它的第一个参数：processes. 这一参数用于设定线程池中的线程数。其默认值为当前机器 CPU 的核数。

一般来说，执行 CPU 密集型任务时，调用越多的核速度就越快。但是当处理网络密集型任务时，事情有有些难以预计了，通过实验来确定线程池的大小才是明智的。

pool = ThreadPool(4) # Sets the pool size to 4

线程数过多时，切换线程所消耗的时间甚至会超过实际工作时间。对于不同的工作，通过尝试来找到线程池大小的最优值是个不错的主意。

创建好 Pool 对象后，并行化的程序便呼之欲出了。我们来看看改写后的 example2.py

import urllib2
from multiprocessing.dummy import Pool as ThreadPool 

urls = [
    ‘http://www.python.org‘,
    ‘http://www.python.org/about/‘,
    ‘http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html‘,
    ‘http://www.python.org/doc/‘,
    ‘http://www.python.org/download/‘,
    ‘http://www.python.org/getit/‘,
    ‘http://www.python.org/community/‘,
    ‘https://wiki.python.org/moin/‘,
    ‘http://planet.python.org/‘,
    ‘https://wiki.python.org/moin/LocalUserGroups‘,
    ‘http://www.python.org/psf/‘,
    ‘http://docs.python.org/devguide/‘,
    ‘http://www.python.org/community/awards/‘
    # etc..
    ]

# Make the Pool of workers
pool = ThreadPool(4)
# Open the urls in their own threads
# and return the results
results = pool.map(urllib2.urlopen, urls)
#close the pool and wait for the work to finish
pool.close()
pool.join()

实际起作用的代码只有 4 行，其中只有一行是关键的。map 函数轻而易举的取代了前文中超过 40 行的例子。为了更有趣一些，我统计了不同方法、不同线程池大小的耗时情况。

# results = []
# for url in urls:
#   result = urllib2.urlopen(url)
#   results.append(result)

# # ------- VERSUS ------- # 

# # ------- 4 Pool ------- #
# pool = ThreadPool(4)
# results = pool.map(urllib2.urlopen, urls)

# # ------- 8 Pool ------- # 

# pool = ThreadPool(8)
# results = pool.map(urllib2.urlopen, urls)

# # ------- 13 Pool ------- # 

# pool = ThreadPool(13)
# results = pool.map(urllib2.urlopen, urls)

结果：

#        Single thread:  14.4 Seconds
#               4 Pool:   3.1 Seconds
#               8 Pool:   1.4 Seconds
#              13 Pool:   1.3 Seconds

很棒的结果不是吗？这一结果也说明了为什么要通过实验来确定线程池的大小。在我的机器上当线程池大小大于 9 带来的收益就十分有限了。

另一个真实的例子

生成上千张图片的缩略图
这是一个 CPU 密集型的任务，并且十分适合进行并行化。

基础单进程版本

import os
import PIL 

from multiprocessing import Pool
from PIL import Image

SIZE = (75,75)
SAVE_DIRECTORY = ‘thumbs‘

def get_image_paths(folder):
    return (os.path.join(folder, f)
            for f in os.listdir(folder)
            if ‘jpeg‘ in f)

def create_thumbnail(filename):
    im = Image.open(filename)
    im.thumbnail(SIZE, Image.ANTIALIAS)
    base, fname = os.path.split(filename)
    save_path = os.path.join(base, SAVE_DIRECTORY, fname)
    im.save(save_path)

if __name__ == ‘__main__‘:
    folder = os.path.abspath(
        ‘11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840‘)
    os.mkdir(os.path.join(folder, SAVE_DIRECTORY))

    images = get_image_paths(folder)

    for image in images:
        create_thumbnail(Image)

上边这段代码的主要工作就是将遍历传入的文件夹中的图片文件，一一生成缩略图，并将这些缩略图保存到特定文件夹中。

这我的机器上，用这一程序处理 6000 张图片需要花费 27.9 秒。

如果我们使用 map 函数来代替 for 循环：

import os
import PIL 

from multiprocessing import Pool
from PIL import Image

SIZE = (75,75)
SAVE_DIRECTORY = ‘thumbs‘

def get_image_paths(folder):
    return (os.path.join(folder, f)
            for f in os.listdir(folder)
            if ‘jpeg‘ in f)

def create_thumbnail(filename):
    im = Image.open(filename)
    im.thumbnail(SIZE, Image.ANTIALIAS)
    base, fname = os.path.split(filename)
    save_path = os.path.join(base, SAVE_DIRECTORY, fname)
    im.save(save_path)

if __name__ == ‘__main__‘:
    folder = os.path.abspath(
        ‘11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840‘)
    os.mkdir(os.path.join(folder, SAVE_DIRECTORY))

    images = get_image_paths(folder)

    pool = Pool()
    pool.map(creat_thumbnail, images)
    pool.close()
    pool.join()

5.6 秒！

虽然只改动了几行代码，我们却明显提高了程序的执行速度。在生产环境中，我们可以为 CPU 密集型任务和 IO 密集型任务分别选择多进程和多线程库来进一步提高执行速度——这也是解决死锁问题的良方。此外，由于 map 函数并不支持手动线程管理，反而使得相关的 debug 工作也变得异常简单。

到这里，我们就实现了（基本）通过一行 Python 实现并行化。

来自为知笔记(Wiz)

时间： 2024-05-09 04:24:29

MAP函数应用于多线程下载图片的相关文章

多线程下载图片,滑动tableView崩溃--资源抢夺问题

最近练习使用NSoperation模拟SDWebImage下载图片,发生了崩溃的问题,还专门写博客记录这件事情: http://www.cnblogs.com/tufei7/p/7074030.html, 当时以为是因为weakSelf和StrongSelf造成的崩溃, 然而我尽管用了StrongSelf和WeakSelf仍然崩溃,当时我也很崩溃. 思前想后还是跟demo源码对比下吧,对比发现: demo代码 红框里面的代码是写在 mainQueue的block里面的, 我的是写在mainQue

多线程下载图片

# -*- coding:utf8 -*- from bs4 import BeautifulSoup import os, sys, urllib2, urllib import thread, threading class downloader(threading.Thread): """docstring for downloader""" def __init__(self, url, name): threading.Thread._

curl多线程下载类

<?php /** * curl多线程下载类 */class MultiHttpRequest{ public $urls = array (); private $res = array (); private $curlopt_header = 0; private $method = "GET"; private $curlopt = array (); public function __construct($urls = false, $curlopt = array

iOS多线程自定义operation加载图片 不重复下载图片

摘要:1:ios通过抽象类NSOperation封装了gcd,让ios的多线程变得更为简单易用:   2:耗时的操作交给子线程来完成,主线程负责ui的处理,提示用户的体验   2:自定义operation继承自NSOperation,在子线程中下载图片: 3:保证图片只下载一次,还有保证下载任务不重复 ------------------------------------------------------------------------------------ 实现原理:1:图片缓存:用

ios多线程GCD下载图片

1 - (void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event 2 { 3 dispatch_queue_t queue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0); 4 dispatch_async(queue, ^{ 5 NSLog(@"--download--%@", [NSThread currentThread]); 6 /

利用Node 搭配uglify-js压缩js文件，批量下载图片到本地

Node的便民技巧-- 压缩代码 下载图片 压缩代码 相信很多前端的同学都会在上线前压缩JS代码,现在的Gulp Webpack Grunt......都能轻松实现.但问题来了,这些都不会,难道就要面对几十个JS文件一遍遍来回“复制-压缩-创建-粘贴”,这样太不人性化了. 于是可以借助Node + uglify-js 轻松实现.(前提你会点node操作) 1.首先看一下目录: |--uglifyJS |--js |--test1.js |--test2.js |--uglify.js   //这

Android 多线程下载原理剖析

今天带来一个多线程下载的 例子.先看一下效果,点击 下载 开始下载,同时显示下载进度,下载完成,变成程 安装,点击安装 提示 安装应用. 界面效果 这里写图片描述 线程池 ThreadPoolExecutor 在下面介绍实现下载原理的时候,我想尝试倒着来说,这样是否好理解一点? 我们都知道,下载助手,比如360, 百度的 手机助手,下载APP 的时候 ,都可以同时下载多个,所以,下载肯定是多线程的,所以我们就需要一个线程工具类 来管理我们的线程,这个工具类的核心,就是 线程池. 线程池Threa

我的第一个python爬虫程序(从百度贴吧自动下载图片)

这个学期开设了编译原理和形式语言与自动机,里面都有介绍过正则表达式,今天自己学了学用python正则表达式写爬虫 一.网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字. 把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛. 网络蜘蛛是通过网页的链接地址来寻找网页的. 从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址, 然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止. 如果把整个互联网当成

【幻化万千戏红尘】qianfengDay27-HttpURLConnection,OkHttpClient,,多线程下载且断点续传基础学习：

课程回顾: Servlet:java语言开发的运行在服务器上的开发步骤:1.创建Servlet类2.重写doGet或doPost方法3.运行在服务器 生命周期:1.初始化2.服务3.销毁 URL:统一资源定位符,网址openConnection 今日内容:Http协议:超文本传输协议常用方式:1.HttpURLConnection2.okHttp HttpURLConnection的使用步骤:1.创建URL对象---URL url=new URL("网址");2.获取连接对象--Htt