Python 100天-從新手到大師學習筆記Day61:實戰Tornado-預備知識
3 min readJul 4, 2019
预备知识
并发编程
所谓并发编程就是让程序中有多个部分能够并发或同时执行,并发编程带来的好处不言而喻,其中最为关键的两点是提升了执行效率和改善了用户体验。下面简单阐述一下Python中实现并发编程的三种方式:
- 多线程:Python中通过
threading
模块的Thread
类并辅以Lock
、Condition
、Event
、Semaphore
和Barrier
等类来支持多线程编程。Python解释器通过GIL(全局解释器锁)来防止多个线程同时执行本地字节码,这个锁对于CPython(Python解释器的官方实现)是必须的,因为CPython的内存管理并不是线程安全的。因为GIL的存在,Python的多线程并不能利用CPU的多核特性。 - 多进程:使用多进程可以有效的解决GIL的问题,Python中的
multiprocessing
模块提供了Process
类来实现多进程,其他的辅助类跟threading
模块中的类类似,由于进程间的内存是相互隔离的(操作系统对进程的保护),进程间通信(共享数据)必须使用管道、套接字等方式,这一点从编程的角度来讲是比较麻烦的,为此,Python的multiprocessing
模块提供了一个名为Queue
的类,它基于管道和锁机制提供了多个进程共享的队列。 - 异步编程(异步I/O):所谓异步编程是通过调度程序从任务队列中挑选任务,调度程序以交叉的形式执行这些任务,我们并不能保证任务将以某种顺序去执行,因为执行顺序取决于队列中的一项任务是否愿意将CPU处理时间让位给另一项任务。异步编程通常通过多任务协作处理的方式来实现,由于执行时间和顺序的不确定,因此需要通过钩子函数(回调函数)或者
Future
对象来获取任务执行的结果。目前我们使用的Python 3通过asyncio
模块以及await
和async
关键字(Python 3.5中引入,Python 3.7中正式成为关键字)提供了对异步I/O的支持。
我们对三种方式的使用场景做一个简单的总结。
以下情况需要使用多线程:
- 程序需要维护许多共享的状态(尤其是可变状态),Python中的列表、字典、集合都是线程安全的,所以使用线程而不是进程维护共享状态的代价相对较小。
- 程序会花费大量时间在I/O操作上,没有太多并行计算的需求且不需占用太多的内存。
以下情况需要使用多进程:
- 程序执行计算密集型任务(如:字节码操作、数据处理、科学计算)。
- 程序的输入可以并行的分成块,并且可以将运算结果合并。
- 程序在内存使用方面没有任何限制且不强依赖于I/O操作(如:读写文件、套接字等)。