长按关注《Python学研大本营》,加入读者群,分享更多精彩本文介绍了分布式计算的概念,并使用开源Python库Ray编写可在分布式系统上运行的可扩展代码。
即使是具有多个CPU核心的单处理器计算机(处理器具有一个或多个核心,计算机具有一个或多个处理器),也会给人一种能够同时运行多个任务的错觉。当我们拥有多个处理器时,就可以真正以并行的方式执行计算。
并行计算在现代计算中非常有用,几乎是必需的,目的是实现最大性能。开发者将运行时间较长的计算任务分成较小的块,并将其分配给不同的处理器。这种策略使开发者能够在相同的时间内进行更多的计算。对于构建基于GUI的应用程序,总是需要对系统进行并行设计,以便一个线程可以保持可用状态以更新GUI并响应用户输入。
并行计算和分布式计算的区别在于,对于并行计算,多个处理器位于同一主板上。分布式计算则使用多台计算机同时解决问题。现代分布式系统能够在网络(局域网/广域网)上进行通信。分布式计算的优点在于其价格和可扩展性。如果开发者需要更多的计算能力,那么可以很轻松地添加更多的计算机。
从根本上讲,并行计算和分布式计算的架构非常相似。主要区别在于分布式计算使用的是分布式内存空间,而不是共享内存空间。它具有能够为开发者的应用程序提供统一逻辑(而不是物理)内存空间的软件层,可以帮助开发者将为并行计算编写的代码应用于分布式计算。
在本文中将介绍如何使用开源Python库Ray来帮助开发者进行并行和分布式计算,Ray将Pythonic函数和类转换为分布式设置中的任务和角色。本文将只介绍函数的示例,但是类的概念非常相似。
pip
安装Ray 这将安装支持仪表板+集群启动器的Ray。
pip install 'ray[default]'
如果只想进行最小化安装:
pip install -U ray
接下来执行一个示例,该示例使用concurrent.futures
,并将其与使用ray
执行相同任务的运行进行比较。
import time
import concurrent.futures
Stime = time.perf_counter()
tasks = []
sleepTimes = [0.1, 0.2, 0.1, 0.5, 0.7, 0.9, 0.5,
0.4, 1.5, 1.3, 1.0, 0.3, 0.7, 0.6, 0.3, 0.8]
print(f"Total time of sleep: {sum(sleepTimes)} for {len(sleepTimes)} tasks")
def my_awesome_function(sleepTime=0.1):
time.sleep(sleepTime)
return f"Sleep time {sleepTime}"
all_results = []
with concurrent.futures.ProcessPoolExecutor() as executor:
tasks = [executor.submit(my_awesome_function, sleep)
for sleep in sleepTimes]
for ff in concurrent.futures.as_completed(tasks):
all_results.append(ff.result())
print(f"Finished in {time.perf_counter()-Stime:.2f}")
这将返回:
$ python test_ray.py
Total time of sleep: 9.9 for 16 tasks
Finished in 1.65
这项工作在顺序执行时需要9.9秒完成。由于本文执行的是并行执行,因此在示例中只用了1.65秒就完成了这项工作。请注意,这个时间可能因为不同的计算机而有所不同。
现在使用Ray来完成同样的工作。本文首先使用ray.init()
初始化Ray。然后,装饰器ray.remote
将Python函数转换为可以异步远程执行的函数。它会立即返回N个可以并行执行的函数副本。
import time
import ray
import concurrent.futures
Stime = time.perf_counter()
tasks = []
sleepTimes = [0.1, 0.2, 0.1, 0.5, 0.7, 0.9, 0.5,
0.4, 1.5, 1.3, 1.0, 0.3, 0.7, 0.6, 0.3, 0.8]
print(f"Total time of sleep: {sum(sleepTimes)} for {len(sleepTimes)} tasks")
# 初始化Ray。
ray.init()
@ray.remote #convert to a function that can be executed remotely and asynchronously
def my_awesome_function(sleepTime=0.1):
time.sleep(sleepTime)
return f"Sleep time {sleepTime}"
tasks = []
for sleep in sleepTimes:
tasks.append(my_awesome_function.remote(sleep))
all_results = ray.get(tasks)
print(f"Finished in {time.perf_counter()-Stime:.2f}")
这将返回:
Total time of sleep: 9.9 for 16 tasks
Finished in 3.18
由于存在一些开销,会有一些延迟,但对于大型计算来说,这种延迟可以忽略不计。
Ray可以轻松地用于聚合多个值,这对于构建需要跨多台机器进行计算的大型应用程序非常重要。对于大规模计算,Ray可以将聚合的运行时间从线性改为对数。
接下来看一个示例:
import time
import ray
import numpy as np
Stime = time.perf_counter()
@ray.remote
def create_matrix(size):
return np.random.normal(size=size)
@ray.remote
def multiply_matrices(x, y):
return np.dot(x, y)
@ray.remote
def sum_matrices(x, y):
return np.add(x, y)
m1 = create_matrix.remote([1000, 1000])
m2 = create_matrix.remote([1000, 1000])
m3 = create_matrix.remote([1000, 1000])
m4 = create_matrix.remote([1000, 1000])
m12 = multiply_matrices.remote(m1, m2)
m34 = multiply_matrices.remote(m3, m4)
a12_34 = sum_matrices.remote(m12, m34)
## 结果
MM = ray.get(a12_34)
print(f"Finished in {time.perf_counter()-Stime:.2f}")
在上面的示例中,本文首先创建了四个矩阵,将它们分为两组,对每组中的矩阵进行乘法运算,然后对每组的乘法结果进行求和。在这里,乘法运算是并行进行的,然后将结果聚合以获得求和结果。
【安装Ray】:https://docs.ray.io/en/latest/ray-overview/installation.html
Pierfederici, F. (2016). 《Distributed Computing with Python》. Journal of Physics A: Mathematical and Theoretical (Vol. 44, Issue 8). Packt Publishing Ltd.
《Python分布式机器学习》本书详细阐述了与分布式机器学习相关的基本解决方案,主要包括拆分输入数据、参数服务器和All-Reduce、构建数据并行训练和服务管道、瓶颈和解决方案、拆分模型、管道输入和层拆分、实现模型并行训练和服务工作流程、实现更高的吞吐量和更低的延迟、数据并行和模型并行的混合、联合学习和边缘设备、弹性模型训练和服务、进一步加速的高级技术等内容。此外,本书还提供了相应的示例、代码,以帮助读者进一步理解相关方案的实现过程。
本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学用书和参考手册。
【半价促销中】购买链接:https://item.jd.com/13968572.html
精彩回顾
长按关注《Python学研大本营》,加入读者群,分享更多精彩长按访问【IT今日热榜】,发现每日技术热点