使用Ray轻松进行Python分布式计算

本文介绍了分布式计算的概念,并使用开源Python库Ray编写可在分布式系统上运行的可扩展代码。

长按关注《Python学研大本营》,加入读者群,分享更多精彩

即使是具有多个CPU核心的单处理器计算机(处理器具有一个或多个核心,计算机具有一个或多个处理器),也会给人一种能够同时运行多个任务的错觉。当我们拥有多个处理器时,就可以真正以并行的方式执行计算。

一、并行计算与分布式计算的区别

并行计算在现代计算中非常有用,几乎是必需的,目的是实现最大性能。开发者将运行时间较长的计算任务分成较小的块,并将其分配给不同的处理器。这种策略使开发者能够在相同的时间内进行更多的计算。对于构建基于GUI的应用程序,总是需要对系统进行并行设计,以便一个线程可以保持可用状态以更新GUI并响应用户输入。

并行计算和分布式计算的区别在于,对于并行计算,多个处理器位于同一主板上。分布式计算则使用多台计算机同时解决问题。现代分布式系统能够在网络(局域网/广域网)上进行通信。分布式计算的优点在于其价格和可扩展性。如果开发者需要更多的计算能力,那么可以很轻松地添加更多的计算机。

从根本上讲,并行计算和分布式计算的架构非常相似。主要区别在于分布式计算使用的是分布式内存空间,而不是共享内存空间。它具有能够为开发者的应用程序提供统一逻辑(而不是物理)内存空间的软件层,可以帮助开发者将为并行计算编写的代码应用于分布式计算。

在本文中将介绍如何使用开源Python库Ray来帮助开发者进行并行和分布式计算,Ray将Pythonic函数和类转换为分布式设置中的任务和角色。本文将只介绍函数的示例,但是类的概念非常相似。

二、使用pip安装Ray

这将安装支持仪表板+集群启动器的Ray。

pip install 'ray[default]'

如果只想进行最小化安装:

pip install -U ray

三、使用Ray进行并行计算任务

接下来执行一个示例,该示例使用concurrent.futures,并将其与使用ray执行相同任务的运行进行比较。

import time
import concurrent.futures


Stime = time.perf_counter()
tasks = []
sleepTimes = [0.10.20.10.50.70.90.5,
              0.41.51.31.00.30.70.60.30.8]
print(f"Total time of sleep: {sum(sleepTimes)} for {len(sleepTimes)} tasks")

def my_awesome_function(sleepTime=0.1):
    time.sleep(sleepTime)
    return f"Sleep time {sleepTime}"

all_results = []
with concurrent.futures.ProcessPoolExecutor() as executor:
    tasks = [executor.submit(my_awesome_function, sleep)
             for sleep in sleepTimes]

    for ff in concurrent.futures.as_completed(tasks):
        all_results.append(ff.result())


print(f"Finished in {time.perf_counter()-Stime:.2f}")

这将返回:

$ python test_ray.py 
Total time of sleep: 9.9 for 16 tasks 
Finished in 1.65

这项工作在顺序执行时需要9.9秒完成。由于本文执行的是并行执行,因此在示例中只用了1.65秒就完成了这项工作。请注意,这个时间可能因为不同的计算机而有所不同。

现在使用Ray来完成同样的工作。本文首先使用ray.init()初始化Ray。然后,装饰器ray.remote将Python函数转换为可以异步远程执行的函数。它会立即返回N个可以并行执行的函数副本。

import time
import ray

import concurrent.futures


Stime = time.perf_counter()
tasks = []
sleepTimes = [0.10.20.10.50.70.90.5,
              0.41.51.31.00.30.70.60.30.8]
print(f"Total time of sleep: {sum(sleepTimes)} for {len(sleepTimes)} tasks")

# 初始化Ray。
ray.init()

@ray.remote #convert to a function that can be executed remotely and asynchronously
def my_awesome_function(sleepTime=0.1):
    time.sleep(sleepTime)
    return f"Sleep time {sleepTime}"

tasks = []
for sleep in sleepTimes:
    tasks.append(my_awesome_function.remote(sleep))

all_results = ray.get(tasks)
print(f"Finished in {time.perf_counter()-Stime:.2f}")

这将返回:

Total time of sleep: 9.9 for 16 tasks 
Finished in 3.18

由于存在一些开销,会有一些延迟,但对于大型计算来说,这种延迟可以忽略不计。

四、大规模计算的聚合值

Ray可以轻松地用于聚合多个值,这对于构建需要跨多台机器进行计算的大型应用程序非常重要。对于大规模计算,Ray可以将聚合的运行时间从线性改为对数。

接下来看一个示例:

import time
import ray
import numpy as np

Stime = time.perf_counter()

@ray.remote
def create_matrix(size):
    return np.random.normal(size=size)

@ray.remote
def multiply_matrices(x, y):
    return np.dot(x, y)

@ray.remote
def sum_matrices(x, y):
    return np.add(x, y)

m1 = create_matrix.remote([10001000])
m2 = create_matrix.remote([10001000])
m3 = create_matrix.remote([10001000])
m4 = create_matrix.remote([10001000])

m12 = multiply_matrices.remote(m1, m2)
m34 = multiply_matrices.remote(m3, m4)

a12_34 =  sum_matrices.remote(m12, m34)

## 结果
MM = ray.get(a12_34)


print(f"Finished in {time.perf_counter()-Stime:.2f}")

在上面的示例中,本文首先创建了四个矩阵,将它们分为两组,对每组中的矩阵进行乘法运算,然后对每组的乘法结果进行求和。在这里,乘法运算是并行进行的,然后将结果聚合以获得求和结果。

参考资料

  1. 【安装Ray】:https://docs.ray.io/en/latest/ray-overview/installation.html

  2. Pierfederici, F. (2016). 《Distributed Computing with Python》. Journal of Physics A: Mathematical and Theoretical (Vol. 44, Issue 8). Packt Publishing Ltd.

推荐书单

《Python分布式机器学习》

《Python分布式机器学习》本书详细阐述了与分布式机器学习相关的基本解决方案,主要包括拆分输入数据、参数服务器和All-Reduce、构建数据并行训练和服务管道、瓶颈和解决方案、拆分模型、管道输入和层拆分、实现模型并行训练和服务工作流程、实现更高的吞吐量和更低的延迟、数据并行和模型并行的混合、联合学习和边缘设备、弹性模型训练和服务、进一步加速的高级技术等内容。此外,本书还提供了相应的示例、代码,以帮助读者进一步理解相关方案的实现过程。

本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学用书和参考手册。

【半价促销中】购买链接:https://item.jd.com/13968572.html

精彩回顾

《使用Python类型提示,保持代码整洁,提高可读性》

《10个提高Web开发效率的VS Code插件》

《5个实用的Python编程小技巧》

《10个容易被忽视的FastAPI实用功能》

《10个必知必会的VSCode实用快捷键》

《10个提高VS Code工作效率的技巧》

长按关注《Python学研大本营》,加入读者群,分享更多精彩长按访问【IT今日热榜】,发现每日技术热点

相关推荐

  • 【ICCV2023】无需回放的持续学习:生成实例级提示
  • AI 人像生成再度进化!
  • 为什么我不使用 Next.js?
  • 不到 600 行代码实现了《愤怒的小鸟》翻版,GPT-4+DALL·E 3+Midjourney 撼动游戏圈!
  • 天府月报:天府科创投设立一只早期基金;国家级重点项目最高支持500万
  • 一级市场最活跃的群就是副业群
  • 新项目来咯!
  • 英伟达终于发布自家大语言模型,专攻辅助芯片设计
  • 复杂任务也不怕!上海AI Lab提出增强型LLM框架—ControlLLM,大模型可操控多模态工具
  • 吴恩达怒斥AI阴谋、Hinton自证清白!Lecun掀起图灵奖大战、哈萨比斯进行回怼!美国AI顶流圈乱象纪实…
  • PyTorch 2.1 正式发布,带来自动动态 Shape 支持和分布式训练增强
  • Meta 的无服务器平台是如何做到每天处理数万亿次函数调用的
  • 从互联网到云计算再到 AI 原生,百度智能云数据库的演进 | Q推荐
  • AIGC 是亏钱货?网易杭研是如何抓住大模型价值的
  • OpenAI 刚刚又杀死了一批初创公司
  • 这是我见过最强的Java版内网穿透神器!
  • 一行代码搞定禁用web开发者工具
  • “液态金属”材料亮相,科学方法沙漠取水,这届WE大会很赛博朋克
  • vivo自研大模型/操作系统齐面世!蓝心大模型加持最新OriginOS4
  • OpenAI潜入黑客群聊!盗用ChatGPT被换成“喵喵GPT”,网友:绝对的传奇