知源笔记

Python 项目管理工具盘点

无忌 发表于
  • pip
  • virtualenv/ venv
  • Poetry
  • PDM
  • Pipenv
  • Conda
  • uv
  • setuptools
  • Hatch
  • Rye

代码项目管理包含多个方面，如依赖管理、虚拟环境管理、项目构建、打包和发布等。Java 项目通常使用 Maven 或 Gradle，Node.js 项目则常用 npm 或 yarn。对于 Python 项目，有多种工具可供选择。最近，我打算以 Python 代码为主开发一些开源项目，首先面临的问题是选择何种工具进行项目管理。在 AI 的辅助下，我调研了当前主流的 Python 项目管理工具，并最终选择了 PDM。你选择了哪个工具呢？

相关概念：

  • requirements.txt：传统上用于列出项目依赖的文件。它简单直接，但缺乏依赖锁定和解析冲突的能力。
  • Pipfile / Pipfile.lock: Pipenv 使用的依赖管理文件，提供了更好的依赖锁定和可复现性。
  • pyproject.toml: PEP 518 引入的配置文件，旨在成为 Python 项目的通用配置入口，可以用于配置构建系统、依赖、工具等。Poetry、PDM、Hatch 和 uv 都广泛使用此文件。

pip

pip 是 Python 的官方包安装程序，用于从 Python Package Index (PyPI) 或其他索引安装和管理 Python 包。它通常与 Python 一起安装。

优势：

  • 标准和普及：几乎所有 Python 用户都熟悉并使用 pip。
  • 简单易用：安装包的命令非常直接 (pip install package_name)。
  • 广泛的包支持：PyPI 上有海量的 Python 包可供安装。

不足：

  • 仅限包安装：pip 主要用于包的安装和卸载，不直接管理虚拟环境，也不处理项目依赖的锁定和解析冲突。
  • 依赖冲突：在复杂的项目中，pip 可能会遇到依赖冲突问题，因为它默认不会锁定所有依赖的版本。
  • 环境隔离：需要配合 virtualenv 或 venv 来实现环境隔离。

virtualenv/ venv

virtualenv 和 venv (Python 3.3+ 内置) 是用于创建独立 Python 环境的工具。它们允许每个项目拥有自己的依赖集合，而不会干扰系统级的 Python 安装或其他项目。

优势：

  • 环境隔离：有效避免不同项目之间的依赖冲突。
  • 轻量级：venv 是 Python 内置模块，无需额外安装。
  • 易于使用：创建和激活虚拟环境的命令简单明了。

不足：

  • 手动管理：需要手动创建、激活和管理虚拟环境，并配合 pip 来安装包。
  • 依赖锁定：不提供内置的依赖锁定机制，需要手动生成 requirements.txt 文件。

Poetry

Poetry 是一个集依赖管理、打包和发布于一体的 Python 工具。它旨在提供一个更统一、更友好的项目管理体验，通过 pyproject.toml 文件来声明项目依赖和元数据。

优势：

  • 一体化解决方案：整合了依赖管理、虚拟环境管理、构建和发布功能。
  • 确定性依赖：使用 poetry.lock 文件锁定所有依赖的精确版本，确保项目在不同环境中的可复现性。
  • 友好的 CLI: 提供直观的命令行界面，简化了项目初始化、依赖添加、脚本运行等操作。
  • PEP 517/518 支持：遵循最新的 Python 打包标准。
  • 虚拟环境自动管理：自动创建和管理项目独立的虚拟环境。

不足：

  • 学习曲线：对于习惯了 pip 和 virtualenv 的用户来说，需要一定的学习成本来适应其工作流。
  • 生态系统相对较新：尽管发展迅速，但与 pip 相比，其生态系统和社区规模相对较小。
  • 性能：在某些情况下，其依赖解析速度可能不如一些新兴工具 (如 uv)。

PDM

PDM (Python Development Master) 是另一个现代的 Python 包管理工具，它也使用 pyproject.toml 来管理项目，并支持 PEP 582 (Python 包安装到 __pypackages__ 目录) 提案，旨在提供一个更轻量级、更快速的依赖管理方案。

优势：

  • PEP 582 支持：允许将包安装到项目根目录下的 __pypackages__ 目录，无需激活虚拟环境即可运行项目，简化了开发流程。
  • 快速：依赖解析和安装速度通常比 Poetry 更快。
  • 兼容性：兼容 pip 和 setuptools。
  • 灵活的虚拟环境管理：支持多种虚拟环境管理方式，包括 PEP 582、venv 和 conda。
  • 插件系统：提供了丰富的插件，可以扩展其功能。

不足：

  • PEP 582 仍是提案：尽管 PDM 实现了 PEP 582，但该提案尚未被 Python 官方完全接受，这可能导致一些兼容性问题或未来不确定性。
  • 社区规模：相对 Poetry 而言，社区规模和用户基数较小。
  • 文档和教程：相比 Poetry，相关的文档和教程可能较少。

Pipenv

Pipenv 是 Python 官方推荐的包管理工具，旨在结合 pip 和 virtualenv 的优点，提供一个更简单、更可靠的 Python 项目工作流。它使用 Pipfile 和 Pipfile.lock 来管理项目依赖。

优势：

  • 简化工作流：将虚拟环境管理和包管理集成到一个工具中，简化了开发流程。
  • 确定性构建：Pipfile.lock 文件确保了项目在不同环境中的可复现性。
  • 自动创建虚拟环境：自动为项目创建和管理虚拟环境。
  • 官方推荐：曾被 Python 官方推荐为应用程序依赖管理工具。

不足：

  • 性能问题：在某些情况下，其依赖解析和安装速度可能较慢。
  • 维护问题：早期版本存在一些维护和稳定性问题，尽管后来有所改善，但仍有用户对其稳定性持保留态度。
  • 功能相对单一：相比 Poetry 和 PDM，Pipenv 主要侧重于依赖管理和虚拟环境，不包含构建和发布功能。

Conda

Conda 是一个开源的包管理系统和环境管理系统，不仅限于 Python，还可以管理其他语言 (如 R、Julia) 的包和环境。它特别受到数据科学和机器学习社区的欢迎。

优势：

  • 跨语言支持：可以管理 Python、R、Julia 等多种语言的包和环境。
  • 二进制包管理：可以直接安装预编译的二进制包，避免了编译过程中的依赖问题，尤其适用于包含 C/C++ 扩展的科学计算库。
  • 环境隔离：强大的环境管理功能，可以轻松创建、切换和共享不同的环境。
  • 版本管理：可以管理不同版本的 Python 本身。

不足：

  • 生态系统独立：Conda 有自己的包仓库 (Anaconda/Conda-forge)，与 PyPI 生态系统相对独立，有时需要桥接 pip 来安装 PyPI 上的包。
  • 安装包体积大：Anaconda 发行版通常包含大量预装包，体积较大。
  • 学习曲线：对于不熟悉 Conda 生态系统的用户来说，需要一定的学习成本。

uv

uv 是一个用 Rust 编写的极速 Python 包安装器和解析器，旨在作为 pip 和 pip-tools 工作流的替代品。它由 ruff 的创建者开发，目标是提供比现有工具快 10-100 倍的性能。

优势：

  • 极速性能：依赖解析和包安装速度非常快，是其最大的亮点。
  • 兼容性：旨在与 pip 和 pip-tools 的工作流兼容，可以作为它们的直接替代品。
  • 一体化：计划集成虚拟环境管理、包安装、依赖解析等功能，甚至可以管理 Python 版本。
  • Rust 编写：利用 Rust 的性能优势，提供了卓越的速度和内存效率。

不足：

  • 新兴工具：相对较新，生态系统和社区仍在发展中，可能存在一些不稳定性或未完善的功能。
  • 功能仍在完善：尽管目标是成为一体化工具，但目前某些功能可能仍在开发中。
  • 对 PyPI 的依赖：主要依赖 PyPI 作为包源，对于需要 Conda 特性的用户可能不适用。

setuptools

setuptools 是 Python 项目的构建系统，用于定义、打包和分发 Python 项目。它允许开发者创建可安装的包 (如 .whl 或 .tar.gz 文件)，并处理项目的元数据和依赖关系。

优势：

  • 行业标准：广泛应用于 Python 项目的打包和分发。
  • 功能强大：支持复杂的项目结构、入口点、数据文件等。
  • 与 PyPI 集成：方便将项目发布到 PyPI。

不足：

  • 配置复杂：对于简单的项目，其配置 (通常在 setup.py 或 pyproject.toml 中) 可能显得有些复杂。
  • 不直接管理依赖：setuptools 主要用于构建和打包，不直接管理运行时依赖的安装和锁定，通常需要配合 pip 或其他工具使用。

Hatch

Hatch 是一个现代的 Python 项目管理工具，旨在提供一个统一的、可扩展的平台，用于管理项目、依赖、虚拟环境、构建和发布。它也使用 pyproject.toml 进行配置。

优势：

  • 一体化：涵盖了项目生命周期的多个方面，包括环境管理、依赖管理、构建、测试和发布。
  • 插件化架构：提供了高度可定制的插件系统，允许用户根据需求扩展功能。
  • 友好的用户体验：致力于提供简洁直观的命令行界面。
  • 支持多种环境类型：可以管理 venv、conda 等多种环境。

不足：

  • 相对较新：作为一个相对较新的工具，其社区规模和成熟度可能不如 Poetry。
  • 学习曲线：功能丰富也意味着需要一定的学习成本。

Rye

Rye 是一个实验性的 Python 项目管理工具，由 Rust 编写，旨在提供一个更快速、更可靠的 Python 开发环境。它试图统一 Python 版本管理、虚拟环境和包管理。

优势：

  • 高性能：利用 Rust 的优势，提供极快的操作速度。
  • 一体化：旨在成为一个全面的工具，管理 Python 版本、虚拟环境和包。
  • 简化工作流：目标是提供一个更简单、更一致的开发体验。

不足：

  • 非常新：仍处于早期开发阶段，不适合生产环境使用。
  • 社区和生态系统不成熟：社区规模小，功能和稳定性仍在快速迭代中。