python库构建之pyproject.toml

Python资料网推荐python库构建之pyproject.toml这篇文章给大家，欢迎收藏Python资料网享受知识的乐趣

pyproject.toml 是一个配置文件，用于定义 Python 项目的构建系统和相关的元数据。它是 Python 社区为了解决项目构建和依赖管理问题而引入的一种标准化方式，最初由 PEP 518 提出。pyproject.toml 文件被广泛使用，尤其是在构建工具（如 Poetry 和 Flit）中，用来替代传统的 setup.cfg 文件。

主要用途

1. 定义构建系统：

   • pyproject.toml 文件中可以指定构建工具及其版本，如 setuptools 或 poetry，以及这些工具所需的依赖项。这使得项目的构建环境更加可控和可重复。

2. 项目元数据：

   • 包括项目的名称、版本、描述、作者、许可证等信息，可以在 pyproject.toml 文件中定义。这些信息可以被构建工具或包管理工具读取和使用。

3. 依赖管理：

   • 该文件可以管理项目的依赖关系，包括运行时依赖、开发时依赖等，类似于 requirements.txt，但更加结构化和灵活。

4. 配置构建工具的行为：

   • 对于不同的构建工具，如 setuptools、poetry、black、isort 等，可以在 pyproject.toml 中配置其行为。

文件结构

一个典型的 pyproject.toml 文件由几个部分组成，每个部分对应不同的功能和配置信息。以下是LlamaFactory示例：

[build-system]
requires = ["setuptools>=61.0"]
build-backend = "setuptools.build_meta"

[tool.ruff]
target-version = "py38"
line-length = 119
indent-width = 4

[tool.ruff.lint]
ignore = ["C408", "C901", "E501", "E731", "E741", "W605"]
select = ["C", "E", "F", "I", "W"]

[tool.ruff.lint.isort]
lines-after-imports = 2
known-first-party = ["llamafactory"]
known-third-party = [
    "accelerate",
    "datasets",
    "gradio",
    "numpy",
    "peft",
    "torch",
    "transformers",
    "trl"
]

[tool.ruff.format]
quote-style = "double"
indent-style = "space"
docstring-code-format = true
skip-magic-trailing-comma = false
line-ending = "auto"

这个 pyproject.toml 文件配置了项目的构建系统以及使用 ruff 进行代码检查和格式化的相关设置。以下是各部分的详细解释：

1. [build-system]

• requires: 指定了项目的构建系统依赖项。这里要求使用 setuptools 版本 61.0 或更高版本。这意味着在构建这个项目时，Python 环境中必须安装 setuptools，且版本不低于 61.0。

• build-backend: 指定了用于构建项目的后端工具，这里使用的是 setuptools.build_meta。这意味着 setuptools 将作为构建过程的核心工具。

2. [tool.ruff]

• target-version: 指定了代码的目标 Python 版本，这里是 Python 3.8 (py38)。ruff 将根据这个版本进行相应的检查和优化。

• line-length: 指定了代码行的最大长度，超过这个长度会被视为格式错误。这里设置为 119 个字符。

• indent-width: 指定代码缩进的宽度，这里设置为 4 个空格。

3. [tool.ruff.lint]

• ignore: 指定了一些要忽略的规则或错误代码。列出的错误代码将不会在代码检查时触发。

• select: 指定了要检查的错误或警告类别。只有属于这些类别的检查才会被启用。

4. [tool.ruff.lint.isort]

• lines-after-imports: 指定在导入语句之后应保留的空行数，这里设置为 2 行。

• known-first-party: 列出了项目中的第一方模块，即 llamafactory，用于在导入排序时识别项目内部的模块。

• known-third-party: 列出了已知的第三方库，这些库将在导入排序时与其他模块区分开来。

5. [tool.ruff.format]

• quote-style: 指定字符串使用的引号样式，这里设置为 double，即双引号。

• indent-style: 指定缩进风格，这里使用 space（空格）而非 tab。

• docstring-code-format: 设置为 true，表示在文档字符串（docstring）中也会应用代码格式化规则。

• skip-magic-trailing-comma: 设置为 false，意味着即使添加魔术尾逗号（magic trailing comma），也不会跳过格式化。

• line-ending: 设置为 auto，表示根据操作系统的默认设置自动选择行结尾符。

小结

这个 pyproject.toml 文件主要配置了项目的构建系统，并详细定义了 ruff 工具用于代码风格检查和格式化的规则。这些设置帮助确保代码的一致性和质量，减少错误，并遵循团队的编码规范。

工作流程

在执行 pip install . 时，pyproject.toml 文件会在构建和安装 Python 项目的过程中被引用。具体流程如下：

1. 识别 pyproject.toml 文件

• 当你在项目的根目录执行 pip install . 命令时，pip 会首先检查该目录下是否存在 pyproject.toml 文件。
• 如果存在这个文件，pip 会将其视为该项目的构建配置文件，并按照其中的内容来指导接下来的构建过程。

2. 解析 build-system 部分

• pip 首先读取 pyproject.toml 文件中的 [build-system] 部分。这一部分定义了构建项目所需的依赖项以及构建后端（即构建工具）。
  • requires: 列出了构建这个项目所需的 Python 包。在执行 pip install . 时，pip 会确保这些包已经安装。如果这些包没有安装，pip 会首先安装这些依赖。
  • build-backend: 指定构建项目所使用的后端工具，比如 setuptools.build_meta 或 poetry.core.masonry.api。pip 会调用这个工具来构建项目。

3. 构建源分发包（SDist）和/或轮子包（Wheel）

• 一旦 pip 安装了构建所需的依赖并加载了构建后端，构建后端会被调用来生成源分发包（SDist）和/或轮子包（Wheel）。
  • 如果使用 setuptools.build_meta，它会读取项目的 setup.py 或 setup.cfg 文件来指导包的构建。
  • 这些构建输出会保存在临时目录中，用于接下来的安装步骤。

4. 安装项目

• pip 使用生成的包（SDist 或 Wheel）安装项目到目标环境中（通常是当前 Python 环境）。
• 如果项目依赖其他包，pip 会从 pyproject.toml 或 setup.py 中的 install_requires 列表中识别并安装这些依赖。

5. 其他工具配置

• pyproject.toml 中的其他部分，如 [tool.ruff]，可能会被相应的工具在构建或开发过程中引用。虽然这些部分不会直接影响 pip install . 的过程，但它们在开发环境中依然重要。

简化的执行流程

1. pip 检查并加载 pyproject.toml 文件。
2. 解析 build-system，安装构建所需的依赖。
3. 使用指定的构建后端构建项目（生成 SDist 和/或 Wheel）。
4. 安装生成的包及其依赖。

总结

pyproject.toml 文件在 pip install . 的过程中会被 pip 引用，以确定如何构建和安装项目。pip 主要使用其中的 [build-system] 部分来加载构建工具和依赖，然后调用这些工具生成项目的分发包，并最终将其安装到当前环境中。

版权声明：本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：jacktools123@163.com进行投诉反馈，一经查实，立即删除！