首页 > Python资料 博客日记
【Python】通过Cython提升性能
2024-07-18 16:30:02Python资料围观97次
一、什么是Cython,
如果你了解Python,就会知道Python相比于其他语言,性能差了不是一点半点。但是Python的底层实现大量使用了C语言,可以与C语言很好的结合。并且在Python中由于GIL全局解释器锁的机制,导致python在实现CPU密集型操作时非常吃力。Cython是Python的一个扩展,用于将Python代码编译为C代码,并且可以完美的避开GIL机制,,从而显著提升性能。
二、调用.C文件
1、安装cython
pip install cython
2、编写.h头文件和.c文件
int sub(int n);//sub.h
编写C语言文件sub.c
#include "sub.h"
int sub(int n) {
return n*(n+1)/2;
}
3、编写sub.pyx文件
cdef extern from "sub.h":
int sub(int n)
def sub_with_c(n):
return sub(n)
4、编写setup.py文件
from distutils.core import setup,Extension
from Cython.Build import cythonize
ext = Extension(name="wrapper_sub",sources=["sub.pyx","c/sub.c"],language_level=3,)
setup(ext_modules=cythonize(ext))
5、运行setup.py文件
python setup.py build
会生成一个sub.c文件和build目录以及wrapper_sub.cpython-39-darwin.so文件就是我们需要的共享模块。其余的可以删除。
6、调用共享模块
import wrapper_sub
if __name__ == '__main__':
print(wrapper_sub.sub_with_c(100))
通过调用C编译后的文件可以极大的提高运行速度,并且可以避免GIL全局解释器锁的影响。
三、将Python代码编译为C共享模块
1、编写ArrarySort.pyx文件
这里实际上就是编写Python代码,将py后缀改为pyx
def arr_list(arr:list):
arr.sort()
return arr
2、编写setup.py脚本
from distutils.core import setup
from Cython.Build import cythonize
setup(ext_modules=cythonize("ArrarySort.pyx",language=3))
3、运行setup脚本
python setup.py build_ext --inplace
生成ArrarySort.cpython-39-darwin.so文件,其余文件可以删除。
4、调用共享模块
import ArrarySort
a= ArrarySort.arr_list([12,2134,2345,12,2])
print(a)
四、手动编写Cython
Cython本身有一套自己的写法规则,类似Python和C语言。可以直接编写pyx文件,将pyx编译为C代码,gcc编译器编译为共享模块(这一步可以不需要手动操作,distutils 自动处理)。
手动操作的话指令
gcc -shared -fPIC -I/python3.9 -o bubble_sort.so bubble_sort.c
1、编写pyx文件
这里使用Cython自身的语法规则,不需要使用C或Python进行其他的操作
def bubble_sort(arr):
cdef int n = len(arr)
cdef int i, j
cdef int temp
for i in range(n):
for j in range(0, n-i-1):
if arr[j] > arr[j+1]:
temp = arr[j]
arr[j] = arr[j+1]
arr[j+1] = temp
2、编写setup.py脚本
from distutils.core import setup
from Cython.Build import cythonize
setup(
ext_modules = cythonize("arrary_sort.pyx")
)
3、运行setup.py脚本
python setup.py build_ext --inplace
会在当前目录中生成一个与 bubble_sort 相对应的 C 文件,并编译生成一个共享对象文件(在 Linux 上是 .so 文件,在 Windows 上是 .pyd 文件)。这时候我们只需要共享文件即可。
4、在Python中调用共享模块
import arrary_sort
arr = [1,3,2,4,3,5,6,2,6,7,3]
arrary_sort.bubble_sort(arr)
print(arr)
五、总结
Cython是一种工具,可以让Python程序跑得更快。它通过将Python代码转换成C语言代码并进行编译,大大提升了程序的执行效率。使用Cython,你可以在Python代码中直接书写C语言的类型声明,这样不仅减少了解释器的开销,还能更高效地执行计算密集型任务。此外,Cython还能直接调用C语言的函数和数据类型,使得Python程序可以利用C语言的高性能。这种方法特别适合需要处理大量计算任务的场景,比如科学计算、数据分析和机器学习。同时,Cython保留了Python的简洁易用,开发者可以逐步优化代码,不需要一次性重写整个项目。这样,既能享受Python的开发便利,又能获得接近C语言的执行效率。
标签:
相关文章
最新发布
- 【Python】selenium安装+Microsoft Edge驱动器下载配置流程
- Python 中自动打开网页并点击[自动化脚本],Selenium
- Anaconda基础使用
- 【Python】成功解决 TypeError: ‘<‘ not supported between instances of ‘str’ and ‘int’
- manim边学边做--三维的点和线
- CPython是最常用的Python解释器之一,也是Python官方实现。它是用C语言编写的,旨在提供一个高效且易于使用的Python解释器。
- Anaconda安装配置Jupyter(2024最新版)
- Python中读取Excel最快的几种方法!
- Python某城市美食商家爬虫数据可视化分析和推荐查询系统毕业设计论文开题报告
- 如何使用 Python 批量检测和转换 JSONL 文件编码为 UTF-8
点击排行
- 版本匹配指南:Numpy版本和Python版本的对应关系
- 版本匹配指南:PyTorch版本、torchvision 版本和Python版本的对应关系
- Python 可视化 web 神器:streamlit、Gradio、dash、nicegui;低代码 Python Web 框架:PyWebIO
- 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
- Anaconda版本和Python版本对应关系(持续更新...)
- Python与PyTorch的版本对应
- Windows上安装 Python 环境并配置环境变量 (超详细教程)
- Python pyinstaller打包exe最完整教程