首页 > Python资料 博客日记
Python311新特性-特化指令specializing adaptive interpreter-typing-asyncio
2024-11-03 11:00:04Python资料围观40次
Python3新特性
python3.11增加了许多特性,让python更快更加安全,本文从应用层面来讲一下python3.11的这些新特性
特化自适应解析器是什么,如何利用特化写出更高性能的代码
如何在项目中落地type hint写出健壮的代码,有那些注意事项
asyncio的概念及应用场景
Faster Python 3.11
Faster
- Zero cost exception(if not thrown)
- 10% faster re & atomic grouping, possessive qualifiers
- 10-15% faster startup
- Faster function calls
- C-style formatting sometimes as fast as f-string
- Less memory for string keys in dicts
- Specialized adaptive interpreter
- And more!
Future
- Major focus for the next several releases
- Simple JIT planned eventually
- The main driver behind C API changes
Specializing(特化)
当一个函数被执行的次数足够多(>53)就会被特化,被特化的指令叫hot code。(次数需要看对应不同版本cpython源码)
源码:Python/specialize.c -> _PyCode_Warmup
特化流程:
原始指令 —— 中间状态(名称中含ADAPTIVE) —— 特化后的指令(非常快)
碰到问题
同样的代码在命令行中可以被特化,而放一个.py文件中,再通过dis.dis(module.func,adaptive=True)就无法被特化
示例函数代码如下:
>>> def f(x):
... return x*x
... for i in range(100):
... f(i)
解释:乘法的opcode为BINARY_OP,在这个例子中我们传的是int当被特化后会变成BINARY_OP_MULTIPLY_INT,因为python弱类型,确定的类型可以极大提高速度,建议去看cpython的实现源码加深理解。
把上面代码放在.py文件中,发现无法进行特化
>>> dis.dis(adaptiveTest.f,adaptive=True)
10 RESUME 0
11 LOAD_FAST 0 (x)
LOAD_CONST 1 (2)
BINARY_OP 5 (*)
RETURN_VALUE
最终找到原因:我在vscode自带的终端import之后,在运行时修改了py代码,没有重新reload,导致没有加载最新的代码(py3的reload和py2有区别)。
另一个方法就是:重新打开windows的cmd中并执行一遍
还有一种方法就是:稍稍调整一下代码,把dis加到.py中,然后运行python文件也可以看到函数被特化
import dis
def foo(x):
return x*x
for i in range(100):
foo(i)
dis.dis(foo,adaptive=True)
#在python中调用dis打印出字节码
LOAD_ATTR(getattr)特化
self.xx 本质就是getattr,对应的opcode为 LOAD_ATTR,在python3中默认可以被特化,例如:
-
继承object的原生Python类可以特化
-
继承后object重写
__getattr__
的Python 类无法特化 -
C 扩展 Python 类无法特化
为什么后面2种不能完成特化?
class B(object):
def __getattr__(self, name):#重写__getattr__
return super(B, self).__getattr__(name)
b = B()
b.x = 1
def mytest(n):
for i in range(n):
b.x #无法被特化
因为:cpython中特化前判断是否为原始的getattr函数,见:Python\specialize.c
如何让C扩展python类可以特化?
重点讲解:2种实现方法
- 在c扩展类中增加cache保存下标
- 修改虚拟机的实现,传入下标
如何检查代码是否被特化?
可视化特化工具,github:https://github.com/brandtbucher/specialist
运行代码并生成(网页)报表,那么如何纳入到项目中进行可视化呢?因为游戏项目依赖于引擎API,需要跑在游戏引擎之上,不同于纯python环境
Typing check(type hint)
base vscode Pylance
Type Ignore
pyrightconfig.json 兼容py2的文件,忽略整个文件
overload
配合vscode的pylance特性来做代码检查
当函数传参个数不符合要求时,在IDE中进行报错提示
Stub Files
和py同名的文件格式为.pyi,语法也一样,在这里写type hint,提供给IDE使用,运行时无关
AsyncIO
What is it?
Keywords pair(async / await)
So what?
What is it?
Asyncio is used as a foundation for multiple Python asynchronous frameworks that
provide high-performance network and web-servers, database connection libraries,
distributed task queues, etc.
Asyncio is often a perfect fit for IO-bound and high-level structured network code.
简单的例子发挥不出作用
import asyncio
async def foo():
await asyncio.sleep(1)
print ('foo')
event_loop = asyncio.get_event_loop()
event_loop.run_until_complete(foo())
上面这个简单的asyncio的例子和下面这段代码作用一样,无法体现出asyncio的作用
def foo():
time.sleep(1)
print('foo')
foo()
适合用在那些地方?
Patch
- Simultaneously download multiple block of patch
Distributed Task Framework
- Multi-Process Management through ProcessPoolExecutor
- Export-table-tools
- Texture Compressor
- build packer
感兴趣的可以搜索ProcessPoolExecutor去了解
UVLoop
uvloop用来替换asyncio的event loop更高效,底层使用libuv通过cython实现,比原生的asyncio快2~4倍,有线上项目已验证过其稳定性
开源地址:https://github.com/MagicStack/uvloop
简单几行就可以替换asyncio的event loop
import asyncio
import sys
import uvloop
async def main():
# Main entry-point.
...
if sys.version_info >= (3, 11):
with asyncio.Runner(loop_factory=uvloop.new_event_loop) as runner:
runner.run(main())
else:
uvloop.install()
asyncio.run(main())
标签:
相关文章
最新发布
- 【Python】selenium安装+Microsoft Edge驱动器下载配置流程
- Python 中自动打开网页并点击[自动化脚本],Selenium
- Anaconda基础使用
- 【Python】成功解决 TypeError: ‘<‘ not supported between instances of ‘str’ and ‘int’
- manim边学边做--三维的点和线
- CPython是最常用的Python解释器之一,也是Python官方实现。它是用C语言编写的,旨在提供一个高效且易于使用的Python解释器。
- Anaconda安装配置Jupyter(2024最新版)
- Python中读取Excel最快的几种方法!
- Python某城市美食商家爬虫数据可视化分析和推荐查询系统毕业设计论文开题报告
- 如何使用 Python 批量检测和转换 JSONL 文件编码为 UTF-8
点击排行
- 版本匹配指南:Numpy版本和Python版本的对应关系
- 版本匹配指南:PyTorch版本、torchvision 版本和Python版本的对应关系
- Python 可视化 web 神器:streamlit、Gradio、dash、nicegui;低代码 Python Web 框架:PyWebIO
- 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
- Python与PyTorch的版本对应
- Anaconda版本和Python版本对应关系(持续更新...)
- Python pyinstaller打包exe最完整教程
- Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based proj