首页 > Python资料 博客日记
Python 训练集、测试集以及验证集切分方法:sklearn及手动切分
2024-07-15 10:00:05Python资料围观79次
Python资料网推荐Python 训练集、测试集以及验证集切分方法:sklearn及手动切分这篇文章给大家,欢迎收藏Python资料网享受知识的乐趣
目录
需求目的:针对模型训练输入,按照6:2:2的比例进行训练集、测试集和验证集的划分。当前数据量约10万条。如果针对的是记录条数达上百万的数据集,可按照98:1:1的比例进行切分。
方法一:切分训练集和测试集,采用机器学习包sklearn中的train_test_split()函数
方法二:切分训练集、测试集以及验证集,针对dataframe手动切分
方法一
采用Sklearn包中的sklearn.model_selection.train_test_split()
函数,该函数功能是将原始数据按照比例切分为训练集和测试集。
函数形式:
sklearn.model_selection.train_test_split(*arrays, test_size=None,
train_size=None, random_state=None, shuffle=True, stratify=None)
参数解读:
*arrays:等长的列表、数组或者dataframe等
test_size: 0和1之间,默认0.25
train_size: 0和1之间,默认1
random_state: 传递一个int值,以便在多个函数调用之间产生可复制的输出
shuffle: 拆分前是否进行洗牌
strafity: 是否对数据进行分层
返回结果:
输入序列的train test分割序列
例子
>>> import numpy as np
>>> from sklearn.model_selection import train_test_split
>>> X, y = np.arange(10).reshape((5, 2)), range(5)
>>> X
array([[0, 1],
[2, 3],
[4, 5],
[6, 7],
[8, 9]])
>>> list(y)
[0, 1, 2, 3, 4]
>>> X_train, X_test, y_train, y_test = train_test_split(
... X, y, test_size=0.33, random_state=42)
...
>>> X_train
array([[4, 5],
[0, 1],
[6, 7]])
>>> y_train
[2, 0, 3]
>>> X_test
array([[2, 3],
[8, 9]])
>>> y_test
[1, 4]
方法二
手动切分,代码如下。输入采用Python的DataFrame,同样输出三个文件。如果需要每次都输入同样的切分数据,可采用random.seed()
定义随机数种子。
def split_train_test_valid():
# read file
input_path = "E:\\Data\\"
file = "flow.csv"
df_flow = pd.read_csv(input_path + file, header=None, encoding='gbk')
# define the ratios 6:2:2
train_len = int(len(df_flow) * 0.6)
test_len = int(len(df_flow) * 0.2)
# split the dataframe
idx = list(df_flow.index)
random.shuffle(idx) # 将index列表打乱
df_train = df_flow.loc[idx[:train_len]]
df_test = df_flow.loc[idx[train_len:train_len+test_len]]
df_valid = df_flow.loc[idx[train_len+test_len:]] # 剩下的就是valid
# output
df_train.to_csv(input_path+'train.txt', header=False, index=False, sep='\t')
df_test.to_csv(input_path+'test.txt', header=False, index=False, sep='\t')
df_valid.to_csv(input_path+'valid.txt', header=False, index=False, sep='\t')
参考资料:https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!
标签:
相关文章
最新发布
- Python SpeechRecognition库安装及使用中文识别Python SpeechRecognition库安装及使用中文识别
- 探索Pyro4:Python中的远程对象通信艺术
- jax 和 jaxlib 的 cuda 版本安装
- ⭐️怎么查看电脑Python版本(如何在Windows、Linux和macOS系统上查看Python版本的命令和方法)——《跟老吕学Python》
- python 实现convolution neural network卷积神经网络算法
- 【Python】PyWebIO 初体验:用 Python 写网页
- 【Python学习笔记】 第4章 介绍Python对象类型
- 计算机等级考试2级(Python)知识点整理
- 在 python 中调用 C/C++
- torch报错:[winerror 126] 找不到指定的模块torch_python.dll“ or one of its dependencies.
点击排行
- 版本匹配指南:Numpy版本和Python版本的对应关系
- Python 可视化 web 神器:streamlit、Gradio、dash、nicegui;低代码 Python Web 框架:PyWebIO
- 版本匹配指南:PyTorch版本、torchvision 版本和Python版本的对应关系
- 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
- Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based proj
- Python pyinstaller打包exe最完整教程
- Anaconda版本和Python版本对应关系(持续更新...)
- Python与PyTorch的版本对应