【工作提效】教你如何用Python轻松爬取上市公司年报，新手也能快速上手！copy即用

文章【工作提效】教你如何用Python轻松爬取上市公司年报，新手也能快速上手！copy即用分享给大家，欢迎收藏Python资料网，专注分享技术知识

最近有很多朋友，甚至还有不少陌生人都花钱找我要上市公司的年报数据。为了节省大家的时间和金钱，我决定写一篇教程，教你们如何用Python轻松爬取巨潮资讯上的上市公司年报。即使你是编程新手也能快速上手，赶紧学起来吧！

工具和环境准备

在开始之前，我们需要准备一些工具和环境：

• Python 3.x
• 安装requests和panda库

安装必要的库

首先，打开命令行，运行以下命令安装所需库：

pip install requests beautifulsoup4

编写爬虫脚本

第一步：构造请求

打开巨浪资讯搜索 分类年报

这个接口访问可以查看所有年报，开始python模拟请求

第二步：保存文件

调整代码 使用 panda保存数据可以看到处理后的数据已经保存在excel中

第三步：批量下载pdf

直接上代码

# 下载PDF文件的函数
def download_pdf(url, filename):
    response = requests.get(url)
    if response.status_code == 200:
        with open(filename, 'wb') as f:
            f.write(response.content)
        print(f"Downloaded: {filename}")
    else:
        print(f"Failed to download: {filename}, Status code: {response.status_code}")

第四步：处理分页+最终代码

使用请求接口返回的hasMore字段判断是否需要继续加页码，终极版本代码

import requests
import pandas as pd
import os

# 请求头
headers = {
    "accept": "*/*",
    "accept-language": "zh-CN,zh;q=0.9,en;q=0.8",
    "content-type": "application/x-www-form-urlencoded; charset=UTF-8",
    "proxy-connection": "keep-alive",
    "x-requested-with": "XMLHttpRequest"
}

# 创建存储PDF文件的文件夹
os.makedirs('announcements', exist_ok=True)


# 获取公告数据的函数
def fetch_announcements(start_date, end_date, page_num=1, page_size=30):
    url = "http://www.cninfo.com.cn/new/hisAnnouncement/query"
    body = {
        "pageNum": page_num,
        "pageSize": page_size,
        "column": "szse",
        "tabName": "fulltext",
        "plate": "",
        "stock": "",
        "searchkey": "",
        "secid": "",
        "category": "category_ndbg_szsh",
        "trade": "",
        "seDate": f"{start_date}~{end_date}",
        "sortName": "",
        "sortType": "",
        "isHLtitle": "true"
    }

    # 发送 POST 请求
    response = requests.post(url, headers=headers, data=body)

    if response.status_code == 200:
        data = response.json()
        if 'announcements' in data:
            announcements_list = []
            for announcement in data['announcements']:
                sec_code = announcement.get("secCode", "")
                sec_name = announcement.get("secName", "")
                title = announcement.get("announcementTitle", "")
                download_url = f"http://static.cninfo.com.cn/{announcement.get('adjunctUrl', '')}"
                announcements_list.append([sec_code, sec_name, title, download_url])
            print(f"Fetched {len(announcements_list)} announcements. hasMore is {data['hasMore']}")
            return announcements_list, data['hasMore']
        else:
            print("No announcements found.")
            return [], False
    else:
        print(f"Request failed with status code: {response.status_code}")
        return [], False


# 下载PDF文件的函数
def download_pdf(url, filename):
    response = requests.get(url)
    if response.status_code == 200:
        with open(filename, 'wb') as f:
            f.write(response.content)
        print(f"Downloaded: {filename}")
    else:
        print(f"Failed to download: {filename}, Status code: {response.status_code}")


# 主函数
def main():
    start_date = "2024-02-13"
    end_date = "2024-03-01"
    page_size = 30
    page_num = 1
    all_announcements = []

    while True:
        announcements, has_more = fetch_announcements(start_date, end_date, page_num=page_num, page_size=page_size)
        if announcements:
            all_announcements.extend(announcements)
            if not has_more:
                break
            page_num += 1
        else:
            break

    if all_announcements:
        # 使用 pandas 创建 DataFrame
        df = pd.DataFrame(all_announcements, columns=["公司代码", "公司名称", "年报标题", "下载地址"])

        # 将 DataFrame 保存到 Excel 文件中
        df.to_excel("announcements.xlsx", index=False)
        print("数据已保存到 announcements.xlsx 文件中")

        # 下载 PDF 文件
        for announcement in all_announcements:
            sec_code, sec_name, title, download_url = announcement
            title = title.replace("/", "_")
            filename = f"announcements/{sec_code}_{sec_name}_{title}.pdf"
            download_pdf(download_url, filename)


# 执行主函数
if __name__ == "__main__":
    main()

结语

感谢大家阅读这篇关于如何利用 Python 爬取巨潮资讯网上市公司年报数据的教程。通过这篇文章，相信大家已经掌握了基本的爬取流程以及如何处理分页数据和下载 PDF 文件的方法。希望这篇教程能够帮助大家更好地获取所需的数据。

在实际应用中，大家可以根据自己的需求修改代码中的参数，例如调整爬取的时间范围、分页大小等。也可以对代码进行扩展，增加更多的功能，比如数据分析和可视化等。

如果你觉得这篇文章对你有帮助，请不要忘记点赞、收藏和关注。我会不定期分享更多有趣且实用的技术文章。你们的支持是我持续创作的动力！

最后，再次感谢大家的阅读和支持。如果在操作过程中有任何问题，欢迎在评论区留言，我会尽快回复大家。

祝大家在数据爬取和分析的道路上不断进步！

---

特别提示：请确保在使用爬虫技术时遵守相关法律法规和网站的使用协议，合理合法地进行数据获取。

---

感谢大家的支持！😊

版权声明：本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：jacktools123@163.com进行投诉反馈，一经查实，立即删除！