【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

文章【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集分享给大家，欢迎收藏Python资料网，专注分享技术知识

【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

具体需求：从https://kd.nsfc.cn/网站中根据关键词搜索项目信息，收集列表中展示的信息以及详情页面中的参与人员信息等。

在开始干活之前，我们首先要做的是弄清楚需求，然后分析目标网址，确定目标数据所在接口及请求参数等信息。

经过分析，列表数据存在于接口/api/baseQuery/completionQueryResultsData中，并且请求返回的数据为加密信息。

经过调试分析发现，接口数据使用的是DES解密算法进行的数据解密。接下来那就简单一点了，扣一下JS脚本或者使用python语言还原解密算法即可。

至此，列表数据已解密完毕。示例数据如下：

详情页面的接口并未加密，找出相应的接口然后按照需要的参数进行传参即可。

如有需要可扫描下方二维码联系我。

 

 

版权声明：本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：jacktools123@163.com进行投诉反馈，一经查实，立即删除！