c-w-xiaohei
5fd106c9f5
添加info_spider脚本 (#1)
|
пре 1 година | |
|---|---|---|
| .. | ||
| README.md | пре 1 година | |
| config.json | пре 1 година | |
| main.py | пре 1 година | |
| requirements.txt | пре 1 година | |
README.md
info-spider
一个用于调用github官方api以获取社区仓库信息的脚本
使用方式
本脚本可以直接运行，也可以作为模块被导入
Requirements
需要有python运行环境并安装依赖库
pip3 install -r requirements.txt
配置说明
若需更改文件输出及配置文件路径，可通过更改脚本中PATH变量的值，若为空则默认为脚本同一目录下
PATH = " 这里填写文件输出以及配置文件路径 "使用者需要在config.json中填写如下选项以更好的使用脚本
- user : 社区用户名，默认为DragonOS-Community
- token : 使用者的github token，用以增加访问访问次数(若不使用token则有每小时60次的访问限制，查看详情)
- parallel_threads : 最大并行线程数
- black_list : 仓库获取黑名单，列表中填写仓库的名称用于忽略该仓库中的contributor信息
- white_list : 黑名单中的白名单，列表中填写用户名，黑名单中的仓库会忽略除了白名单中的contributor
直接运行
使用命令行执行脚本生成.json文件以及.xls文件
python main.py
作为模块导入
可以调用模块中的get_json()和get_dict()
- get_dict() : 返回带有社区信息的python字典
- get_json() : 返回带有社区信息的json文本
添加统计条目
如果后期需要添加社区仓库的统计条目，需要做以下改动
- 编写统计函数，参数为仓库信息字典，返回值字典{"条目名称":条目数据}，并在脚本头部的function_list中填写函数名
- 将上述条目名称在脚本头部的head1中，作为最终输出在excel中的表头
TODO
如果后期需要可以考虑进一步封装脚本