misc-scripts/info-spider

info-spider

一个用于调用github官方api以获取社区仓库信息的脚本

使用方式

本脚本可以直接运行，也可以作为模块被导入

Requirements

需要有python运行环境并安装依赖库

pip3 install -r requirements.txt

配置说明

• 若需更改文件输出及配置文件路径，可通过更改脚本中PATH变量的值，若为空则默认为脚本同一目录下

  PATH = " 这里填写文件输出以及配置文件路径 "
  

• 使用者需要在config.json中填写如下选项以更好的使用脚本

  • user : 社区用户名，默认为DragonOS-Community
  • token : 使用者的github token，用以增加访问访问次数(若不使用token则有每小时60次的访问限制，查看详情)
  • parallel_threads : 最大并行线程数
  • black_list : 仓库获取黑名单，列表中填写仓库的名称用于忽略该仓库中的contributor信息
  • white_list : 黑名单中的白名单，列表中填写用户名，黑名单中的仓库会忽略除了白名单中的contributor

直接运行

使用命令行执行脚本生成.json文件以及.xls文件

python main.py

作为模块导入

可以调用模块中的get_json()和get_dict()

• get_dict() : 返回带有社区信息的python字典
• get_json() : 返回带有社区信息的json文本

添加统计条目

如果后期需要添加社区仓库的统计条目，需要做以下改动

1. 编写统计函数，参数为仓库信息字典，返回值字典{"条目名称":条目数据}，并在脚本头部的function_list中填写函数名
2. 将上述条目名称在脚本头部的head1中，作为最终输出在excel中的表头

TODO

如果后期需要可以考虑进一步封装脚本