全新热搜热门榜内容系统聚合源码


特色:

1. 前端纯 HTML+JS+JSON(链接统计除外),后端 python 生成标准 JSON

2. 自带 30 几个常用网站采集规则

3. 多线程抓取,30+ 网站 5 秒内采集完毕

4. 相同网站放在一个框架内,可局部刷新和滚动

5. 更新时间显示 (按采集页的自带更新时间或按时间排序的第一条时间采集,没有的为采集完成时间)

6. 内容链接防盗链, 链接通过 base64+ 字符逆序 + 大小写反转 +base64 实现加密 (更换大小写转换顺序或增加数字替换可实现不同密码加密)

7. 内容链接点击统计

8. 部分内容鼠标悬停提示 (如 appstore 排行有更新内容、时间、版本号)

安装:

1.python3 caiji.py 采集(保持后台运行请用 screen 或 nohup)

2. 打开首页访问

注:

caiji.py 为后端采集程序,其余为前端需在同一目录

相应设置修改请查看源码中的注释

admin.php 为第三方数据库管理程序,用于内容链接统计查看(默认密码 admin, 请在文件中修改)

点击统计数据库 log.db 会在首次访问内容链接时生成,如未建立请保证主目录可写

为了安全,后端程序 caiji.py 和数据库查看程序 admin.php 请改为复杂文件名, 或移动到非 web 目录 (需同时修改文件内的生成 json 保存目录为网站根目录,默认为当前目录)

默认使用多线程抓取,如有问题请改用单线程

今日头条的采集请更换为自己的 cookie,头条短时间采集内容相同的太多 (目前 1 分钟采一次合并 10 次数据),相同 cookie 分段采集后几乎不会有重复的,但采集一段时间后推荐的都是杂七杂八无关的垃圾内容 (请定期更换 cookie 或自行加入随机的头条 cookie 生成规则)

采集站的 logo 大部分已修改为透明图层 png,在非白色背景下可能会很难看

发表评论