第一步:获取脚本代码。【1】下面是自动采集脚本代码,我们需要修改代码里面的3项后才可以使用。
#!/bin/bash
########################################################
# 程序名称: 海洋CMS自动采集脚本
# 版本信息:seacmsbot/ v2.0
# 发布链接: https://www.seacms.com/
# 使用方法:直接复制代码到宝塔计划任务shell脚本内容里添加每小时任务使用
# 更新时间:2019.9.26
##########################################################
#①请修改下面的网站域名及管理目录
web_site=
"http://网站域名/管理目录/admin_reslib2.php"
#②请修改下面项内容为"admin_reslib2.php"里设置的访问密码(默认为系统设置的cookie密码)
web_pwd=
"8888e82e85bd4540f0defa3fb7a8e888"
#③下面项内容为资源站每日采集链接地址列表,请自行修改,每行一条,可添加多个,前后需添加引号。
#每日采集链接获取方法:选择"后台-采集-资源库列表",复制资源站右边的"采集每天"的链接地址,去掉?前面的内容。
web_api=(
'?ac=day&rid=1&url=https://api.iokzy.com/inc/ldg_seackm3u8s.php'
'?ac=day&rid=2&url=http://www.zdziyuan.com/inc/s_ldgm3u8_sea.php'
)
#模拟用户浏览器ua,请勿随意修改,以免被目标防火墙拦截!
web_ua="Mozilla
/5
.0 (Windows NT 10.0; Win64; x64) AppleWebKit
/537
.36 (KHTML, like Gecko)
Chrome
/76
.0.3809.100 Safari
.36 seacmsbot
/1
.2;"
#采集单页
function
get_content() {
echo
"正在采集第$page页..."
#echo " get_content: --->url:--->$1"
cResult=$(curl --connect-timeout 10 -m 20 -k -s -L -A
"$web_ua"
"$1"
$cResult |
grep
-q
"采集"
#echo -e "$1\n$cResult"
if
[
"$?"
=
"0"
];
then
next_content
"$cResult"
else
-e
"采集失败,请检查设置!\n失败链接-->$1\n返回信息-->$cResult\n采集结束,共0页"
fi
}
#采集下页
next_content() {
#统计数据
Result=$(
|
tr
"
" "
\n")
a=$(
"$Result"
-c
"采集成功"
b=$(
"更新数据"
c=$(
"无需更新"
d=$(
"跳过"
"采集成功-->已更$c部,新增$a部,更新$b部,跳过$d部"
let
add+=$a
update+=$b
none+=$c
jmp+=$d
#检测并采集下页
next_url=${1
##*location.href=\'}
next_url=${next_url%%\'*}
#echo $next_url
"${next_url:0:1}"
"?"
]
page++
get_content
"$web_site$next_url"
"采集结束,共$page页"
#脚本入口
"海洋CMS自动采集脚本开始执行 版本:v1.2"
starttime=$(
date
+%s)
update=0
#更新
add=0
#新增
none=0
#无变化
jmp=0
# 跳过
for
url
in
${web_api[@]};
do
[[ ! -z $url ]]
web_param=
"$web_site$url&password=$web_pwd"
page=1
"开始采集:$url"
get_content $web_param
done
endtime=$(
"============================"
"入库-->$add部"
"更新-->$update部"
"跳过-->$jmp部(未绑定分类或链接错误)"
"今日-->$[none+add+update]部"
"全部采集结束,耗时$[endtime - starttime]秒"
web_site="http://网站域名/管理目录/admin_reslib2.php"
web_pwd="8888e82e85bd4540f0defa3fb7a8e888"
web_api=( '?ac=day&rid=1&url=https://api.iokzy.com/inc/ldg_seackm3u8s.php' '?ac=day&rid=2&url=http://www.zdziyuan.com/inc/s_ldgm3u8_sea.php' )
你就是我心中的那首忐忑,总是让我惊心动魄。
请先登录后发表评论!