Hostloc 新帖图文推送

标题：这里边装的啥，这么大
作者：athao
原帖：https://hostloc.com/thread-835625-1-1.html

摘要：今天备份了下几个数据wx装的啥，这么大

9 views00:39

标题：采集图片站批量调用aria2c下载图片并保持完整路径
作者：魔鬼筋肉人
原帖：https://hostloc.com/thread-835626-1-1.html

摘要：示例：

有N多条这样的链接
http://www.xxxx.cn/Uploads/editor/2015-04-17/5530b7ad82e8b.jpg

批量调用aria2c把图片下载保存到本地，保存路径像这样完整保留 ./attaches/Uploads/editor/2015-04-17/5530b7ad82e8b.jpg
-------------------------------------------------------------------------------
本人实测aria2c一次性下载几千条图片的话容易下载出错，保存不完整，有些直接没下载成功
最理想的一次下载次数就是200条左右

所以大概思路就是循环调用aria2c下载200张图片保存完整路径，直到把down.txt里的URL链接都下载完毕

工具不局限aria2c，有其他更好的办法也行
希望有采集大佬能出手相助，呜呜呜
解决的话小弟送上大礼

如果能有WIN和centos运行的代码就更好了，太复杂的话我付费也行

下面分享之前我整理的代码，但是效果不太理想，步骤繁琐
因为近期需要下载图片后按照图片的URL链接保存到完整路径
-------------------------------------方法1-----------------------------------------------------
#Aria2批量下载txt里的url
#down.txt是图片URL，格式一行一条xxxx.jpg，cd进入down.txt所在的目录然后调用aria2c批量下载，下载的目录是你自己在aria2c里配置

#缺点：只能下载保存到同一个目录里，不能按照URL路径保存完整的路径
cd /www/wwwroot/wwwroot/pic aria2c --auto-file-renaming=false down.txt 复制代码
配合下面的代码可以批量移动到原来的路径，就是URL路径是什么样这条代码就创建目录并移动进去
#注意文件权限是否是755
#如果运行不了的话在notepad++里转换为UNIX

#执行方法:
先把代码另存为1.sh再运行这两行命令
cd  /www/wwwroot/pic
bash 1.sh  down.txt
for line in `cat $1` do if [ ! -z "$my_var" ];then       echo $line       line=`echo $line | sed 's/http:\/\///' | sed 's/https:\/\///' | sed 's/\\r//g'`       file_path=${line#*/}       current_file=${file_path##*/}       file_directory=`echo $file_path | sed "s/$current_file//"`       mkdir -p $file_directory       mv -u $current_file $file_directory fi done复制代码
-------------------------------------方法2----------------------------------------------------- //图片地址 $url ='http://www.xxxx.cn/Uploads/editor/2015-04-17/5530b7ad82e8b.png'; /* 保持原有路径,文件名不变。图片将保存到本地 ./attaches/Uploads/editor/2015-04-17/5530b7ad82e8b.png */ $pathname = './attaches'.dirname( parse_url( $url  , PHP_URL_PATH)  ) ; $filename =basename(  $url ); $data['picname'] =$pathname.'/'.$filename; getImage($url  ,$save_dir=$pathname, $filename); /* *功能：php完美实现下载远程图片保存到本地 *参数：文件url,保存文件目录,保存文件名称，使用的下载方式 *当保存文件名称为空时则使用远程文件原来的名称 */ function getImage($url,$save_dir='',$filename='',$type=0){ if(trim($url)==''){       return array('file_name'=>'','save_path'=>'','error'=>1); } if(trim($save_dir)==''){       $save_dir='./'; } if(trim($filename)==''){//保存文件名       $ext=strrchr($url,'.');       if($ext!='.gif' && $ext!='.jpg' && $ext!='.jpeg' && $ext!='.png' ){          return array('file_name'=>'','save_path'=>'','error'=>3);       }       $filename=time().$ext; } if(0!==strrpos($save_dir,'/')){       $save_dir.='/'; } //创建保存目录 if(!file_exists($save_dir)&&!mkdir($save_dir,0777,true)){       return array('file_name'=>'','save_path'=>'','error'=>5); } if(file_exists($save_dir.$filename)) {       return array('file_name'=>'','save_path'=>'','error'=>6);       exit; } //获取远程文件所采用的方法 if($type){       $ch=curl_init();       $timeout=5;       curl_setopt($ch,CURLOPT_URL,$url);       curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);       curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);       $img=curl_exec($ch);       curl_close($ch); }else{       ob_start();       readfile($url);       $img=ob_get_contents();       ob_end_clean(); } //$size=strlen($img); //文件大小 $fp2=@fopen($save_dir.$filename,'a'); fwrite($fp2,$img); fclose($fp2); unset($img,$url); return array('file_name'=>$filename,'save_path'=>$save_dir.$filename,'error'=>0); }复制代码

11 views00:42