IT猫扑网：您身边最放心的安全下载站！ 最新更新|软件分类|软件专题|手机版|论坛转贴|软件发布

您当前所在位置： 首页 → 网络编程 → PHP编程 → 如何使用PHP服务端代理抓取网页内容

如何使用PHP服务端代理抓取网页内容

时间：2015-06-28 00:00:00 来源：IT猫扑网 作者：网管联盟 我要评论(0)

最近公司暂时断开外网，只开放公司自己所有的站点允许访问，说实在的，做WEB开发的断网，真是让人哭笑不得......

由于需要查找资料，只好简单写了一个PHP的服务端代理页面来用一下！

简单框架页面：

以下为引用的内容：



PHP代理页面：

以下为引用的内容：

//使用Snoopy的抓页功能
include "Snoopy.class.php";
//目标URL
$url = $_REQUEST['targeturl'];
//将所有传递过来的参数列出来
$par = array();
$GetPost = array_merge($_POST,$_GET);
foreach($GetPost As $Key=>$Value){
 if($Key!='targeturl'){
  $Value = str_replace("%25","%",$Value);
  array_push($par,($Key . "=" . $Value));
 }
}
//判断目标URL是否带有?（即是否带有参数）
$cc = strpos($url,"?") ? "&" : "?";
//重组URL
$geturl = !$par ? $url : $url.$cc.implode("&",$par);
//抓取重组后的URL页面内容
$snoopy = new Snoopy;
$snoopy->fetch($geturl);
//替换目标内容中脚本里有可能替换父窗口地址的代码
$org = str_replace("top.location","top.title",$snoopy->results);
//尝试转换目标内容编码到UTF-8
$opt = iconv("gbk","utf-8",$org);
//判断目标内容编码为GBK或UTF-8
$ec = strlen($opt)?"gbk":"utf-8";

?>

相关阅读

文章评论
发表评论

热门文章 plsql developer怎么连接数据库-plsql developer连接数据库方法 plsql developer怎么连接数据库-plsql developer连接数据库方法 2021年最好用的10款php开发工具推荐 2021年最好用的10款php开发工具推荐 php利用淘宝IP库获取用户ip地理位置 php利用淘宝IP库获取用户ip地理位置 在 PHP 中使用命令行工具 在 PHP 中使用命令行工具

相关下载

人气排行 详解ucenter原理及第三方应用程序整合思路、方法 plsql developer怎么连接数据库-plsql developer连接数据库方法 PHP中防止SQL注入攻击 PHP会话Session的具体使用方法解析 PHP运行出现Notice : Use of undefined constant 的解决办法 PHP如何清空mySQL数据库 CakePHP程序员必须知道的21条技巧 PHP采集图片实例（PHP采集）