curl 和 file_get_contents 抓取网页乱码的解决之道 filegetcontents超时 js file get contents wp file get contents

今天用 curl_init 函数抓取搜狐的网页时，发现采集的网页时乱码，经过分析发现原来是服务器开启了gzip压缩功能。只要往函数 curl_setopt 添加多个选项 CURLOPT_ENCODING 解析 gzip 就可以正确解码了。
还有如果抓取的网页时 GBK 编码，但是脚本确是 utf-8 编码，还得把抓取的网页再用函数 mb_convert_encoding 转换下。
$cookieDump = tempnam($tmp, 'cookies');
$url = 'http://tv.sohu.com';
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_HEADER, 1);// 显示返回的Header区域内容
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
curl_setopt ($ch, CURLOPT_TIMEOUT, 10);// 设置超时限制
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);// 链接超时限制
curl_setopt ($ch, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate'));//设置 http 头信息
curl_setopt ($ch, CURLOPT_ENCODING, 'gzip,deflate');//添加 gzip 解码的选项，即使网页没启用 gzip 也没关系
curl_setopt ($ch, CURLOPT_COOKIEJAR, $cookieDump); // 存放Cookie信息的文件名称
$content = curl_exec($ch);
// 把抓取的网页由 GBK 转换成 UTF-8
$content = mb_convert_encoding($content,"UTF-8","GBK");
?>
// 只要添加 compress.zlib 选项，即使服务器启用了gzip 压缩功能，就能够解码了
$content = file_get_contents("compress.zlib://".$url);
// 把抓取的网页由 GBK 转换成 UTF-8
$content = mb_convert_encoding($content,"UTF-8","GBK");
?>
原文：http://woqilin.blogspot.com/2014/05/curl-filegetcontents.html

以上就介绍了curl 和 file_get_contents 抓取网页乱码的解决之道，包括了file_get_contents方面的内容，希望对PHP教程有兴趣的朋友有所帮助。