VC驿站

 找回密码
 加入驿站

QQ登录

只需一步,快速开始

搜索
查看: 168|回复: 0

[分享] Java实例——基于jsoup的简单爬虫添加代理示例

[复制链接]
08_avatar_middle
最佳答案
0 
在线会员 发表于 2020-4-7 17:25:31 | 显示全部楼层 |阅读模式

import java.io.IOException;
import java.net.Authenticator;
import java.net.InetSocketAddress;
import java.net.PasswordAuthentication;
import java.net.Proxy;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Demo{
    // 代理隧道验证信息
    final static String ProxyUser = "16KASDA";
    final static String ProxyPass = "1231321";

    // 代理服务器
    final static String ProxyHost = "t.16yun.cn";
    final static Integer ProxyPort = 31111;

    // 设置IP切换头
    final static String ProxyHeadKey = "Proxy-Tunnel";


    public static String getUrlProxyContent(String url)
    {
        Authenticator.setDefault(new Authenticator() {
            public PasswordAuthentication getPasswordAuthentication()
            {
                return new PasswordAuthentication(ProxyUser, ProxyPass.toCharArray());
            }
        });
        // 设置Proxy-Tunnel
        Random random = new Random();
        int tunnel = random.nextInt(10000);
        String ProxyHeadVal = String.valueOf(tunnel);

        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(ProxyHost, ProxyPort));

        try
        {
            // 处理异常、其他参数
            Document doc = Jsoup.connect(url).timeout(3000).header(ProxyHeadKey, ProxyHeadVal).proxy(proxy).get();

            if(doc != null) {
                System.out.println(doc.body().html());
            }
        }
        catch (IOException e)
        {
            e.printStackTrace();
        }

        return null;
    }

    public static void main(String[] args) throws Exception
    {
        // 要访问的目标页面
        String targetUrl = "http://httpbin.org/ip";


        getUrlProxyContent(targetUrl);
    }}

评分

参与人数 1驿站币 +3 热心值 +2 收起 理由
75_avatar_small wl1383838438 + 3 + 2 赞一个!

查看全部评分





上一篇:c++ primer plus 6 函数指针梳理&笔记
下一篇:硬编码复习笔记
您需要登录后才可以回帖 登录 | 加入驿站 qq_login

本版积分规则

×【发帖 友情提示】
1、请回复有意义的内容,请勿恶意灌水;
2、纯数字、字母、表情等无意义的内容系统将自动删除;
3、若正常回复后帖子被自动删除,为系统误删的情况,请重新回复其他正常内容或等待管理员审核通过后会自动发布;
4、感谢您对VC驿站一如既往的支持,谢谢合作!

关闭

站长提醒上一条 /2 下一条

QQ|小黑屋|手机版|VC驿站 ( 辽ICP备09019393号 )|网站地图wx_jqr

GMT+8, 2020-8-5 18:54

Powered by CcTry.CoM

© 2009-2020 cctry.com

快速回复 返回顶部 返回列表