IT新闻
此时此刻位置: 美高梅网站 > IT新闻 >   机智堂

java官方jsoup分析爬虫获取的页面html多少,自在实现一个爬虫

2020-01-01 12:17:36 木庄网络博客 编排:饭饭 浏览数:14美高梅网站

本文摘自classinstance.cn。 近期在找工作,探望各大人才网上的劳作岗位,了一下温馨住所附近的劳作,效益好像对地方不是很要好,于是乎自己想爬一下各大人才网上的多少,以便自己好,并不商用也不开放数据...

本文摘自classinstance.cn。

近期在找工作,探望各大人才网上的劳作岗位,了一下温馨住所附近的劳作,效益好像对地方不是很要好,于是乎自己想爬一下各大人才网上的多少,以便自己好,并不商用也不开放数据,话说最近反爬虫很严啊,不过想来自己只是爬取公开的多少,并且不会影响目标网站的例行运作,有道是是没事的,此处也愿意大家遵守爬虫商讨。

jsoup是一款Java 的HTML分析器,可直接解析某个URL地方、HTML文本内容。

其它提供了一套特种省力的API,可通过DOM,CSS以及类似于jQuery的借鉴方式来取出和借鉴数据以某人才网为例,把她的地方中的词和页码动态传入参数,用Jsoup分析dom就足以把想要的位置数据拿下来,接下来自己放到数据直或引擎中,直接分享代码爬虫和jsopu局部代码:

import java.net.URLEncoder;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.goodjob.util.HttpUtil;

public class CrawlService {

	public static String rcUrl = "https://www.xmrc.com.cn/net/info/Resultg.aspx?a=a&g=g&recordtype=1&searchtype=1&keyword=#_#&releasetime=365&sortby=updatetime&ascdesc=Desc&PageIndex=#-#&PageSize=100";
	
	public void crawl(String keyword) {
		crawlXmrc(keyword);
	}
	
	public void crawlXmrc(String keyword){
		String keyurl = rcUrl.replaceFirst("#_#",URLEncoder.encode(keyword));//关键词
		int page = 1;
		int pageSize = 100;
		int c = 1;
		while (true) {
			
			try {
				Thread.sleep(1000l);
			} catch (InterruptedException e) {
			}
			String pageUrl = keyurl.replaceFirst("#-#",page+"");//页码
			String xmrcHtml = HttpUtil.httpsGet(pageUrl);
			
			Document document = Jsoup.parse(xmrcHtml);//Jsoup分析html
			
			Elements table = document.getElementsByClass("queryRecruitTable");//情节表格table
			Elements tbody = table.select("tbody");
			Elements trs = tbody.select("tr");
			int size = trs.size();
			for (int i = 0; i < size; i++) {
				if (i!=0) {//重大作为标题
					Element element = trs.get(i);
					Elements tds = element.getElementsByTag("td");
					
					Element jobNameTd = tds.get(1);//职位名称
					Element companyNameTd = tds.get(2);//店铺名称
					Element addressTd = tds.get(3);//职位名称
					Element monthlyPayTd = tds.get(4);//参考月薪
					
					String jobName = jobNameTd.text();
					String companyName = companyNameTd.text();
					String address = addressTd.text();
					String monthlyPay = monthlyPayTd.text();
					System.out.println(c+"--"+jobName+"--"+monthlyPay);
					c++;
				}
			}
			if (size < pageSize+1) {//小于pagesize表示最后一页了
				break;
			}
			page ++;
		}
		System.out.println("形成");
	}
	public static void main(String[] args) {
		CrawlService crawlService = new CrawlService();
		crawlService.crawl("java");
	}
}

DOM组织如下图:

分享到:

自主经营权与免责声明:

凡未注明"稿件来源"的情节均为转载稿,资产网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,资产网并不意味着赞同其观点或证实其内容的真实;


本文地址:http://dutchtools.net/news/2020/01/01/16905114.html

转载本站原创文章请注明来源:美高梅网站

行业聚焦

支付宝宣布为春运补贴10京 港股花呗分期免息

敦煌在线消息:据中国公路官方消息,其次12月12日起正式开售春运期间火车票,客运车票开售首日全国公路共售出车票1256.1万张。支付宝今日正式发布,本年春运车票...[详细]

神州公路12306 iOS版4.0.6创新:局部功能和经验优化

IT的师12月17日消息 神州公路官方App公路12306迎来iOS版4.0.6创新支持,修复了已知问题,还开展了一些功能和经验优化。一周之前中国公路官方App...[详细]

2019餐饮供应链B2B劳动行业研究报告

热门人工智能大数量云计算智能硬件万物互联ARVR无形化人驾驶机器人金融科技区块链新零售 所属行业:餐饮 通告时间:2019-10-24告知篇幅:45页餐饮供应链餐饮...[详细]

世上畅销机榜单公布,享誉米Note7跑赢美高梅网站P30 Pro

文/小昱近来,名牌市场调研机构Canalys通告了2019年前三季度手机型号销量排行榜,据其统计,享誉米Note7和资深米7A的日产量均超过美高梅网站P30 Pro,成为全...[详细]

理论界十年风云:乔布斯病故,阿里完成两地上市

北京时间12月16日消息,随着2019年临近结束,科技行业即将迈过又一个十年。顶这个十年开始时,科技就意味着承诺,例如汽车能够实现自动驾驶。但是,随着岁月之延期...[详细]

宣传互动

更多

英特尔挖来AMD 15年老兵当副总裁,担负独显项目

 

IT的师12月21日消息 根据TPU的通讯,英特尔从竞争对手AMD哪里挖来了Masooma Bhaiwala担任副总裁,...[详细]

全新Edge下月起通过Windows Updates专业推送

 

其次 2020 年 1 月 15 日开始,迪斯尼将穿越 Windows Update 自动向 Windows 10 我家提供...[详细]

OPPO游戏手柄C1新品明天0点准时开售,限时259元

 

IT的师12月11日消息 本年10岁首,OPPO通告与高达合作推出高达40周年定制版OPPO Reno Ace,同时还有...[详细]

TMC2300 抑共振、超静音微型步进电机驱动器

 

  广大的风驱动芯片转动步进电机时,会出现人耳听得见的谐音噪声或电机抖动的状况,严重影响产品的体会度。而TMC2300...[详细]

面向消费者之Microsoft 365过年上点 可能涵盖Win10突出作用

 

数周前,外媒ZDNet的名牌记者Mary Jo Foley透露微软有准备在2020年推出面向消费者之Microsoft ...[详细]

  • 1
  • 2
  • 3
  • 4
  • 5
  • 一周排名 本月关注
  • 01英特尔挖来AMD 15年老兵当副总裁,担负独显项目
  • 02OPPO Find X2艺术曝光 名将利用索尼定制的玉器
  • 03全系5G双模3299元起,荣誉V30铺天盖地电商平台好评如潮
  • 04PC应当在十年前消亡,今天这一切或许正在发生
  • 05数字发布第二财季财报:营收96.14京卢布,相形之下增长%
  • 06小鹏汽车:专业与RTI店铺合作,为小鹏P7机关驾驶辅助系统赋能
  • 07全新Edge下月起通过Windows Updates专业推送
  • 08特斯拉将军为Model 3车型提供实体钥匙 粮价为1200元
  • 09京东年货节空降福利:领2020元股票包,空调365天涯无忧试用
  • 10马云对话孙正义:她原想投阿里5000万卢布,把我拒绝了