章网络爬虫概述与原理1
1.1网络爬虫简介1
1.2网络爬虫分类2
1.3网络爬虫流程4
1.4网络爬虫的采集策略5
1.5学习网络爬虫的建议5
1.6本章小结6
第2章网络爬虫涉及的Java基础知识7
2.1开发环境的搭建7
2.1.1JDK的安装及环境变量配置7
2.1.2Eclipse的下载9
2.2基本数据类型10
2.3数组11
2.4条件判断与循环12
2.5集合15
2.5.1List和Set集合15
2.5.2Map集合16
2.5.3Queue集合17
2.6对象与类19
2.7String类21
2.8日期和时间处理23
2.9正则表达式26
2.10Maven工程的创建29
2.11log4j的使用33
2.12本章小结40
第3章HTTP协议基础与网络抓包41
3.1HTTP协议简介41
3.2URL42
3.3报文44
3.4HTTP请求方法46
3.5HTTP状态码46
3.5.1状态码2XX47
3.5.2状态码3XX47
3.5.3状态码4XX48
3.5.4状态码5XX48
3.6HTTP信息头48
3.6.1通用头49
3.6.2请求头52
3.6.3响应头55
3.6.4实体头56
3.7HTTP响应正文57
3.7.1HTML58
3.7.2XML60
3.7.3JSON61
3.8网络抓包64
3.8.1简介64
3.8.2使用情境65
3.8.3浏览器实现网络抓包65
3.8.4其他网络抓包工具推荐70
3.9本章小结70
第4章网页内容获取71
4.1Jsoup的使用71
4.1.1jar包的下载71
4.1.2请求URL72
4.1.3设置头信息75
4.1.4提交请求参数78
4.1.5超时设置80
4.1.6代理服务器的使用81
4.1.7响应转输出流(图片、PDF等的下载)83
4.1.8HTTPS请求认证85
4.1.9大文件内容获取问题89
4.2HttpClient的使用91
4.2.1jar包的下载91
4.2.2请求URL92
4.2.3EntityUtils类97
4.2.4设置头信息98
4.2.5POST提交表单100
4.2.6超时设置103
4.2.7代理服务器的使用105
4.2.8文件下载106
4.2.9HTTPS请求认证108
4.2.10请求重试111
4.2.11多线程执行请求114
4.3URLConnection与HttpURLConnection117
4.3.1实例化117
4.3.2获取网页内容118
4.3.3GET请求118
4.3.4模拟提交表单(POST请求)119
4.3.5设置头信息120
4.3.6连接超时设置121
4.3.7代理服务器的使用122
4.3.8HTTPS请求认证122
4.4本章小结124
第5章网页内容解析125
5.1HTML解析125
5.1.1CSS选择器125
5.1.2Xpath语法127
5.1.3Jsoup解析HTML128
5.1.4HtmlCleaner解析HTML135
5.1.5HTMLParser解析HTML139
5.2XML解析144
5.3JSON解析145
5.3.1JSON校正145
5.3.2org.json解析JSON147
5.3.3Gson解析JSON152
5.3.4Fastjson解析JSON157
5.3.5网络爬虫实战演练159
5.4本章小结165
第6章网络爬虫数据存储166
6.1输入流与输出流166
6.1.1简介166
6.1.2File类166
6.1.3文件字节流169
6.1.4文件字符流172
6.1.5缓冲流176
6.1.6网络爬虫下载图片实战180
6.1.7网络爬虫文本存储实战184
6.2Excel存储188
6.2.1Jxl的使用188
6.2.2POI的使用191
6.2.3爬虫案例198
6.3MySQL数据存储202
6.3.1数据库的基本概念203
6.3.2SQL语句基础203
6.3.3Java操作数据库207
6.3.4爬虫案例217
6.4本章小结219
第7章网络爬虫实战项目220
7.1新闻数据采集220
7.1.1采集的网页220
7.1.2框架介绍222
7.1.3程序编写223
7.2企业信息采集235
7.2.1采集的网页235
7.2.2框架介绍238
7.2.3层信息采集239
7.2.4第二层信息采集248
7.3股票信息采集256
7.3.1采集的网页256
7.3.2框架介绍257
7.3.3程序设计258
7.3.4Quartz实现定时调度任务267
7.4本章小结271
第8章Selenium的使用272
8.1Selenium简介272
8.2JavaSelenium环境搭建272
8.3浏览器的操控274
8.4元素定位276
8.4.1id定位276
8.4.2name定位277
8.4.3class定位278
8.4.4tagname定位278
8.4.5linktext定位278
8.4.6Xpath定位279
8.4.7CSS选择器定位279
8.5模拟登录280
8.6动态加载JavaScript数据(操作滚动条)283
8.7隐藏浏览器285
8.8截取验证码287
8.9本章小结291
第9章网络爬虫开源框架292
9.1Crawler4j的使用292
9.1.1Crawler4j简介292
9.1.2jar包的下载292
9.1.3入门案例293
9.1.4相关配置297
9.1.5图片的采集300
9.1.6数据采集入库304
9.2WebCollector的使用312
9.2.1WebCollector简介312
9.2.2jar包的下载313
9.2.3入门案例313
9.2.4相关配置318
9.2.5HTTP请求扩展319
9.2.6翻页数据采集327
9.2.7图片的采集331
9.2.8数据采集入库334
9.3WebMagic的使用347
9.3.1WebMagic简介347
9.3.2jar包的下载347
9.3.3入门案例(翻页数据采集)347
9.3.4相关配置351
9.3.5数据存储方式352
9.3.6数据采集入库355
9.3.7图片的采集365
9.4本章小结368
|
商品评价
100%好评
共有0人参与评分评价商品