Kotlin 爬个数据

2019-06-11 | 阅读：次

学习 Kotlin 时，被它的爬虫项目实战吸引了，https://lixiaojun.xin/static/courses/kotlin/，然而并没有看到demo实例，遂写之，yuqianglianshou/KotlinParser 。
IDE:IntelliJ IDEA.
网页解析库：compile ‘org.jsoup:jsoup:1.12.1’
IP地址代理服务：旗云代理
爬取的目标网站：http://quotes.toscrape.com/
主线：通过网页解析库jsoup获取旗云代理网页数据，提取前5页代理IP及端口号；随机取一个代理IP和端口号，获取目标网站前5页的数据，由于代理IP不稳定或响应时间长或网不好等等，会有失败情况甚至大量失败情况发生，程序重复此过程直至成功，然后提取我们想要的名人名言数据；输出到控制台；输出txt文件到项目根目录。