今天靠港避风，大风浪对我的进度影响不大，风浪中昏睡半天后生产力反而更强大了。
两天一个小项目，今天完成了爬取3688家上市公司的2019年三季报基本信息，目标网站中国产业研究院，入门级爬虫先找个软柿子吧，目前还没研究验证码和模拟登陆。轮子造好之后可以顺利爬取N多年的季报和年报基本信息，爬完处理下可以出个小分析报告了。
还是老样子，笔记本上调试完代码爬出来输出到mysql中，因为远程v p n没有设置好mysql索性输出到了csv文件，也方便索引。
船上的龟速导致我昨天晚上代码老是掉链子，经常容易read timeout，设置了retry也不行。今天完善了下代码框架，增加了user-agent随机性，并加入了高质量的proxy（高质量vpn五个），虽然速度慢了但是稳定性加强了，可以hand free模式了。本地笔记本10秒左右有时候好几分钟，远程机器因为网速快也就3-5秒一页（太快了不稳定）。
这次用了新的方案，pandas 的read_html特别适合处理表格，＋beautifulsoup解析。
400多行代码，以后可以轻松爬各种表格形式的数据了。