作者：cxuzhen

centos一键安装denyhosts

denyhosts手动安装比较繁琐，我自己安装过几次还需要经常查看History。这里放个非常方便的一键脚本吧，以前用Lnmp建过博客网站，lnmp包里就有这些工具，非常好用。这年头无聊的人太多了，说不准哪天你的服务器就被别人暴力破解了。

wget http://soft.vpser.net/lnmp/lnmp1.4beta.tar.gz && tar zxf lnmp1.4beta.tar.gz && cd lnmp1.4/tools/
工具箱内容：
backup.sh  check502.sh  cut_nginx_logs.sh  denyhosts_removeip.sh  denyhosts.sh  fail2ban.sh  remove_disable_function.sh  remove_open_basedir_restriction.sh  reset_mysql_root_password.sh

gerapy分布式爬虫监控

gerapy部署问题小结

前几天折腾的crawlab虽然功能强大，但是槽点太多了，试试崔大神的gerapy吧。先挖个坑记录下槽点：

  1. 前端无法更改用户密码，Django后台登录可以，这个我是在源码中找出来的(docs/en/source/docker.md, docs/zh_cn/build/html/_sources/docker.md.txt)
  2. 下面docker定死了8000端口，暂时不要使用其他端口。如果需要，改下Dockerfile吧。感觉做的产品不细致，这种应该安装时给选项定制用户信息和端口的
https://github.com/Gerapy/Gerapy/search?q=admin
docker run -d -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapy
http://localhost:8000/admin/auth
gerapy爬虫项目结构
  1. 爬虫上传结构是又要求的，需要把整个项目文件夹打包，scrapy.cfg千万不要忘了。
  2. 另外，部署前一定要在每个主机安装好项目的依赖，可以在项目目录运行 pipreqs ./ ，生成requirements.txt然后每个节点pip install -r requirements.txt。不事先安装依赖的话部署会失败
  3. 如果某个.py文件无法在gerapy预览，考虑下该文件是否编码不是utf-8，上传到github时会检测到。

虽然功能比较简单，但是基本上开箱能用，不像crawlab部署困难而且坑儿很多。期待新版本吧。