centos一键安装denyhosts

denyhosts手动安装比较繁琐,我自己安装过几次还需要经常查看History。这里放个非常方便的一键脚本吧,以前用Lnmp建过博客网站,lnmp包里就有这些工具,非常好用。这年头无聊的人太多了,说不准哪天你的服务器就被别人暴力破解了。

wget http://soft.vpser.net/lnmp/lnmp1.4beta.tar.gz && tar zxf lnmp1.4beta.tar.gz && cd lnmp1.4/tools/
工具箱内容:
backup.sh  check502.sh  cut_nginx_logs.sh  denyhosts_removeip.sh  denyhosts.sh  fail2ban.sh  remove_disable_function.sh  remove_open_basedir_restriction.sh  reset_mysql_root_password.sh

gerapy分布式爬虫监控

gerapy部署问题小结

前几天折腾的crawlab虽然功能强大,但是槽点太多了,试试崔大神的gerapy吧。先挖个坑记录下槽点:

  1. 前端无法更改用户密码,Django后台登录可以,这个我是在源码中找出来的(docs/en/source/docker.md, docs/zh_cn/build/html/_sources/docker.md.txt)
  2. 下面docker定死了8000端口,暂时不要使用其他端口。如果需要,改下Dockerfile吧。感觉做的产品不细致,这种应该安装时给选项定制用户信息和端口的
https://github.com/Gerapy/Gerapy/search?q=admin
docker run -d -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapy
http://localhost:8000/admin/auth
gerapy爬虫项目结构
  1. 爬虫上传结构是又要求的,需要把整个项目文件夹打包,scrapy.cfg千万不要忘了。
  2. 另外,部署前一定要在每个主机安装好项目的依赖,可以在项目目录运行 pipreqs ./ ,生成requirements.txt然后每个节点pip install -r requirements.txt。不事先安装依赖的话部署会失败
  3. 如果某个.py文件无法在gerapy预览,考虑下该文件是否编码不是utf-8,上传到github时会检测到。

虽然功能比较简单,但是基本上开箱能用,不像crawlab部署困难而且坑儿很多。期待新版本吧。