Webhosting – 第2页

https://www.tkmiss.com/archives/vps_port_forward.html 首先检查防火墙伪装功能(SNAT)（这一步很重要） # 检查是否允许伪装IP firewall-cmd --query-masquerade # 允许防火墙伪装IP firewall-cmd --add-masquerade --permanent # 禁止防火墙伪装IP firewall-cmd --remove-masquerade --permanent 如果查询出来为no，则需要通过add添加。设置端口转发 # 将80端口的流量转发至8080 firewall-cmd --add-forward-port=port=80:proto=tcp:toport=8080 # 将80端口的流量转发至192.168.0.1 firewall-cmd --add-forward-port=port=80:proto=tcp:toaddr=192.168.1.0.1 # 将80端口的流量转发至192.168.0.1的8080端口 firewall-cmd --add-forward-port=port=80:proto=tcp:toaddr=192.168.0.1:toport=8080 #查询所有配置 firewall-cmd --list-all

systemctl enable firewalld systemctl start firewalld echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf sysctl -p firewall-cmd --permanent --add-masquerade # 8080可以改成其他端口 firewall-cmd --permanent --add-port=8080/tcp firewall-cmd --permanent --add-port=8080/udp # 8080和上面保持一致，国外ip改成你国外vps的ip，443改成国外VPS上的爱国上网等软件的端口 firewall-cmd --permanent --add-forward-port=port=8080:proto=tcp:toaddr=国外ip:toport=443 firewall-cmd --permanent --add-forward-port=port=8080:proto=udp:toaddr=国外ip:toport=443 firewall-cmd --reload

爬虫脚本定时运行(crontab)

linux定时执行python脚本的方法以及失败不执行的处理方法

https://www.jianshu.com/p/5cd74add11ba 没有采用简书的方案，上面的博客方案更加清晰。以下是我的笔记（重点是环境变量，路径，scp的使用方法）

不需要root，执行以下命令：
crontab -e
编辑：
#注意这里最好把环境变量写上
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/home/chen/miniconda3/bin/
MAILTO=root
#测试：两分钟执行一次
*/2 * * * * echo "crontab test" >> /home/chen/ctest.txt
#写的python脚本每5分钟执行一次（注意python脚本中文件路径必须是绝对路径，否则报错）
*/5 * * * * /home/chen/miniconda3/bin/python /home/chen/CoV_copy2.py 
#scp python脚本产生的HTML到博客服务器（这里用了密钥而不是密码）。注意：所有的路径都#使用绝对路径，否则无效。
* * * * * scp -i /home/chen/.ssh/do248 -P 4705 /home/chen/2019-nCov数据一览2.html chen@207.148.96.113:/home/wwwroot/geoseis.cn/CoV.html >> /home/chen/cov.log
# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

linux定时执行失败的处理方法就是查看 /var/spool/mail/ ，一般root里都有日志，可以看到哪里出错了。

这个爬虫脚本放到vpn后需要更新很多：

文件路径必须为绝对路径
pyecharts的Geo函数bug：遇到不存在的地点Geo函数就会使程序退出，即使用了except也不行，和笔记本环境不一样。笔记本里运行程序不会退出。解决方案就是复制了旧版本的一些.py程序到相应的目录
proxy在VPN中没有设置好，因为笔记本里用的SSR代理的（5个VPN）。这个脚本五分钟执行一次不需要代理也可以

scp的使用

scp推荐使用密钥传输，更加安全。密钥产生后我直接append到目标服务器的/home/chen/.ssh/authorized_keys，然后scp -i 就可以无密码传输了。

运行 ssh-keygen -t dsa 时最好设置密码，否则密钥没有密码也不安全。

参考：

It’s better to set up ssh to used key-based authentication rather than trying to figure out how to send text to the login process with something like expect.

Take a look at:

https://help.ubuntu.com/community/SSH/OpenSSH/Keys

So, basically, run ssh-keygen -t dsa on the machine that will run your script. When it asks you for a passphrase, hit ENTER to accept a blank. You will get two files. If you followed the default suggestions, the files will be ~/.ssh/id_dsa and ~/.ssh/id_dsa.pub. The first one is the private key. The second one is the public key.

Copy the public key to the second server using ssh-copy-id user@server2. This will add the public key to the authorized_keys file of the user on server2.

You should now be able to run ssh from the first machine and log in without a password.

For copying the files, scp or rsync are fine. It depends on what you’re doing. rsync will use ssh by default, so will use the key-based authentication you just set up

分类：Webhosting

firewalld中转（转发）流量

Python 脚本自启动及定时任务

爬虫脚本定时运行(crontab)

scp的使用