查看文章 |
通过rsync远程增量备份您的数据
2009年05月25日 星期一 下午 7:06
备份是写代码的人必不可少的一项工作,传统的备份,一般就是copy所有数据到一个地方,然后贴上标签,表示是什么时候备份的,这种备份被称之为“整体备份”。 如果经常进行整体备份,对磁盘的空间占用需求就很大,尤其当你备份大容量的数据的时候,有时候,比如一个星期,只对其中一小部分的内容进行了修改,但是还是需要全部重新备份一次,很显然,太浪费磁盘空间了;此时增量备份就派上用场了,增量备份,又叫做差异备份,意如其名,只备份修改过的部分。 好了,废话说完了,来看看如何实际操作,我们用到的软件是大名鼎鼎的 rsync,很多网站的镜像就是用它来完成的。 ==================== 环境介绍: ==================== 备份服务器: 192.168.0.1 需要备份的目录:/data 和 /home/work 备份时验证用户名和密码: backup/secret 备份客户机(备份数据存放地):192.168.0.11 客户机和服务器均需安装 rsync 软件包 ==================== 服务器端配置: ==================== 创建 /etc/rsyncd.conf 主配置文件: ## file of /etc/rsyncd.conf motd file=/var/rsync/welcome.msg pid file = /var/rsync/rsyncd.pid lock file = /var/rsync/rsync.lock log file = /var/rsync/rsyncd.log ### 需要备份的模块 [data] comment = our data for service path = /data use chroot = no max connections = 4 read only = true list = false uid = nobody gid = nogroup secrets file = /etc/rsyncd.secrets hosts allow = 192.168.0.11 hosts deny = 0.0.0.0/0 ignore errors = yes transfer logging = yes log format = "%a %f %l" auth users = backup ### 需要备份的模块 [work] comment = our work information path = /home/work use chroot = no max connections = 4 read only = true list = false uid = nobody gid = nogroup secrets file = /etc/rsyncd.secrets hosts allow = 192.168.0.11 hosts deny = 0.0.0.0/0 ignore errors = yes transfer logging = yes log format = "%a %f %l" auth users = backup 上面定义了2个备份点,只允许 192.168.0.11 连接,需要验证的用户名为 backup 然后创建密码文件,每一行格式为: 用户名:密码,都是明文的 ### file of /etc/rsyncd.secrets backup:secret 创建日志或运行目录: mkdir /var/rsync 好了,服务器端的工作完成了,只需要运行 rsyn --daemon 启动 rsync 服务即可 ==================== 客户端的配置 ==================== 客户端就不用创建什么配置文件了,可以直接运行命令来完成备份,但是为了方便操作,用脚本来完成似乎更理想。 备份要求: 所有的数据统一放到一个根目录下,主备份用每个备份点名字命名,增量备份目录为 Increment,每个备份点的增量备份数据,全部放到这个目录下面,目录为当前日期,格式为 2007-08-11_11-22 文件目录树如下: /backup/ 备份根目录 |------- work/ 备份点1的主目录,这个目录里面的数据是备份完成后最新的 |------- data/ 备份点2的主目录,同上 `------- Increment/ 增量备份根目录 | `----- work/ 备份点1的差异/修改备份数据 | |--- 2007-08-11_10-22 从最开始备份到08月11日10点22分,所修改的数据 `--- 2007-08-11_11-22 从10点22分到11点22分,所修改过的数据 准备工作: 创建备份根目录: mkdir /backup,其他的目录备份时会自动被创建 创建密码文件(这样可以不用手动输入密码): echo "secret" > /backup/passwd 下面就是备份的脚本了 #**************************************************** # Author: Muddyboot - toobyddum@gmail.com # Last modified: 2007-08-10 21:39 # Filename: rsync.sh # Description: backup files via rsyn #**************************************************** ### 默认备份时没有任何输出 ### 如果需要看到备份的详细信息或备份进度,加上 verb 和 progress unset verb progress for i in $*; do [ "$i" = "verb" ] && verb=v [ "$i" = "progress" ] && progress="--progress" done ### 备份服务器地址 RSYNC_SERVER=192.168.0.1 ### 备份时验证用户名 AUTH_USER=backup ### 备份根目录 BAKROOT=/backup [ ! -e $BAKROOT ] && mkdir -p $BAKROOT ### 密码文件 PASSWD_FILE=$BAKROOT/passwd ### 检查密码文件的权限,因为是明文的,所以设为 0600 比较安全 PASSWD_PERM=`ls -l $PASSWD_FILE|awk '{print $1}'` if [ "$PASSWD_PERM" != "-rw-------" ]; then echo -e "\nWARNING: permission of passwd file changed to 0600 \n"; chmod 0600 $PASSWD_FILE fi ### 备份日志 LOGFILE=$BAKROOT/backup.log ### 备份时需要排除的文件 EXCLUDES=$BAKROOT/exclude_file [ ! -e $EXCLUDES ] && touch $EXCLUDES ### 备份点 BACKUP_MODULES="data work" ### rsync 的参数 OPTIONS="--force --ignore-errors --delete --delete-excluded \ --exclude-from=$EXCLUDES $progress \ --password-file=$PASSWD_FILE --backup" ### 删除以前的临时日志文件 rm -f $BAKROOT/log.* log_id=0 for bakdir in $BACKUP_MODULES; do log_id=`expr $log_id 1` SUBOPTS="--backup-dir=$INC_DIR/$bakdir/$BAKTIME -az${verb}" rsync $OPTIONS $SUBOPTS $AUTH_USER@$RSYNC_SERVER::$bakdir \ $BAKROOT/$bakdir | tee $BAKROOT/log.$log_id done ### 合并临时日志到备份日志中 cat $BAKROOT/log.* >> $LOGFILE rm -f $BAKROOT/log.* ##### end of rsync.sh OK,脚本完成了,chmod 755 rsync.sh 开始备份: ./rsync.sh verb progress 就可以了,备份时,会自动从密码文件读取密码进行验证,备份的详细信息及进度会在当前终端输出,同时也记录到 backup.log 文件中。 两次备份后,如果数据在这段时间内有改动,会产生差异备份数据,用当前时间命名,便于以后查找 如果有些数据你不想备份,可以加入到 exclude_file 文件中,每条记录占一行,支持通配符,比如 /tmp ## 排除名为 tmp 的根目录 .[a-z]* ## 不备份以点开头的隐藏文件 ==================== rsync 后记 ==================== 1. 备份时若需要考虑到传输数据的安全,可以通过 rsync over ssh 来完成,加入一个 -e ssh 参数即可,适用于远程备份机密数据的场合;内网备份或对数据安全没有什么要求,就不必了,通过ssh后备份速度会有所减慢。 2. 备份参数中需要注意 --delete 参数,意为:删除本地备份目录存在,但是远程备份服务器不存在的文件和目录,也就是说,如果备份点删除了某个文件,备份过后,备份目的地的该文件也将被删除。还好有增量备份的存在,这个文件会移到增量备份目录中,如果没有增量备份,那么这个文件就永久被删除了。 3. 暂时没了,以后想到了再补充 |
最近读者:

