是否有一种方法来限制某些表从mysqldump命令?
例如,我将使用以下语法只转储table1和table2:
mysqldump -u username -p database table1 table2 > database.sql
但是是否有类似的方法来转储除table1和table2之外的所有表呢?我没有在mysqldump文档中找到任何东西,所以暴力(指定所有表名)是唯一的方法吗?
是否有一种方法来限制某些表从mysqldump命令?
例如,我将使用以下语法只转储table1和table2:
mysqldump -u username -p database table1 table2 > database.sql
但是是否有类似的方法来转储除table1和table2之外的所有表呢?我没有在mysqldump文档中找到任何东西,所以暴力(指定所有表名)是唯一的方法吗?
你可以使用——ignore-table选项。所以你可以这样做
mysqldump -u USERNAME -pPASSWORD DATABASE --ignore-table=DATABASE.table1 > database.sql
-p后没有空格(这不是拼写错误)。
要忽略多个表,请多次使用此选项,这至少从5.0版本开始就有文档支持。
如果你想要一种替代方法来忽略多个表,你可以使用这样的脚本:
#!/bin/bash
PASSWORD=XXXXXX
HOST=XXXXXX
USER=XXXXXX
DATABASE=databasename
DB_FILE=dump.sql
EXCLUDED_TABLES=(
table1
table2
table3
table4
tableN
)
IGNORED_TABLES_STRING=''
for TABLE in "${EXCLUDED_TABLES[@]}"
do :
IGNORED_TABLES_STRING+=" --ignore-table=${DATABASE}.${TABLE}"
done
echo "Dump structure"
mysqldump --host=${HOST} --user=${USER} --password=${PASSWORD} --single-transaction --no-data --routines ${DATABASE} > ${DB_FILE}
echo "Dump content"
mysqldump --host=${HOST} --user=${USER} --password=${PASSWORD} ${DATABASE} --no-create-info --skip-triggers ${IGNORED_TABLES_STRING} >> ${DB_FILE}
对于多个数据库:
mysqldump -u user -p --ignore-table=db1.tbl1 --ignore-table=db2.tbl1 --databases db1 db2 ..
基于@Brian-Fisher的回答,并回答了一些人对这篇文章的评论,我的数据库中有一堆巨大的(不必要的)表,所以我想在复制时跳过它们的内容,但保持结构:
mysqldump -h <host> -u <username> -p <database> --no-data > db.sql
mysqldump -h <host> -u <username> -p <database> --no-create-info --ignore-table=schema.table1 --ignore-table=schema.table2 >> db.sql
生成的文件在结构上是合理的,但转储的数据现在是~500MB而不是9GB,对我来说要好得多。现在,我可以将文件导入到另一个数据库中进行测试,而不必担心操作9GB的数据或耗尽磁盘空间。
转储包含所有表的所有数据库,但跳过某些表
在github: https://github.com/rubo77/mysql-backup.sh/blob/master/mysql-backup.sh
#!/bin/bash
# mysql-backup.sh
if [ -z "$1" ] ; then
echo
echo "ERROR: root password Parameter missing."
exit
fi
DB_host=localhost
MYSQL_USER=root
MYSQL_PASS=$1
MYSQL_CONN="-u${MYSQL_USER} -p${MYSQL_PASS}"
#MYSQL_CONN=""
BACKUP_DIR=/backup/mysql/
mkdir $BACKUP_DIR -p
MYSQLPATH=/var/lib/mysql/
IGNORE="database1.table1, database1.table2, database2.table1,"
# strpos $1 $2 [$3]
# strpos haystack needle [optional offset of an input string]
strpos()
{
local str=${1}
local offset=${3}
if [ -n "${offset}" ]; then
str=`substr "${str}" ${offset}`
else
offset=0
fi
str=${str/${2}*/}
if [ "${#str}" -eq "${#1}" ]; then
return 0
fi
echo $((${#str}+${offset}))
}
cd $MYSQLPATH
for i in */; do
if [ $i != 'performance_schema/' ] ; then
DB=`basename "$i"`
#echo "backup $DB->$BACKUP_DIR$DB.sql.lzo"
mysqlcheck "$DB" $MYSQL_CONN --silent --auto-repair >/tmp/tmp_grep_mysql-backup
grep -E -B1 "note|warning|support|auto_increment|required|locks" /tmp/tmp_grep_mysql-backup>/tmp/tmp_grep_mysql-backup_not
grep -v "$(cat /tmp/tmp_grep_mysql-backup_not)" /tmp/tmp_grep_mysql-backup
tbl_count=0
for t in $(mysql -NBA -h $DB_host $MYSQL_CONN -D $DB -e 'show tables')
do
found=$(strpos "$IGNORE" "$DB"."$t,")
if [ "$found" == "" ] ; then
echo "DUMPING TABLE: $DB.$t"
mysqldump -h $DB_host $MYSQL_CONN $DB $t --events --skip-lock-tables | lzop -3 -f -o $BACKUP_DIR/$DB.$t.sql.lzo
tbl_count=$(( tbl_count + 1 ))
fi
done
echo "$tbl_count tables dumped from database '$DB' into dir=$BACKUP_DIR"
fi
done
在https://stackoverflow.com/a/17016410/1069083的帮助下
它使用更快的lzop,参见:http://pokecraft.first-world.info/wiki/Quick_Benchmark:_Gzip_vs_Bzip2_vs_LZMA_vs_XZ_vs_LZ4_vs_LZO
排除某些表数据,但不排除表结构。我是这样做的:
转储所有表的数据库结构,不含任何数据:
mysqldump -u user -p --no-data database > database_structure.sql
然后转储数据库中的数据,除了排除的表,不转储结构:
mysqldump -u user -p --no-create-info \
--ignore-table=database.table1 \
--ignore-table=database.table2 database > database_data.sql
然后,将它加载到一个新的数据库:
mysql -u user -p newdatabase < database_structure.sql
mysql -u user -p newdatabase < database_data.sql
另一个忽略多个表的例子
/usr/bin/mysqldump -uUSER -pPASS --ignore-table={db_test.test1,db_test.test3} db_test> db_test.sql
使用——ignore-table创建一个表数组,语法为
--ignore-table={db_test.table1,db_test.table3,db_test.table4}
额外的:
导入数据库
# if file is .sql
mysql -uUSER -pPASS db_test < backup_database.sql
# if file is .sql.gz
gzip -dc < backup_database.sql.gz | mysql -uUSER -pPASSWORD db_test
简单的脚本,忽略表和导出在.sql.gz节省空间
#!/bin/bash
#tables to ignore
_TIGNORE=(
my_database.table1
my_database.table2
my_database.tablex
)
#create text for ignore tables
_TDELIMITED="$(IFS=" "; echo "${_TIGNORE[*]/#/--ignore-table=}")"
#don't forget to include user and password
/usr/bin/mysqldump -uUSER -pPASSWORD --events ${_TDELIMITED} --databases my_database | gzip -v > backup_database.sql.gz
有帮助你的信息链接
Mysqldump & gzip Mysqldump到tar.gz 如何加载一个sql.gz文件到我的数据库?
注意:在ubuntu服务器上测试,mysql version 14.14 Distrib 5.5.55
我喜欢Rubo77的解决方案,在我修改Paul的解决方案之前,我从未见过它。它将备份单个数据库,排除您不想要的任何表。然后它会gzip它,并删除任何超过8天的文件。我可能会使用这两个版本,每天执行一次完整的(减去日志表),另一个版本只使用两个cron作业备份每小时更改最多的最重要的表。
#!/bin/sh
PASSWORD=XXXX
HOST=127.0.0.1
USER=root
DATABASE=MyFavoriteDB
now="$(date +'%d_%m_%Y_%H_%M')"
filename="${DATABASE}_db_backup_$now"
backupfolder="/opt/backups/mysql"
DB_FILE="$backupfolder/$filename"
logfile="$backupfolder/"backup_log_"$(date +'%Y_%m')".txt
EXCLUDED_TABLES=(
logs
)
IGNORED_TABLES_STRING=''
for TABLE in "${EXCLUDED_TABLES[@]}"
do :
IGNORED_TABLES_STRING+=" --ignore-table=${DATABASE}.${TABLE}"
done
echo "Dump structure started at $(date +'%d-%m-%Y %H:%M:%S')" >> "$logfile"
mysqldump --host=${HOST} --user=${USER} --password=${PASSWORD} --single-transaction --no-data --routines ${DATABASE} > ${DB_FILE}
echo "Dump structure finished at $(date +'%d-%m-%Y %H:%M:%S')" >> "$logfile"
echo "Dump content"
mysqldump --host=${HOST} --user=${USER} --password=${PASSWORD} ${DATABASE} --no-create-info --skip-triggers ${IGNORED_TABLES_STRING} >> ${DB_FILE}
gzip ${DB_FILE}
find "$backupfolder" -name ${DATABASE}_db_backup_* -mtime +8 -exec rm {} \;
echo "old files deleted" >> "$logfile"
echo "operation finished at $(date +'%d-%m-%Y %H:%M:%S')" >> "$logfile"
echo "*****************" >> "$logfile"
exit 0
mysqlpump命令可以与
--exclude-tables=name
命令。它指定要排除的表的逗号分隔列表。
mysqlpump的语法和mysqldump非常相似,但是它的性能更好。 关于如何使用排除选项的更多信息,您可以在这里阅读:https://dev.mysql.com/doc/refman/5.7/en/mysqlpump.html#mysqlpump-filtering
为了完整起见,这里有一个脚本,实际上可以是一行程序,从数据库中获得备份,排除(忽略)所有视图。db名称假设为employees:
ignore=$(mysql --login-path=root1 INFORMATION_SCHEMA \
--skip-column-names --batch \
-e "select
group_concat(
concat('--ignore-table=', table_schema, '.', table_name) SEPARATOR ' '
)
from tables
where table_type = 'VIEW' and table_schema = 'employees'")
mysqldump --login-path=root1 --column-statistics=0 --no-data employees $ignore > "./backups/som_file.sql"
您可以更新查询的逻辑。通常使用group_concat和concat可以生成几乎任何想要的字符串或shell命令。
一般来说,当您不想或没有时间处理一个巨大的表时,就需要使用这个特性。如果是这种情况,最好使用mysqldump限制结果集的——where选项。例如:mysqldump -uuser -ppass database——where="1 = 1 LIMIT 500000" > resultset.sql。
使用mysqldump跳过某些表
假设在一些数据库中有一些测试表,您需要 将他们排除在备份之外;您可以使用——来指定 exclude-tables选项,该选项将排除具有该名称的表 测试所有数据库:
Shell > mysqldump——exclude-tables=test——resultfile=backup_excluding_test.sql