我想复制一个生产PostgreSQL数据库到一个开发服务器。最快最简单的方法是什么?
当前回答
让我分享一个Linux shell脚本,将你的表数据从一个服务器复制到另一个PostgreSQL服务器。
参考本博客:
用于PostgreSQL服务器间数据迁移的Linux Bash Shell脚本:
#!/bin/bash
psql \
-X \
-U user_name \
-h host_name1 \
-d database_name \
-c "\\copy tbl_Students to stdout" \
| \
psql \
-X \
-U user_name \
-h host_name2 \
-d database_name \
-c "\\copy tbl_Students from stdin"
我只是在迁移数据;请在目标/第二个数据库服务器上创建一个空表。
这是一个实用程序脚本。此外,您还可以修改脚本以使其具有通用用途,例如为host_name、database_name、table_name等添加参数
其他回答
下面是使用pg_basebackup的示例
我选择这样做是因为它备份整个数据库集群(用户、数据库等)。
我把这个作为解决方案发布在这里,因为它详细说明了我必须采取的每一步,在阅读这里的其他答案并做更多的研究后,请随意添加建议或改进。
对于Postgres 12和Ubuntu 18.04,我必须做这些操作:
在当前运行数据库的服务器上:
更新pg_hba.conf,为我位于/etc/postgresql/12/main/pg_hba.conf
添加以下行(将192.168.0.100替换为要将数据库复制到的服务器的IP地址)。
host replication postgres 192.168.0.100/32 trust
更新postgresql.conf,我的地址是/etc/postgresql/12/main/postgresql.conf。增加如下一行:
listen_addresses = '*'
重启postgres:
Sudo服务postgresql重启
将数据库集群拷贝到以下主机:
Sudo service postgresql stop Sudo su root Rm -rf /var/lib/postgresql/12/main/* 退出 sudo -u postgres pg_basebackup -h 192.168.0.101 -u postgres -D /var/lib/postgresql/12/main/ .使用实例 Sudo服务postgresql启动
大方向——停止服务,删除数据目录中的所有内容(我的目录在/var/lib/postgreql/12)。该目录的权限为drwx------,用户和组为postgres。我只能作为根用户来做,甚至不能使用sudo -u postgres。我不知道为什么。确保您在要将数据库复制到的新服务器上执行此操作!您正在删除整个数据库集群。
确保将IP地址从192.168.0.101更改为复制数据库的IP地址。使用pg_basebackup从原始服务器复制数据。启动服务。
更新pg_hba.conf和postgresql.conf以匹配原始服务器配置-在您添加复制行和listen_addresses行之前进行任何更改(在我的关心下,我必须添加通过md5本地登录pg_hba.conf的能力)。
注意,关于max_wal_senders和wal_level有一些注意事项,可以在文档中找到。我不需要做任何事。
Pg_basebackup现在似乎是更好的方式,特别是对于大型数据库。
可以从具有相同或较旧主版本的服务器复制数据库。或者更准确地说:
Pg_basebackup适用于相同或更老版本(低至9.1)的服务器。但WAL流模式(-X stream)仅适用于9.3及以后的服务器版本,当前版本的tar格式模式(——format=tar)仅适用于9.5及以后的服务器版本。
对于源服务器,您需要:
listen_addresses = '*' to be able to connect from the target server. Make sure port 5432 is open for that matter. At least 1 available replication connection: max_wal_senders = 1 (-X fetch), 2 for -X stream (the default in case of PostgreSQL 12), or more. wal_level = replica or higher to be able to set max_wal_senders > 0. host replication postgres DST_IP/32 trust in pg_hba.conf. This grants access to the pg cluster to anyone from the DST_IP machine. You might want to resort to a more secure option.
更改1、2、3需要重新启动服务器,更改4需要重新加载。
在目标服务器上:
# systemctl stop postgresql@VERSION-NAME
postgres$ pg_basebackup -h SRC_IP -U postgres -D VERSION/NAME --progress
# systemctl start postgresql@VERSION-NAME
让我分享一个Linux shell脚本,将你的表数据从一个服务器复制到另一个PostgreSQL服务器。
参考本博客:
用于PostgreSQL服务器间数据迁移的Linux Bash Shell脚本:
#!/bin/bash
psql \
-X \
-U user_name \
-h host_name1 \
-d database_name \
-c "\\copy tbl_Students to stdout" \
| \
psql \
-X \
-U user_name \
-h host_name2 \
-d database_name \
-c "\\copy tbl_Students from stdin"
我只是在迁移数据;请在目标/第二个数据库服务器上创建一个空表。
这是一个实用程序脚本。此外,您还可以修改脚本以使其具有通用用途,例如为host_name、database_name、table_name等添加参数
您不需要创建中间文件。你可以这样做
pg_dump -C -h localhost -U localuser dbname | psql -h remotehost -U remoteuser dbname
or
pg_dump -C -h remotehost -U remoteuser dbname | psql -h localhost -U localuser dbname
使用PSQL或pg_dump连接到远程主机。
对于大数据库或慢速连接,转储文件和传输压缩文件可能更快。
正如Kornel所说,没有必要转储到中间文件,如果你想压缩工作,你可以使用压缩隧道
pg_dump -C dbname | bzip2 | ssh remoteuser@remotehost "bunzip2 | psql dbname"
or
pg_dump -C dbname | ssh -C remoteuser@remotehost "psql dbname"
但是这个解决方案还需要在两端都获得一个会话。
注:pg_dump用于备份,psql用于恢复。因此,这个答案中的第一个命令是从本地复制到远程,第二个命令是从远程复制到本地。更多-> https://www.postgresql.org/docs/9.6/app-pgdump.html
以数据库名称运行此命令,如果要备份,则转储数据库。
pg_dump -U {user-name} {source_db} -f {dumpfilename.sql}
eg. pg_dump -U postgres mydbname -f mydbnamedump.sql
现在将这个转储文件scp到您想要复制DB的远程机器。
eg. scp mydbnamedump.sql user01@remotemachineip:~/some/folder/
在远程机器上,在~/some/文件夹中运行以下命令来恢复DB。
psql -U {user-name} -d {desintation_db}-f {dumpfilename.sql}
eg. psql -U postgres -d mynewdb -f mydbnamedump.sql
推荐文章
- 比较两个SQL Server数据库(模式和数据)的最佳工具是什么?
- PostgreSQL删除所有内容
- 为什么PostgreSQL要对索引列进行顺序扫描?
- PostgreSQL INSERT ON冲突更新(upsert)使用所有排除的值
- 如何检查一个表是否存在于给定的模式中
- 如何在SQL Server Management Studio中查看查询历史
- 如何将整数转换为字符串作为PostgreSQL查询的一部分?
- Psycopg2:用一个查询插入多行
- PostgreSQL返回JSON数组的结果集?
- PostgreSQL通配符LIKE用于单词列表中的任何一个
- 如何创建数据库的MongoDB转储?
- 检查Postgres JSON数组是否包含字符串
- psql: FATAL: Peer authentication failed for user "dev"
- 如何在Postgres/SQL中获得两个整数的最小/最大值?
- 多语言数据库设计的最佳实践是什么?