使用Git管理大型二进制文件

我正在寻找如何处理我的源代码(web应用程序)依赖的大型二进制文件的意见。我们目前正在讨论几种替代方案:

Copy the binary files by hand. Pro: Not sure. Contra: I am strongly against this, as it increases the likelihood of errors when setting up a new site/migrating the old one. Builds up another hurdle to take. Manage them all with Git. Pro: Removes the possibility to 'forget' to copy a important file Contra: Bloats the repository and decreases flexibility to manage the code-base and checkouts, clones, etc. will take quite a while. Separate repositories. Pro: Checking out/cloning the source code is fast as ever, and the images are properly archived in their own repository. Contra: Removes the simpleness of having the one and only Git repository on the project. It surely introduces some other things I haven't thought about.

你对此有什么经验/想法?

还有:有人有在一个项目中使用多个Git存储库并管理它们的经验吗?

这些文件是用于生成包含这些文件的pdf文件的程序的图像。这些文件不会经常更改(例如几年)，但它们与程序非常相关。没有这些文件，程序将无法工作。

当前回答

我正在寻找如何处理我的源代码(web应用程序)依赖的大型二进制文件的意见。你对此有什么经验/想法?

当我的web应用程序二进制数据超过3gb时，我个人在我的一些云主机上就遇到过Git同步失败的情况。我当时考虑过BFT回购清洁，但感觉像一个黑客。从那时起，我开始将文件置于Git的权限之外，而是利用专门构建的工具(如Amazon S3)来管理文件、版本控制和备份。

有人有在一个项目中使用多个Git存储库并管理它们的经验吗?

是的。雨果主题主要是这样管理的。这有点滑稽，但它能完成任务。

我的建议是选择适合这项工作的工具。如果它是为一个公司，你在GitHub上管理你的代码线，付钱并使用Git-LFS。否则，您可以探索更有创意的选项，例如使用区块链进行分散加密文件存储。

需要考虑的其他选项包括Minio和s3cmd。

2017-09-10 11:33:46

其他回答

Git LFS就是答案

# Init LFS
git lfs install
git lfs track "large_file_pattern"

# Then follow regular git workflow
git add large_file
git commit -m "Init a very large file"
git push origin HEAD

在后台，git lfs会创建一个对你的大文件的引用，而不是直接存储在git repo中

欲了解更多信息:https://git-lfs.github.com/

2022-06-10 04:14:12

看看camlistore。它不是真正基于git的，但我发现它更适合您必须做的事情。

2014-10-03 10:36:05

自2015年4月以来，另一个解决方案是Git大文件存储(LFS)(由GitHub开发)。

它使用git-lfs(参见git-lfs.github.com)，并使用支持它的服务器进行测试: 您只能将元数据存储在git repo中，将大文件存储在其他地方。

2015-04-09 05:53:54

看看git bup，这是一个git扩展，可以聪明地在git存储库中存储大型二进制文件。

您希望将它作为子模块使用，但不必担心存储库变得难以处理。他们的一个示例用例是在Git中存储VM映像。

实际上我还没有看到更好的压缩率，但我的存储库中并没有真正大的二进制文件。

你的里程可能会有所不同。