为什么cURL返回错误“(23)Failed writing body”?

作为一个单独的工具，它工作得很好:

curl "someURL"
curl -o - "someURL"

但这在流水线上行不通:

curl "someURL" | tr -d '\n'
curl -o - "someURL" | tr -d '\n'

它返回:

(23) Failed writing body

管道cURL输出的问题是什么?如何缓冲整个cURL输出，然后处理它?

当前回答

对我来说，这是许可问题。Docker运行是使用用户配置文件调用的，但root是容器内的用户。解决方案是让curl写入/tmp，因为它对所有用户都有写权限，而不仅仅是根用户。

我使用了-o选项。

- o / tmp / file_to_download

其他回答

就我而言，我在做: Curl <blabla> | jq | grep <blibli>

用jq。它工作:curl <blabla> | jq。| grep <blibli>

在我的情况下，服务器耗尽了磁盘空间。

用df -k检查它。

当我尝试两次通过tac进行管道处理时，我被提醒磁盘空间不足，如另一个答案:https://stackoverflow.com/a/28879552/336694中所描述的那样。它向我显示了错误消息写错误:设备上没有剩余空间。

当管道程序(例如grep)在前一个程序完成整个页面的写入之前关闭读管道时，就会发生这种情况。

在curl "url" | grep -qs foo中，一旦grep得到它想要的，它就会关闭curl的读取流。cURL没有预料到这一点，并发出“写入正文失败”错误。

一种解决方法是将流通过中间程序输送，该程序总是在将其提供给下一个程序之前读取整个页面。

E.g.

curl "url" | tac | tac | grep -qs foo

tac是一个简单的Unix程序，它读取整个输入页并颠倒行序(因此我们运行了两次)。因为它必须读取整个输入以找到最后一行，所以在cURL完成之前它不会向grep输出任何内容。当Grep得到它要找的东西时，它仍然会关闭读流，但它只会影响tac，而tac不会发出错误。

对于完整性和将来的搜索:

这取决于cURL如何管理缓冲区，缓冲区使用-N选项禁用输出流。

例子: curl -s -N "URL" | grep -q欢迎

如果你正在尝试类似source <(curl -sS $url)这样的东西，并得到(23)Failed writing body错误，这是因为在bash 3.2 (macOS的默认)中，源进程替换不起作用。

相反，您可以使用这个解决方案。

source /dev/stdin <<<"$( curl -sS $url )"

推荐文章