作为一个单独的工具,它工作得很好:

curl "someURL"
curl -o - "someURL"

但这在流水线上行不通:

curl "someURL" | tr -d '\n'
curl -o - "someURL" | tr -d '\n'

它返回:

(23) Failed writing body

管道cURL输出的问题是什么?如何缓冲整个cURL输出,然后处理它?


当前回答

当管道程序(例如grep)在前一个程序完成整个页面的写入之前关闭读管道时,就会发生这种情况。

在curl "url" | grep -qs foo中,一旦grep得到它想要的,它就会关闭curl的读取流。cURL没有预料到这一点,并发出“写入正文失败”错误。

一种解决方法是将流通过中间程序输送,该程序总是在将其提供给下一个程序之前读取整个页面。

E.g.

curl "url" | tac | tac | grep -qs foo

tac是一个简单的Unix程序,它读取整个输入页并颠倒行序(因此我们运行了两次)。因为它必须读取整个输入以找到最后一行,所以在cURL完成之前它不会向grep输出任何内容。当Grep得到它要找的东西时,它仍然会关闭读流,但它只会影响tac,而tac不会发出错误。

其他回答

我添加了flag -s,它完成了任务。例如:curl -o- s https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash

@Kaworu的解释很棒:https://stackoverflow.com/a/28879552/198219

当管道程序(例如grep)在前一个程序完成整个页面的写入之前关闭读管道时,就会发生这种情况。cURL没有预料到这一点,并发出“写入正文失败”错误。

一种解决方法是将流通过中间程序输送,该程序总是在将其提供给下一个程序之前读取整个页面。

我认为更正确的做法是使用海绵,就像@nisetama在评论中建议的那样:

Curl "url" |海绵| grep -qs foo

在我的情况下,服务器耗尽了磁盘空间。

用df -k检查它。

当我尝试两次通过tac进行管道处理时,我被提醒磁盘空间不足,如另一个答案:https://stackoverflow.com/a/28879552/336694中所描述的那样。它向我显示了错误消息写错误:设备上没有剩余空间。

所以这是编码的问题。Iconv解决了这个问题

curl 'http://www.multitran.ru/c/m.exe?CL=1&s=hello&l1=1' | iconv -f windows-1251 | tr -dc '[:print:]' | ...

用sudo尝试命令对我有用。例如:

sudo curl -O -k 'https url here'

注意:-O(这是大写o,不是零)& -k https url。