我试图写一个bash脚本测试，需要一个参数，并通过curl发送到网站。我需要url编码的值，以确保特殊字符被正确处理。最好的方法是什么?
这是我到目前为止的基本脚本:
#!/bin/bash
host=${1:?'bad host'}
value=$2
shift
shift
curl -v -d "param=${value}" http://${host}/somepath $@
当前回答
这个基于nodejs的答案将在stdin上使用encodeURIComponent:
uriencode_stdin() {
node -p 'encodeURIComponent(require("fs").readFileSync(0))'
}
echo -n $'hello\nwörld' | uriencode_stdin
hello%0Aw%C3%B6rld
其他回答
Python 3基于@sandro在2010年的好答案:
echo "Test & /me" | python -c "import urllib.parse;print (urllib.parse.quote(input()))"
测试% 20% 26% 20 /我
有什么能比javascript更好地解析url呢?
node -p "encodeURIComponent('$url')"
为了完整起见，许多使用sed或awk的解决方案只翻译一组特殊的字符，因此代码大小相当大，也不翻译其他应该编码的特殊字符。
urlencode的一个安全方法是对每个字节进行编码——即使是那些允许的字节。
echo -ne 'some random\nbytes' | xxd -plain | tr -d '\n' | sed 's/\(..\)/%\1/g'
XXD在这里小心地将输入处理为字节而不是字符。
编辑:
xxd附带了Debian中的vim-common包，我只是在一个没有安装它的系统上，我不想安装它。另一种选择是使用Debian中的bsdmainutils包中的hexdump。根据下图，bsdmainutils和vim-common应该有相同的可能性被安装:
http://qa.debian.org/popcon-png.php?packages=vim-common%2Cbsdmainutils&show_installed=1&want_legend=1&want_ticks=1
但是这里有一个使用hexdump代替XXD的版本，并且允许避免tr调用:
echo -ne 'some random\nbytes' | hexdump -v -e '/1 "%02x"' | sed 's/\(..\)/%\1/g'
其中一种变体可能很丑，但很简单:
urlencode() {
local data
if [[ $# != 1 ]]; then
echo "Usage: $0 string-to-urlencode"
return 1
fi
data="$(curl -s -o /dev/null -w %{url_effective} --get --data-urlencode "$1" "")"
if [[ $? != 3 ]]; then
echo "Unexpected error" 1>&2
return 2
fi
echo "${data##/?}"
return 0
}
下面是一个单行版本的例子(由Bruno建议):
date | curl -Gso /dev/null -w %{url_effective} --data-urlencode @- "" | cut -c 3-
# If you experience the trailing %0A, use
date | curl -Gso /dev/null -w %{url_effective} --data-urlencode @- "" | sed -E 's/..(.*).../\1/'
下面是一个使用Lua的单行转换，类似于blueyed的答案，除了所有的RFC 3986 Unreserved Characters都没有被编码(就像这个答案):
url=$(echo 'print((arg[1]:gsub("([^%w%-%.%_%~])",function(c)return("%%%02X"):format(c:byte())end)))' | lua - "$1")
此外，您可能需要确保字符串中的换行符从LF转换为CRLF，在这种情况下，您可以插入一个gsub("\r? "“\n”，“\r\n”)在百分比编码之前。
下面是一个变体，在application/x-www-form-urlencoded的非标准风格中，它执行换行规范化，并将空格编码为'+'而不是'%20'(可以使用类似的技术将其添加到Perl代码片段中)。
url=$(echo 'print((arg[1]:gsub("\r?\n", "\r\n"):gsub("([^%w%-%.%_%~ ]))",function(c)return("%%%02X"):format(c:byte())end):gsub(" ","+"))' | lua - "$1")
