2024-12-01 10:00:01

URL中允许的字符

有人知道可以在GET中使用而不经过编码的完整字符列表吗?目前我使用A-Z - A-Z和0-9…但我想知道完整的名单。

我也感兴趣的是,是否会发布关于即将添加中文、阿拉伯语url的规范(显然这将对我的问题产生很大影响)。


URI中允许的字符要么是保留的,要么是不保留的(或者是百分比字符作为百分比编码的一部分)。

http://en.wikipedia.org/wiki/Percent-encoding#Types_of_URI_characters

说这些是RFC 3986非保留字符(第2.3节),以及保留字符(第2.2节),如果他们需要保留他们的特殊含义。还有一个百分比字符作为百分比编码的一部分。


从这里

因此,只有字母数字,特殊字符$-_.+!*'(), 以及用于their的保留字符 保留目的可以在URL中未经编码使用。


编辑:正如@Jukka K. Korpela正确指出的那样,RFC 1738由RFC 3986更新。 这已经扩展和澄清了对主机有效的字符,不幸的是,它不容易复制和粘贴,但我会尽我所能。

按首先匹配的顺序排列:

host        = IP-literal / IPv4address / reg-name

IP-literal  = "[" ( IPv6address / IPvFuture  ) "]"

IPvFuture   = "v" 1*HEXDIG "." 1*( unreserved / sub-delims / ":" )

IPv6address =         6( h16 ":" ) ls32
                  /                       "::" 5( h16 ":" ) ls32
                  / [               h16 ] "::" 4( h16 ":" ) ls32
                  / [ *1( h16 ":" ) h16 ] "::" 3( h16 ":" ) ls32
                  / [ *2( h16 ":" ) h16 ] "::" 2( h16 ":" ) ls32
                  / [ *3( h16 ":" ) h16 ] "::"    h16 ":"   ls32
                  / [ *4( h16 ":" ) h16 ] "::"              ls32
                  / [ *5( h16 ":" ) h16 ] "::"              h16
                  / [ *6( h16 ":" ) h16 ] "::"

ls32        = ( h16 ":" h16 ) / IPv4address
                  ; least-significant 32 bits of address

h16         = 1*4HEXDIG 
               ; 16 bits of address represented in hexadecimal

IPv4address = dec-octet "." dec-octet "." dec-octet "." dec-octet

dec-octet   = DIGIT                 ; 0-9
              / %x31-39 DIGIT         ; 10-99
              / "1" 2DIGIT            ; 100-199
              / "2" %x30-34 DIGIT     ; 200-249
              / "25" %x30-35          ; 250-255

reg-name    = *( unreserved / pct-encoded / sub-delims )

unreserved  = ALPHA / DIGIT / "-" / "." / "_" / "~"     <---This seems like a practical shortcut, most closely resembling original answer

reserved    = gen-delims / sub-delims

gen-delims  = ":" / "/" / "?" / "#" / "[" / "]" / "@"

sub-delims  = "!" / "$" / "&" / "'" / "(" / ")"
              / "*" / "+" / "," / ";" / "="

pct-encoded = "%" HEXDIG HEXDIG

来自RFC 1738规范的原始答案:

因此,只有字母数字,特殊字符“$-_.+!*'(),”,和 可以使用用于保留目的的保留字符 没有在URL中编码。

^自1998年起过时。


这些都列在RFC3986中。请参阅收集的ABNF中的URI,以了解在哪里允许什么,以及用于解析/验证的正则表达式。


即将到来的改变是针对中文,阿拉伯语域名,而不是uri。国际化的uri称为iri,在RFC 3987中定义。尽管如此,我还是建议不要自己这么做,而是依赖于现有的、经过测试的库,因为有很多URI编码/解码的选择,以及规范上认为安全的,以及实际使用(浏览器)上认为安全的。


66个无保留字符的完整列表在RFC3986中,请访问:https://www.rfc-editor.org/rfc/rfc3986#section-2.3

这是以下正则表达式集中的任何字符:

[A-Za-z0-9_.\-~]

RFC3986定义了两组你可以在URI中使用的字符:

Reserved Characters: :/?#[]@!$&'()*+,;= reserved = gen-delims / sub-delims gen-delims = ":" / "/" / "?" / "#" / "[" / "]" / "@" sub-delims = "!" / "$" / "&" / "'" / "(" / ")" / "*" / "+" / "," / ";" / "=" The purpose of reserved characters is to provide a set of delimiting characters that are distinguishable from other data within a URI. URIs that differ in the replacement of a reserved character with its corresponding percent-encoded octet are not equivalent. Unreserved Characters: A-Za-z0-9-_.~ unreserved = ALPHA / DIGIT / "-" / "." / "_" / "~" Characters that are allowed in a URI but do not have a reserved purpose are called unreserved.


我测试它通过请求我的网站(apache)与所有可用的字符在我的德语键盘作为URL参数:

http://example.com/?^1234567890ß´qwertzuiopü+asdfghjklöä#<yxcvbnm,.-°!"§$%&/()=? `QWERTZUIOPÜ*ASDFGHJKLÖÄ\'>YXCVBNM;:_²³{[]}\|µ@€~

这些没有被编码:

^0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ,.-!/()=?`*;:_{}[]\|~

urlencode()后未编码:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ.-_

rawurlencode()后未编码:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ.-_~

注意:在PHP 5.3.0之前,rawurlencode()编码~,因为RFC 1738。但它被RFC 3986所取代,所以现在可以安全使用了。但我不明白为什么{}是通过rawurlencode()编码的,因为RFC 3986中没有提到它们。

我做的另一个测试是关于邮件文本中的自动链接。我测试了Mozilla Thunderbird, aol.com, outlook.com, gmail.com, gmx.de和yahoo.de,他们完全链接包含这些字符的url:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ.-_~+#,%&=*;:@

当然?也有联系,但只有用过一次。

有些人现在建议只使用rawurlencode()字符,但您是否听说过有人在打开这些网站时遇到问题?

星号 http://wayback.archive.org/web/ * / http://google.com

结肠 https://en.wikipedia.org/wiki/Wikipedia:About

+ https://plus.google.com/+google

@号,冒号,逗号和感叹号 https://www.google.com/maps/place/USA/@36.2218457,…

正因为如此,这些字符应该可以在没有编码的情况下使用。当然你不应该使用&;因为编码序列像&。同样的原因也适用于%,因为它通常用于编码字符。和=,因为它为参数名赋值。

最后,我想说的是,可以使用这些未编码的:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ.-_~!+,*:@

但如果你希望随机生成url,你不应该使用标点符号。!,因为一些邮件应用程序不会自动链接它们:

http://example.com/?foo=bar !<最后一个字符未链接


如果你想给用户一种特殊的体验,你可以使用pushState将各种字符带到浏览器的url:

var u="";var tt=168;
for(var i=0; i< 250;i++){
 var x = i+250*tt;
console.log(x);
 var c = String.fromCharCode(x);
 u+=c; 
}
history.pushState({},"",250*tt+u);

这个答案讨论了字符可以包含在URL片段部分中而不进行转义。我单独发布了一个答案,因为这部分与这里的其他优秀答案略有不同(并且可以结合使用)。

片段部分不会被发送到服务器,在这个例子中,它是在#后面的字符:

https://example.com/#STUFF-HERE

规范

RFC 3986中的相关规范为:

  fragment    = *( pchar / "/" / "?" )
  pchar       = unreserved / pct-encoded / sub-delims / ":" / "@"
  unreserved  = ALPHA / DIGIT / "-" / "." / "_" / "~"
  sub-delims  = "!" / "$" / "&" / "'" / "(" / ")" / "*" / "+" / "," / ";" / "="

这也引用了RFC 2234中的规则

  ALPHA       =  %x41-5A / %x61-7A   ; A-Z / a-z
  DIGIT       =  %x30-39             ; 0-9

结果

所以完整的列表,不包括转义(pct编码)是:

A-Z -z 0-9。_ ~ !$ & ' () * +,;=: @ / ?

为了方便起见,这里有一个匹配有效的、未转义的片段的PCRE表达式:

/^[A-Za-z0-9\-._~!$&'()*+,;=:@\/?]*$/

编码

算起来,有:

26 + 26 + 10 + 19 = 81代码点

您可以使用基数81来有效地编码这里的数据。