在shell脚本中解析JSON非常痛苦。使用更合适的语言，创建一个工具，以与shell脚本约定一致的方式提取JSON属性。您可以使用您的新工具来解决当前的shell脚本问题，然后将其添加到您的工具包中以备将来使用。

例如，考虑一个jsonlookup工具，如果我说jsonlookup访问令牌id，它将返回在来自标准输入的属性访问中定义的属性令牌中定义的属性id，这些属性令牌可能是JSON数据。如果该属性不存在，该工具将不返回任何内容(退出状态1)。如果解析失败，则退出状态2并返回标准错误消息。如果查找成功，该工具将打印属性的值。

创建了一个用于精确提取JSON值的Unix工具后，您可以轻松地在shell脚本中使用它:

access_token=$(curl <some horrible crap> | jsonlookup access token id)

任何语言都可以实现jsonlookup。下面是一个相当简洁的Python版本:

#!/usr/bin/python

import sys
import json

try: rep = json.loads(sys.stdin.read())
except:
    sys.stderr.write(sys.argv[0] + ": unable to parse JSON from stdin\n")
    sys.exit(2)
for key in sys.argv[1:]:
    if key not in rep:
        sys.exit(1)
    rep = rep[key]
print rep

这里有一种使用AWK的方法:

curl -sL 'http://twitter.com/users/username.json' | awk -F"," -v k="text" '{
    gsub(/{|}/,"")
    for(i=1;i<=NF;i++){
        if ( $i ~ k ){
            print $i
        }
    }
}'

有XML文件的人可能想看看我的Xidel。它是一个命令行界面，无依赖的JSONiq处理器。(也就是说，它还支持XQuery进行XML或JSON处理。)

问题中的例子是:

 xidel -e 'json("http://twitter.com/users/username.json")("name")'

或者用我自己的非标准扩展语法:

 xidel -e 'json("http://twitter.com/users/username.json").name'

为了快速提取特定键的值，我个人喜欢使用“grep -o”，它只返回正则表达式的匹配项。例如，要从tweets中获取“text”字段，如下所示:

grep -Po '"text":.*?[^\\]",' tweets.json

这个正则表达式比你想象的更健壮;例如，它可以很好地处理包含逗号和转义引号的字符串。我想再做点工作，你就能做出一个保证能提取值的程序，如果它是原子的。(如果它有嵌套，那么正则表达式当然不能这样做。)

为了进一步清除(尽管保持字符串的原始转义)，您可以使用如下代码:| perl -pe 's/"text"://;/ / s / ^”;s /, / /美元”。(我这样做是为了分析。)

对于那些坚持认为你应该使用真正的JSON解析器的人——是的，这对于正确性是必不可少的，但是

To do a really quick analysis, like counting values to check on data cleaning bugs or get a general feel for the data, banging out something on the command line is faster. Opening an editor to write a script is distracting. grep -o is orders of magnitude faster than the Python standard json library, at least when doing this for tweets (which are ~2 KB each). I'm not sure if this is just because json is slow (I should compare to yajl sometime); but in principle, a regex should be faster since it's finite state and much more optimizable, instead of a parser that has to support recursion, and in this case, spends lots of CPU building trees for structures you don't care about. (If someone wrote a finite state transducer that did proper (depth-limited) JSON parsing, that would be fantastic! In the meantime we have "grep -o".)

为了编写可维护的代码，我总是使用真正的解析库。我还没有尝试过jsawk，但如果它工作得很好，这将解决第1点。

最后一个更古怪的解决方案:我写了一个脚本，使用Python json并将你想要的键提取到制表符分隔的列中;然后我通过awk的包装器，允许对列进行命名访问。这里:json2tsv和tsvawk脚本。对于这个例子，它将是:

json2tsv id text < tweets.json | tsvawk '{print "tweet " $id " is: " $text}'

这种方法没有解决第2点，比单一的Python脚本效率更低，而且有点脆弱:它强制将字符串值中的换行符和制表符规范化，以更好地处理awk的字段/记录分隔视图。但它确实让您停留在命令行上，比grep -o更正确。

使用Ruby进行解析(解释器默认在/usr/bin/ruby中可用于所有macOS版本):

echo "${JSON}" | /usr/bin/ruby -e 'require "json"; puts JSON.parse(http://STDIN.read)["key1"]["nested_key_2"];'

更新(2020)

我使用外部工具(例如Python)时遇到的最大问题是，你必须处理包管理器和安装它们的依赖关系。

然而，现在我们有了jq作为一个独立的静态工具，很容易通过GitHub发布和Webi (webinstall.dev/jq)跨平台安装，我建议:

Mac、Linux:

curl -sS https://webi.sh/jq | bash

Windows 10:

curl.exe -A MS https://webi.ms/jq | powershell

小抄:https://webinstall.dev/jq

原(2011)

TickTick是一个用bash编写的JSON解析器(不到250行代码)。

以下是作者在他的文章《想象一个Bash支持JSON的世界》中的片段:

#!/bin/bash
. ticktick.sh

``
  people = {
    "Writers": [
      "Rod Serling",
      "Charles Beaumont",
      "Richard Matheson"
    ],
    "Cast": {
      "Rod Serling": { "Episodes": 156 },
      "Martin Landau": { "Episodes": 2 },
      "William Shatner": { "Episodes": 2 }
    }
  }
``

function printDirectors() {
  echo "  The ``people.Directors.length()`` Directors are:"

  for director in ``people.Directors.items()``; do
    printf "    - %s\n" ${!director}
  done
}

`` people.Directors = [ "John Brahm", "Douglas Heyes" ] ``
printDirectors

newDirector="Lamont Johnson"
`` people.Directors.push($newDirector) ``
printDirectors

echo "Shifted: "``people.Directors.shift()``
printDirectors

echo "Popped: "``people.Directors.pop()``
printDirectors