我试图解析从curl请求返回的JSON，就像这样:
curl 'http://twitter.com/users/username.json' |
sed -e 's/[{}]/''/g' |
awk -v k="text" '{n=split($0,a,","); for (i=1; i<=n; i++) print a[i]}'
上面将JSON划分为多个字段，例如:
% ...
"geo_enabled":false
"friends_count":245
"profile_text_color":"000000"
"status":"in_reply_to_screen_name":null
"source":"web"
"truncated":false
"text":"My status"
"favorited":false
% ...
我如何打印一个特定的字段(由-v k=文本表示)?
当前回答
你问我怎么搬起石头砸自己的脚，我来提供弹药:
curl -s 'http://twitter.com/users/username.json' | sed -e 's/[{}]/''/g' | awk -v RS=',"' -F: '/^text/ {print $2}'
您可以使用tr -d '{}'而不是sed。但是把它们完全排除在外似乎也能达到预期的效果。
如果想去掉外部的引号，可以通过sed 's/\(^"\|"$\)//g'输出上述结果
我认为其他人已经敲响了足够的警钟。我会拿着手机等着叫救护车。准备好就开火。
其他回答
更新(2020)
我使用外部工具(例如Python)时遇到的最大问题是，你必须处理包管理器和安装它们的依赖关系。
然而，现在我们有了jq作为一个独立的静态工具，很容易通过GitHub发布和Webi (webinstall.dev/jq)跨平台安装，我建议:
Mac、Linux:
curl -sS https://webi.sh/jq | bash
Windows 10:
curl.exe -A MS https://webi.ms/jq | powershell
小抄:https://webinstall.dev/jq
原(2011)
TickTick是一个用bash编写的JSON解析器(不到250行代码)。
以下是作者在他的文章《想象一个Bash支持JSON的世界》中的片段:
#!/bin/bash
. ticktick.sh
``
people = {
"Writers": [
"Rod Serling",
"Charles Beaumont",
"Richard Matheson"
],
"Cast": {
"Rod Serling": { "Episodes": 156 },
"Martin Landau": { "Episodes": 2 },
"William Shatner": { "Episodes": 2 }
}
}
``
function printDirectors() {
echo " The ``people.Directors.length()`` Directors are:"
for director in ``people.Directors.items()``; do
printf " - %s\n" ${!director}
done
}
`` people.Directors = [ "John Brahm", "Douglas Heyes" ] ``
printDirectors
newDirector="Lamont Johnson"
`` people.Directors.push($newDirector) ``
printDirectors
echo "Shifted: "``people.Directors.shift()``
printDirectors
echo "Popped: "``people.Directors.pop()``
printDirectors
Niet是一个工具，可以帮助您直接在shell或Bash CLI中从JSON或YAML文件中提取数据。
pip install niet
考虑一个名为project的JSON文件。Json，包含以下内容:
{
project: {
meta: {
name: project-sample
}
}
你可以这样使用Niet:
PROJECT_NAME=$(niet project.json project.meta.name)
echo ${PROJECT_NAME}
输出:
project-sample
你有多种选择。 您可以使用trdsql[1]来解析和转换JSON/CSV输入。以你为榜样;
trdsql "select attr1,attr2 from sample.json"
你也可以像SQL一样使用where子句。输出在CSV, JSON等。非常方便的工具。
根据我的经验，trdsql在处理属性嵌套值时有点问题，所以我在适当的时候使用qp[2]找到了一个解决方案。
cat sample.json | qp 'select attr1, attr2.detail.name where attr3=10'
注意这里没有FROM。
为了查看结果，您可以使用超快速命令行json查看器工具jless来查看输出[3]。
Clickhouse来了个新人。您可以从[4]中看到它的功能。
https://github.com/noborus/trdsql https://jless.io https://github.com/f5io/qp https://clickhouse.com/blog/extracting-converting-querying-local-files-with-sql-clickhouse-local
基于这里的一些建议(特别是在评论中)建议使用Python，我很失望没有找到一个例子。
下面是一行程序，从JSON数据中获取单个值。它假设您将数据输送进来(从某个地方)，因此在脚本上下文中应该很有用。
echo '{"hostname":"test","domainname":"example.com"}' | python -c 'import json,sys;obj=json.load(sys.stdin);print obj["hostname"]'
我已经这样做了，为一个特定的值“解析”JSON响应，如下所示:
curl $url | grep $var | awk '{print $2}' | sed s/\"//g
显然，这里的$url将是Twitter url， $var将是“text”，以获取该变量的响应。
实际上，我认为我所做的OP所遗漏的唯一一件事是grep，用于他所寻找的特定变量的行。AWK获取行上的第二项，并使用sed删除引号。
比我聪明的人可能会用AWK或grep来做整个思考。
现在，你可以用sed完成这一切:
curl $url | sed '/text/!d' | sed s/\"text\"://g | sed s/\"//g | sed s/\ //g
因此，没有AWK，没有grep…我不知道为什么我以前没想到。嗯…
