2018 - 07年现状: 亚马逊有本地sql像搜索csv和json文件!

https://aws.amazon.com/blogs/developer/introducing-support-for-amazon-s3-select-in-the-aws-sdk-for-javascript/

我做了如下的事情来在我的桶中寻找模式

def getListOfPrefixesFromS3(dataPath: String, prefix: String, delimiter: String, batchSize: Integer): List[String] = {
    var s3Client = new AmazonS3Client()
    var listObjectsRequest = new ListObjectsRequest().withBucketName(dataPath).withMaxKeys(batchSize).withPrefix(prefix).withDelimiter(delimiter)
    var objectListing: ObjectListing = null
    var res: List[String] = List()

    do {
      objectListing = s3Client.listObjects(listObjectsRequest)
      res = res ++ objectListing.getCommonPrefixes
      listObjectsRequest.setMarker(objectListing.getNextMarker)
    } while (objectListing.isTruncated)
    res
  }

对于较大的存储桶，这会消耗太多时间，因为所有对象摘要都由Aws返回，而不仅仅是匹配前缀和分隔符的对象。我正在寻找提高性能的方法，到目前为止，我只发现我应该命名键，并将它们正确地组织在桶中。

快进到2020年，使用aws-okta作为我们的2fa，下面的命令，尽管迭代这个特定bucket(+270,000)中的所有对象和文件夹非常缓慢，但运行良好。

aws-okta exec dev -- aws s3 ls my-cool-bucket --recursive | grep needle-in-haystax.txt

考虑到你在AWS…我认为你会想要使用他们的CloudSearch工具。把你想要搜索的数据放到他们的服务中…让它指向S3密钥。

http://aws.amazon.com/cloudsearch/

这里要补充一点:现在已经3年了，但当你输入“如何搜索S3 Bucket”时，这篇文章是谷歌的顶部。

也许你正在寻找一些更复杂的东西，但如果你在这里试图弄清楚如何简单地通过标题找到一个对象(文件)，这是疯狂的简单:

打开桶，选择右边的“none”，并开始输入文件名。

http://docs.aws.amazon.com/AmazonS3/latest/UG/ListingObjectsinaBucket.html

试试这个命令:

aws s3api list-objects --bucket your-bucket --prefix sub-dir-path --output text --query 'Contents[].{Key: Key}'

然后，您可以将其输送到grep中，以获得特定的文件类型，以便对它们做任何您想做的事情。