如何将一个NodeJS二进制缓冲区转换为JavaScript数组缓冲区?


NodeJS,在某一时刻(我想是v0.6.x)有ArrayBuffer支持。我在这里创建了一个用于base64编码和解码的小库,但自从更新到v0.7以来,测试(在NodeJS上)失败了。我正在考虑创建一些标准化的东西,但在此之前,我认为应该使用节点的本机缓冲区。


Buffer的实例也是node.js 4中Uint8Array的实例。X和更高。因此,最有效的解决方案是直接访问缓冲区自己的.buffer属性,如https://stackoverflow.com/a/31394257/1375574。Buffer构造函数也接受一个ArrayBufferView参数,如果你需要走另一个方向。

注意,这不会创建一个副本,这意味着对任何ArrayBufferView的写入都将写入原始的Buffer实例。


In older versions, node.js has both ArrayBuffer as part of v8, but the Buffer class provides a more flexible API. In order to read or write to an ArrayBuffer, you only need to create a view and copy across.

从Buffer到ArrayBuffer:

function toArrayBuffer(buffer) {
  const arrayBuffer = new ArrayBuffer(buffer.length);
  const view = new Uint8Array(arrayBuffer);
  for (let i = 0; i < buffer.length; ++i) {
    view[i] = buffer[i];
  }
  return arrayBuffer;
}

从ArrayBuffer到Buffer:

function toBuffer(arrayBuffer) {
  const buffer = Buffer.alloc(arrayBuffer.byteLength);
  const view = new Uint8Array(arrayBuffer);
  for (let i = 0; i < buffer.length; ++i) {
    buffer[i] = view[i];
  }
  return buffer;
}

"From ArrayBuffer to Buffer"可以这样做:

var buffer = Buffer.from( new Uint8Array(arrayBuffer) );

一种更快的写法

var arrayBuffer = new Uint8Array(nodeBuffer).buffer;

然而,在包含1024个元素的缓冲区上,这似乎比建议的toArrayBuffer函数慢了大约4倍。


使用以下优秀的npm包:to-arraybuffer。

或者,您可以自己实现它。如果你的缓冲区叫buf,这样做:

buf.buffer.slice(buf.byteOffset, buf.byteOffset + buf.byteLength)

我尝试了上面的Float64Array,它只是没有工作。

我最终意识到,真正的数据需要读入正确的块视图。这意味着一次从源Buffer读取8个字节。

总之,这是我最后得到的……

var buff = new Buffer("40100000000000004014000000000000", "hex");
var ab = new ArrayBuffer(buff.length);
var view = new Float64Array(ab);

var viewIndex = 0;
for (var bufferIndex=0;bufferIndex<buff.length;bufferIndex=bufferIndex+8)            {

    view[viewIndex] = buff.readDoubleLE(bufferIndex);
    viewIndex++;
}

没有依赖,最快,Node.js 4。X及以后

Buffers是Uint8Arrays,所以你只需要切片(复制)它的支持ArrayBuffer的区域。

// Original Buffer
let b = Buffer.alloc(512);
// Slice (copy) its segment of the underlying ArrayBuffer
let ab = b.buffer.slice(b.byteOffset, b.byteOffset + b.byteLength);

切片和偏移量是必需的,因为小缓冲区(默认小于4 kB,池大小的一半)可以是共享ArrayBuffer上的视图。如果没有切片,你可能会得到一个ArrayBuffer,其中包含了来自另一个Buffer的数据。请参阅文档中的解释。

如果你最终需要一个TypedArray,你可以创建一个而不复制数据:

// Create a new view of the ArrayBuffer without copying
let ui32 = new Uint32Array(b.buffer, b.byteOffset, b.byteLength / Uint32Array.BYTES_PER_ELEMENT);

没有依赖,速度适中,适用于任何版本的Node.js

使用Martin Thomson的答案,它在O(n)时间内运行。(参见我对他关于非优化的回答的回复。使用DataView很慢。即使你需要转换字节,也有更快的方法。)

依赖,快速,Node.js≤0.12或iojs 3.x

您可以使用https://www.npmjs.com/package/memcpy向任何一个方向(缓冲区到ArrayBuffer和返回)。它比这里发布的其他答案要快,而且是一个写得很好的库。节点0.12到iojs 3。X要求ngossen's fork(见此)。


我已经将节点更新到5.0.0版本 我在研究这个:

function toArrayBuffer(buffer){
    var array = [];
    var json = buffer.toJSON();
    var list = json.data

    for(var key in list){
        array.push(fixcode(list[key].toString(16)))
    }

    function fixcode(key){
        if(key.length==1){
            return '0'+key.toUpperCase()
        }else{
            return key.toUpperCase()
        }
    }

    return array
}

我用它来检查我的vhd磁盘映像。


这个代理将把缓冲区暴露为任何typedarray,没有任何副本。:

https://www.npmjs.com/package/node-buffer-as-typedarray

它只能在LE上工作,但是可以很容易地移植到be上。 而且,从来没有真正测试过这有多高效。


可以把ArrayBuffer看作是类型化的Buffer。

因此,ArrayBuffer总是需要一个类型(所谓的“数组缓冲区视图”)。通常,数组缓冲区视图有Uint8Array或Uint16Array类型。

Renato Mangini有一篇关于ArrayBuffer和String之间转换的好文章。

我在一个代码示例中总结了基本部分(用于Node.js)。它还展示了如何在类型化的ArrayBuffer和非类型化的Buffer之间进行转换。

function stringToArrayBuffer(string) {
  const arrayBuffer = new ArrayBuffer(string.length);
  const arrayBufferView = new Uint8Array(arrayBuffer);
  for (let i = 0; i < string.length; i++) {
    arrayBufferView[i] = string.charCodeAt(i);
  }
  return arrayBuffer;
}

function arrayBufferToString(buffer) {
  return String.fromCharCode.apply(null, new Uint8Array(buffer));
}

const helloWorld = stringToArrayBuffer('Hello, World!'); // "ArrayBuffer" (Uint8Array)
const encodedString = new Buffer(helloWorld).toString('base64'); // "string"
const decodedBuffer = Buffer.from(encodedString, 'base64'); // "Buffer"
const decodedArrayBuffer = new Uint8Array(decodedBuffer).buffer; // "ArrayBuffer" (Uint8Array)

console.log(arrayBufferToString(decodedArrayBuffer)); // prints "Hello, World!"

现在有一个非常有用的npm包:buffer https://github.com/feross/buffer

它试图提供一个API,是100%相同的节点的缓冲区API,并允许:

将类型化数组转换为缓冲区:https://github.com/feross/buffer#convert-typed-array-to-buffer 将缓冲区转换为类型化数组:https://github.com/feross/buffer#convert-buffer-to-typed-array

还有更多。


Buffer是ArrayBuffer的视图。你可以使用buffer属性访问内部包装的ArrayBuffer。

这是共享内存,不需要复制。

const arrayBuffer = theBuffer.buffer

如果你想要数据的副本,从原始的Buffer(不是从包装的ArrayBuffer)创建另一个Buffer,然后引用它的包装的ArrayBuffer。

const newArrayBuffer = Buffer.from(theBuffer).buffer

作为参考,从另一个方向,从ArrayBuffer到Buffer

const arrayBuffer = getArrayBuffer()
const sharedBuffer = Buffer.from(arrayBuffer)

const copiedBuffer = Buffer.from(sharedBuffer)
const copiedArrayBuffer = copiedBuffer.buffer

令人惊讶的是,在我的情况下(电子:发送缓冲区渲染器ArrayBuffer),这只是工作

function bufferToArrayBuffer(buffer: Buffer): ArrayBuffer {
  return buffer.buffer as ArrayBuffer;
}

快了100倍

function bufferToArrayBuffer(buf) {
    const ab = new ArrayBuffer(buf.length);
    const view = new Uint8Array(ab);
    for (let i = 0; i < buf.length; ++i) {
        view[i] = buf[i];
    }
    return ab;
}