我试图使用bash中的一些东西向我显示打印而不是解释的文件中的行结束符。该文件是从SSIS/SQL Server中转储的,由Linux机器读入以进行处理。

在vi中有任何开关,少,多,等等? 除了看到行结束符,我还需要知道它是什么类型的行结束符(CRLF或LF)。我怎么知道呢?


在...

:设置列表以查看行结束符。

:将nolist设置为正常。

虽然我不认为你可以在vi中看到\n或\r\n,但你可以看到它是哪种类型的文件(UNIX, DOS等)来推断它有哪些行尾…

:设置FF

或者,在bash中可以使用od -t c <filename>或od -c <filename>来显示返回值。


在bash shell中,尝试cat -v <filename>。这将显示windows文件的回车。

(这适用于我在Windows XP上通过Cygwin的rxvt)。

编者注:cat -v显示\r (CR)字符。^ M。因此,行将结束的\r\n序列将在每一行的末尾显示为^M。Cat -e将额外可视化\n,即$。(cat -et将额外可视化制表符字符。^我。)


您可以使用文件实用程序来指示行结束符的类型。

Unix:

$ file testfile1.txt
testfile.txt: ASCII text

“DOS”:

$ file testfile2.txt
testfile2.txt: ASCII text, with CRLF line terminators

将“DOS”转换为Unix:

$ dos2unix testfile2.txt

从Unix转换到DOS:

$ unix2dos testfile1.txt

转换一个已经转换的文件没有效果,所以盲目运行是安全的(即不先测试格式),尽管通常的免责声明适用,一如既往。


可以使用命令todos filename转换为DOS结尾,使用命令fromdos filename转换为UNIX行结尾。要在Ubuntu上安装软件包,输入sudo apt-get install tofrodos。


您可以使用xxd显示文件的十六进制转储,并查找“0d0a”或“0a”字符。

你可以使用cat -v <filename>,就像@warriorpostman建议的那样。


要在less中将CR显示为^M,请使用less -u或在less打开时键入-u。

Man less说:

-u或——下划线-特殊 导致退格和回车被视为打印 能力特征;也就是说,它们被发送到终端时 它们出现在输入中。


我将输出转储到一个文本文件中。然后我在notepad++中打开它,然后单击显示所有字符按钮。不是很优雅,但是很好用。


Ubuntu 14.04:

简单的cat -e <filename>就可以了。

这将Unix的行结束符(\n或LF)显示为$,Windows的行结束符(\r\n或CRLF)显示为^M$。


You can use vim -b filename to edit a file in binary mode, which will show ^M characters for carriage return and a new line is indicative of LF being present, indicating Windows CRLF line endings. By LF I mean \n and by CR I mean \r. Note that when you use the -b option the file will always be edited in UNIX mode by default as indicated by [unix] in the status line, meaning that if you add new lines they will end with LF, not CRLF. If you use normal vim without -b on a file with CRLF line endings, you should see [dos] shown in the status line and inserted lines will have CRLF as end of line. The vim documentation for fileformats setting explains the complexities.

另外,我没有足够的点来评论notepad++的答案,但如果你在Windows上使用notepad++,使用查看/显示符号/显示行结束菜单来显示CR和LF。在本例中显示LF,而对于vim, LF由新行表示。


尝试file,然后file -k,然后dos2unix -ih

文件通常就足够了。但对于困难的情况,请尝试file -k或dosunix -ih。

下面的细节。


试试file -k

简短的版本:file -k somefile.txt会告诉你。

它将输出CRLF行结束符用于DOS/Windows行结束符。 它将输出MAC行结束符的CR行结束符。 它只输出Linux/Unix“LF”行结束符的文本。(所以如果它没有明确提到任何类型的行结束符,那么这意味着:“LF行结束符”。)

长版本见下文。


真实世界的例子:证书编码

我有时需要检查PEM证书文件。

常规文件的问题是:有时它试图太聪明/太具体。

让我们做个小测试:我有一些文件。其中一个文件有不同的行尾。哪一个?

(顺便说一下:这是我的一个典型的“证书工作”目录。)

让我们尝试常规文件:

$ file -- *
0.example.end.cer:         PEM certificate
0.example.end.key:         PEM RSA private key
1.example.int.cer:         PEM certificate
2.example.root.cer:        PEM certificate
example.opensslconfig.ini: ASCII text
example.req:               PEM certificate request

嗯。它没有告诉我行将结束。我已经知道那些是认证文件。我不需要“档案”来告诉我这些。

一些网络设备对它们的证书文件的编码方式非常非常挑剔。所以我才需要知道。

你还能尝试什么?

你可以尝试使用dos2unix的——info开关,像这样:

$ dos2unix --info -- *
  37       0       0  no_bom    text    0.example.end.cer
   0      27       0  no_bom    text    0.example.end.key
   0      28       0  no_bom    text    1.example.int.cer
   0      25       0  no_bom    text    2.example.root.cer
   0      35       0  no_bom    text    example.opensslconfig.ini
   0      19       0  no_bom    text    example.req

这告诉你,是的,"0。example。end。Cer "一定是个另类。但是行尾是什么样的呢?你能记住dos2unix输出格式吗?(我不喜欢。)

但幸运的是,文件中有——keep-going(简称-k)选项:

$ file --keep-going -- *
0.example.end.cer:         PEM certificate\012- , ASCII text, with CRLF line terminators\012- data
0.example.end.key:         PEM RSA private key\012- , ASCII text\012- data
1.example.int.cer:         PEM certificate\012- , ASCII text\012- data
2.example.root.cer:        PEM certificate\012- , ASCII text\012- data
example.opensslconfig.ini: ASCII text\012- data
example.req:               PEM certificate request\012- , ASCII text\012- data

太好了!现在我们知道奇数文件有DOS (CRLF)行结束符。(其他文件有Unix (LF)行结束符。这在输出中不是显式的。它是隐式的。这只是文件期望“常规”文本文件的方式。)

(如果你想分享我的记忆:“L”代表“Linux”和“LF”。)

现在让我们转换罪魁祸首,再试一次:

$ dos2unix -- 0.example.end.cer

$ file --keep-going -- *
0.example.end.cer:         PEM certificate\012- , ASCII text\012- data
0.example.end.key:         PEM RSA private key\012- , ASCII text\012- data
1.example.int.cer:         PEM certificate\012- , ASCII text\012- data
2.example.root.cer:        PEM certificate\012- , ASCII text\012- data
example.opensslconfig.ini: ASCII text\012- data
example.req:               PEM certificate request\012- , ASCII text\012- data  

很好。现在所有的cert都有Unix行结束符。

试试2unix -ih

当我写上面的例子时,我并不知道这一点,但是:

实际上,如果你使用-ih(——info=h的缩写),dos2unix会给你一个标题行,就像这样:

$ dos2unix -ih -- *
 DOS    UNIX     MAC  BOM       TXTBIN  FILE
   0      37       0  no_bom    text    0.example.end.cer
   0      27       0  no_bom    text    0.example.end.key
   0      28       0  no_bom    text    1.example.int.cer
   0      25       0  no_bom    text    2.example.root.cer
   0      35       0  no_bom    text    example.opensslconfig.ini
   0      19       0  no_bom    text    example.req

还有一个“实际上”的时刻:标题的格式真的很容易记住:这里有两个助记符:

它是DUMB(从左到右:d代表Dos, u代表Unix, m代表Mac, b代表BOM)。 还有:“DUM”只是D, U和M的字母顺序。

进一步的阅读

人文件 男人dos2unix 维基百科:换行符


Vim -总是将Windows换行符显示为^M

如果你喜欢在vim渲染中总是看到Windows换行符为^M,你可以将这行添加到你的.vimrc中:

set ffs=unix

这将使vim将您打开的每个文件解释为unix文件。由于unix文件以\n作为换行符,具有\r\n换行符的windows文件仍将正确呈现(多亏了\n),但在文件的末尾将有^M(这就是vim呈现\r字符的方式)。


Vim -有时显示Windows换行符

如果您更喜欢在每个文件的基础上设置它,您可以在编辑给定文件时使用:e++ ff=unix。


Vim -始终显示文件类型(unix vs dos)

如果您希望vim的底线始终显示您正在编辑的文件类型(并且您没有强制将文件类型设置为unix),您可以添加到您的状态行 设置statusline+=\ %{&fileencoding?&fileencoding:&encoding}。

我的完整状态线如下所示。只需将其添加到您的.vimrc。

" Make statusline stay, otherwise alerts will hide it
set laststatus=2
set statusline=
set statusline+=%#PmenuSel#
set statusline+=%#LineNr#
" This says 'show filename and parent dir'
set statusline+=%{expand('%:p:h:t')}/%t
" This says 'show filename as would be read from the cwd'
" set statusline+=\ %f
set statusline+=%m\
set statusline+=%=
set statusline+=%#CursorColumn#
set statusline+=\ %y
set statusline+=\ %{&fileencoding?&fileencoding:&encoding}
set statusline+=\[%{&fileformat}\]
set statusline+=\ %p%%
set statusline+=\ %l:%c
set statusline+=\ 

它会渲染成

.vim/vimrc\                                    [vim] utf-8[unix] 77% 315:6

在你文件的底部


Vim -有时显示文件类型(unix vs dos)

如果你只是想看看你有什么类型的文件,你可以使用:set fileformat(如果你强制设置文件类型,这将不起作用)。它将为unix文件返回unix,为Windows文件返回dos。