Sat Jun 10 16:22:33 JST 2006

ある perl のプログラムをダウンロードした。 ここでは仮に hello.cgi とする。

$ perl -wc hello.cgi
hello.cgi syntax OK
$ chmod 755 hello.cgi
$ ./hello.cgi
bash: ./hello.cgi: No such file or directory

となって動かない。ところが

$ perl hello.cgi
Content-type: text/plain

Hello

ちゃんと動く。ここで疑うのは先頭の一行。

$ head -n 1 hello.cgi
#!/usr/local/bin/perl

perl のパスはあっている。どこかほかのところが関係しているのかと思い vim で行を削除したりするとなんか変。 削除したはずの行が復活したりするのだ。そこで直感したのは文字以外の制御文字が入っているということ。

$ head -n 1 hello.cgi | od -bc
0000000   #   !   /   u   s   r   /   l   o   c   a   l   /   b   i   n
        043 041 057 165 163 162 057 154 157 143 141 154 057 142 151 156
0000020   /   p   e   r   l  \r  \n
        057 160 145 162 154 015 012
0000027

あそうか Windows で使われることを前提とされているために"復帰"(carriage return) が入っていたのか。 上の出力結果では \r 8進数の 015 です。

$ tr -d '\015' <hello.cgi >tmp.txt
$ cp tmp.txt hello.cgi

以上のようにして \r を取り除きました。

Thu Oct 18 14:27:58 JST 2007

line feed とは紙を必要な行だけ上に送る(下の行に印字装置が来る)の意。
carrige return とは紙を固定して移動する装置をもとの位置に戻す(紙の左端に印字装置が来る)の意。

改行コードの変換

各種コマンドで変換

FreeBSD の sed は \r を CRと解釈しないので、改行コードの変換は以下のようにします。ここで ^M は実際の制御文字で、Ctrlを押しながらvを押した後にCtrlを押しながらmを押します。

sed -e 's/^M$//' inputfile > outputfile       # DOSをUNIXに変換
sed -e 's/$/^M/' inputfile > outputfile       # UNIXをDOSに変換

エディタで変換する。

ftp 転送モード ascii binary について

UTF-8のファイルの先頭に謎のバイナリーデータが一体これは何か？

改行コードに加えて是非書き留めて置かなくていはいけないとがあります。それは文字コードがUTF-8の場合、そのファイルがBOM(Byte Order Mark)ありかBOM無しかということです。

> head -c 12 BOM.html | od -c -t x1
0000000  357 273 277   <   !   D   O   C   T   Y   P   E                
           ef  bb  bf  3c  21  44  4f  43  54  59  50  45                
0000014

ファイルの先頭に8進数で、357 273 277 16進数で ef bb bf のバイナリーデータが付加されていることが確認できます。このためにVim バージョン6.x では文字化けしてしまいます。またW3C Markup Validation Serviceでは以下のような警告が出ます。

1. Byte-Order Mark found in UTF-8 File.

   The Unicode Byte-Order Mark (BOM) in UTF-8 encoded files is known to cause problems for some text editors and older browsers. You may want to consider avoiding its use until it is better supported.

文字コードがUTF-8のファイルに付加されたバイトオーダーマーク(BOM)はいくつかのテキストエディターや古いブラウザでは問題を起こすことが知られているとの事です。困ったことにBOMなしの場合逆に文字化けを起こしてしまうアプリもあるので要注意です。いくつかのエディターではファイルを保存する時、UTF-8(BOMあり)、UTF-8N(BOMなし)で選択できるようになっているようです。以下にperlで先頭のバイナリーデータを取り除くことができるかどうかのテスト例。(※ コマンドの先頭の``>''はpromptで、タイプするものではありません。)

> head -c 12 BOM.html | perl -pe 's/\357\273\277//' | od -c -t x1
0000000    <   !   D   O   C   T   Y   P   E                            
           3c  21  44  4f  43  54  59  50  45                            
0000011
> head -c 12 BOM.html | perl -pe 's/\xef\xbb\xbf//' | od -c -t x1
0000000    <   !   D   O   C   T   Y   P   E                            
           3c  21  44  4f  43  54  59  50  45                            
0000011

nkf(Network Kanji Filter)でもBOMを取り除くことができます。タイプミスの心配が少ないです。※ nkf バージョン2.06 は不可、2.08 可。

> nkf --version
Network Kanji Filter Version 2.0.8 (2007-07-20)
> head -c 12 BOM.html | nkf -w | od -c -t x1
0000000    <   !   D   O   C   T   Y   P   E                            
           3c  21  44  4f  43  54  59  50  45                            
0000011

in-placeで文字コードUTF-8のBOMありhtmlをBOMなしhtmlにするには以下のいずれかです。※ nkfのバージョン2.08以降。

> perl -p -i -e 's/\357\273\277//' BOM.html
> perl -p -i -e 's/\xef\xbb\xbf//' BOM.html
> sed -i -e 's/\xef\xbb\xbf//' BOM.html		# GNU版sed, freebsdの場合 textproc/gsed をインストールする必要あり。
> nkf --in-place -w BOM.html		# nkf version 2.08 以降
> nkf --overwrite -w BOM.html		# nkf version 2.08 以降

詳細は、`man perlrun`, `man nkf` で