vimの文字化け

MS Windows上で作成された文書をlinux,freebsdのターミナル(konsole,gnome-terminal)上のvimで編集するとき文書全体または一部が文字化けして、編集できない場合があります。そのような場合、以下の特定の文字が関係しています。

• CP932(Microsoftコードページ932)はShift_JISを拡張した文字コード。ただしhtmlのmetaタグのcharset=で指定するのは、Shift_JISです。インターネットで使う文字コード(キャラクタセット)の正式名称はIANA(アイアナ)というインターネットに関連する番号を管理する組織が行なっている。
  Character Sets:

  http://www.iana.org/assignments/character-sets/character-sets.xhtml

  によると「大文字小文字の使用は区別されない」となっています。
• MINUS SIGN(CP932符号:817c)を含むファイルを編集するときsjisでファイルを読み直すと編集できる場合がある。

  :e ++enc=sjis

  ~/.vimrc 記述例

  set encoding=utf-8
  set termencoding=utf-8
  set fileencoding=utf-8
  set fileencodings=utf-8,sjis,cp932,utf-16,utf-16le,euc-jp,iso-2022-jp,ucls2le,ucs-2,iso8859-1

  cp932, shift_jis, sjis は似ているが正確には同じではないとの記述がmbyte.txtにある。
• 〜(WAVE DASH 波ダッシュ)は～(FULLWIDTH tilde 全角チルダ)と字型が似ているが、UnicodeやJIS X2013では別の文字であり「Unicode#波ダッシュ・全角チルダ問題」として認識されている。
• UTF-16符号の列がhtmlの文字コードに関係なく数値文字参照として使える。2212 —> −
• 丸数字、かっこ(株)などはNEC特殊文字の一部です。丸数字は丸1から丸20まであります。詳しくは コンピュータ上における丸数字 を参照して下さい。
  変換例

  perl -p -e 's/\x81\x7c/-/' inputfile > outputfile
  perl -p -e 's/\x87\x40/(1)/;s/\x87\x41/(2)/;s/\x87\x42/(3)/' inputfile > outputfile
  

• NEC特殊文字の他、NEC選定IBM拡張文字、IBM拡張文字 などが文字化けする確率の高い文字です。これらの文字は一般的には歴史的な経緯により機種依存文字とされています。
• 日本語用の符号化文字集合を規定した JIS X 0213 では、これらのNEC特殊文字は規定されているので機種依存文字としないという意見もありますが、メールなどでは環境によって文字化けするので使用しない事を望みます。またHTMLでは数値文字参照を使用するようにしたい。