日本語文字コードこの間100円で買って来た本にわかりやすいマトメがあったのでメモ。unicodeが幅を利かす前の記述なのでUTF-8とかについての言及はないんですけどね。ちなみにこの本は「よしだともこのルート訪問記―日本のオープンソース時代を築いてきた人たち」というものです。CD-ROM付きで、私が買った100円の古本にもちゃんとついてました(笑?)。ええと、まだ少ししか読んでないんですけど、いいですよコレ。基本的には大学や研究所なんかのシステム管理者に苦労話をインタビューしてきました...みたいな内容なんですけど、特筆すべきは傍注ですかね。色々な計算機関連の用語がものすごく的確かつコンパクトに説明されてます。デキル人っぽいなー、と感じました。計算機関連の知識がすごく奥深い気配がします。ISO2022」として書いてありました。拡張法」の書かれたもの。ここで「拡張」とは、制御文字集合と図形文字集合をそれぞれセットで取り換えることを意味します。ASCIIコード体系のように、扱う文字数が7ビットで表現できる範囲内におさまる場合には拡張の必要はないのですが、日本語や中国語をはじめとする多くの言語では、セットにした図形文字集合を取り換えながら使う必要があります。これには拡張方法として、7ビットの領域だけで文字を表現する拡張方法として「7単位符号の拡張方法」と、8ビットの領域を使って文字を表現する拡張方法として「8単位符号の拡張方法」の2種類が定められています。X0202)のサブセット」といえます。JISコードが、「いわゆるJISコード」というように「いわゆる」という修飾語をつけて書かれることがあるのは、フルセットではなくサブセットだからです。2022」の中で制御文字集合を置くと定められた部分に図形文字集合を当てはめているなど、規格にはのっとっていないコード体系です。2022に従って(枠内で)作られた文字コード体系がJISとEUCなんですね。両者の違いはなんだろう?ここみると「EUC自身は、日本語だけでなく複数の文字セットを同じテキスト内で処理することが可能です」というところが主な違いのようです。してみるとなんとなく「シフトJIS」が無法者っぽく見える(そしてそれなのにパソコン界に広く蔓延っちゃってヤーネー!という感じ)なんですけど、確かこのあたりすごく政治的なアレコレとかがあったらしいんですよね。2022の方が勝手なんじゃねーの?っていうか。日本語対応UNIXワークステーションで内部コードとして広く使われています」とあるようにUNIXで日本語を書くときなんかにも使われていることもあって正統派っぽい感じがするんですけど(←オイラだけか?)、たとえばHP-UXのような大型計算機で使われているUNIXの日本語コードは「シフトJIS」だったりします。大体UNIXで半角カナが使えませんとかなんだとかいう話があったのって、「いわゆるJIS」コードがエスケープシーケンスなんつーものを使う規格だったせいですよね。7単位符号にして8ビット目をエスケープシーケンスに当てているから8単位符号のシフトJISとぶつかるわけで。そんなもの規格が悪(ry「シフトJIS」の問題点としては「文字セット切り替えがないので扱いも簡単というメリットがありますが、コードが分断されており体系として不自然なため漢字処理に一家言を持つ人の間では嫌われているようです」なんてのがあげられてますね。「体系として不自然」か。そんなのどーでもよくねー?そんなクダラナイ理由のために余分に二つも日本語文字コードつくっちゃってさ。そっちの方が不自然で無駄だっつーの!!「体系として不自然」でもなんでもそのまま突っ走っておけば日本語文字コードが一個だけっつー大メリットがあったわけじゃんか。ところがですよ!そんな情況下にunicodeですよ。バカマキシマムですよ。unicode自体はバカでも何でもないんですけど、UTF-8が大バカなわけですよ!とかいってるのにこのブログの文字コードはUTF-8なんすけどね!大矛盾だっつーの!上記サイトに「Unicodeと漢字」についての記述がありますね。(頭文字を取ってCJKと称される)の漢字2万文字あまりを配置します。Unificationという作業が行われました(これについては厳しい批判があります)。0212-1990がサポートされます。0x00〜0xFFの全領域)。JISコードとの規則的な変換ルールは存在しないので、個々の文字を対応させる変換表が必要になります。Unicodeは16ビット固定なので、文字列の操作が単純になります(と宣伝されていますが、実際はいろいろ変則的なつぎはぎがあって、そうはいかないようです)。2.0では38,885文字が割り当てられ、これらのコードポイントは永久的なアドレスとして信頼すべきものと(Unicodeの主張では)されています。Unicodeでは従来の文字コードで想定されていたソートが保証されません。Unicodeを16ビット固定にしていることがガンなんですよね。24ビットにすればまだなんとかなったのに...とはよく聞く話。アルファベット文化圏の連中には馬鹿げた主張に見えるんでしょうけどね。彼らは8ビットでも余裕だったくらいなんだから。Unificationという作業が行われました」という文化テロが粛々と進行されたわけです。このことが全然世間では知られていないみたいで怖いですわ。「(これについては厳しい批判があります)」と補足してありますけど、この「厳しい批判」も学界の極一部からのものだけ、って印象だし。日本と日本以外の漢字文化圏の漢字を統合するって話なわけですよ。アルファベット文化圏の連中からみたら大体同じに見えるし、みたいな感覚で。このあたりについてはTRONの坂村健先生も「痛快!コンピュータ学」で書いてましたよ(←そんな本から引用するなよ!←うるせーバカ!)。違う文字を強引にまとめてしまっているために、せっかく全世界の統一文字コードができても、漢字を使う複数の言語が混在した文書、たとえば語学の教科書は作ることができなくなってしまいます。これでは何のための統一なのか分かりません。日本の私たちが中国や韓国のホームページをインターネットで読もうとしても、そこで表示されるのは、いわば「ウソ漢字」になるわけです。(略)ちなみに、このUnicodeの体系では英語のアルファベットは、8ビット時代の番号がそのまま適用されています。英語用のソフトはほとんど修正なしでUnicodeに対応できます。これに対して、日本語の場合には従来の文字コードとUnicodeではまったく法則性がありません。(略)もちろん、日本の代表も国際会議の席上で反対意見を述べたのですが、結局、政治力で上回るアメリカ側に強引に押し切られ、これが国際標準として決められてしまったというわけです。そんないきさつで決まった基準ですから、いまだに日本国内にはUnicodeに対する根強い反対論があります。先年、中国でコンピュータ関係者たちと会ったときにも、この話が出て、やはり中国でもUnicodeが「熱烈歓迎」されているわけではないことを知りました。(pp.180-181)ええと、この話は普通に16ビットのUnicodeが最悪だ...というものなわけです。Formatとなるわけですよ。8は8ビットの8なわけで。ワケワカラン!で、ちとググってみたらUnicodeについてIT用語辞典にこんな記述がありました。10646の一部(UCS-2)として標準化された文字コード体系。すべての文字を16ビット(2バイト)で表現し、1つの文字コード体系で多国語処理を可能にしようとするもの。世界の主要な言語のほとんどの文字を収録している。同じ意味や同じルーツの漢字はすべて同じ文字とみなし、同じコードを割り当てる統合作業(ハンユニフィケーションと呼ばれる)が行われ、文化の違いを無視したものだとの反発を招いている。Unicodeは、最初の規格が策定された後にハングル文字の追加や異体字表現方式の策定が行われ、部分的に3バイト以上を使用する体系に変化している。このため、現在はUnicode全体は4バイトで定義(UCS-4)されている。「16ビット(2バイト)」って書いているので1バイト=8ビットってことなんでしょう。UCS-2っていうのがもともと規格した通りの16ビット固定バージョン。Unificationという池沼文化テロをやったのに結局足りねーとかいうことになって、部分的に3バイト(つまり24ビット)以上を使う変則的な体系になっとると。いうモノを考慮して結局32ビット規格として定義されてUCS-4とかになっとると。バカだということを見事に証明しきっていると。UTF-8を同じところで調べて一部を引用。UTF-8では、Unicodeの最初の128文字(UCS-2でいうU+0000からU+007F)を変換した結果がASCIIとまったく同じになるため、従来の処理システムとの親和性が高いという特長がある。日本語などの文字は元々2バイトだったものが3バイトや4バイトで表現されてしまうため、UTF-16と比べてデータサイズが大きくなってしまうという欠点がある。アルファベット文化圏(というか英語文化圏)には都合が良いけど、日本語環境では欠点のある不公平な文字コードっつーことですな。Unificationについてもこんな風に書いてあります。厳密には字形が違う漢字も統合されているため、漢字を使う言語同士を同じフォントで混在させるとどちらかの言語で問題が発生する。3.0で使用できるようになり、ハンユニフィケーションの弊害はある程度緩和されている。批判は「日本人を中心に」と書いてますな。私が以前読んだ「いま日本語が危ない―文字コードの誤った国際化」にもそう書いてあったような。ええと、この本はタイトルが今イチちょっとアレな感じですけど、イイ加減な煽り本じゃなくてちゃんとした本です。あと中身の方でもちょっと筆者の怒りが全面に溢れすぎてて若干アレな面も否めないのですけどね。内容はきちんとしてますよ。あー、上で引用した坂村先生は「中国でコンピュータ関係者たちと会ったときにも、この話が出て、やはり中国でもUnicodeが『熱烈歓迎』されているわけではないことを知りました」って書いているのでちょっとアレですけど、「熱烈歓迎」ではない理由について良く聞いてみると日本人とは全然違う理由かもしれないですからね。自国で使っている簡体字が優先されて他の漢字を駆逐できるように、と思って政治的意図で(日本の足引っ張ったりして)活動してたら案外それが通らなかった部分もあって...とか、あとなんだかんだでアメリカの言いなりになるのが嫌とかそういうことかもしれないし。ま、長々書いちゃったので、ここらあたりで終わっときます。listよりぬき1.マンガ、ゲーム、アニメタイトルのリンク先は「寄生獣の解釈」。ハッカーブロガー小飼弾さんからの言及へのリアクションのつもりです。ゲームのネタからは「フェミニズム忍者ゲーム」をあげておきます。考えさせられる物語を持つアクションゲーム。それからアニメのネタからは「攻殻機動隊SAC最終話の引用モトネタ?」。元ネタはヴィリリオの本じゃないのか?と推測してます。2.内田樹センセはもう終った著名学者ブロガー内田樹先生の記事についての考察。このあと延々内田先生抜きで内田先生に関してファンの方々とギロンしてます。最後はちょっとアレですけど(笑)。有名ブログのネタについて発言したくなる病ブログを巡る言説について考察した記事。この記事から3記事分同一テーマが連続する。関連したものとしては後のオタカル戦争についての4記事があり、前にもブログ作法関連の3記事がある。裏では生体実験!?朝日もNHKも関係なくTBやフィードメータについて考察した記事です。絡んだおいらブログさんから反応もあり、なんとたけくまメモからもTBを貰ってしまいました。考察自体は間違ってたクサイのですけど。さんと絡んだためさすがにオチャラケはできませんでした。他の関連記事はプロフィール内の検索から「朝日vsNHK」で御覧ください。tubeアニメ動画はこちらから)amazon。