nDiki : Unicode

PostgreSQL を使いはじめる

新しくつくりはじめている Web ベースのアプリケーションで Apache でユーザ認証が必要になった。 htpasswd で作ったものでももちろんできる。 が、今回はユーザごとの情報も管理したい。 そうすると htpasswd の形式だと、ユーザ情報と2重管理になるので面倒である。

幸い Apache は各種 DB を認証に使うことができる。 そこで今回は、他の情報も格納するしメジャーどころで PostgreSQL を使うことにした。 Perl でも扱えるし。

で例によって Debian のパッケージインストール。 postgresql 5.5.3-3 をいれる。

がインストールの途中で /etc/localtime がないといっておこられる。 他の Debian Box をのぞいてみると /usr/share/zoneinfo/Japan にシンボリックリンクがはってある。 私のところで存在しないのは問題ないのだろうか? まぁよくわからないが、同じようにシンボリックリンクをはっておく。

これでインストールが通った。

デフォルトの言語は Unicode、日時のフォーマットは ISO を選択しておく。

[ Java ] Unicode (UCS) -> 別の charset

Java の String を 'abc' なら US-ASCII (ANSI_X3.4-1968)に、'あいう' なら ISO-2022-JP にしたいという話。 やっぱり文字列中の全ての文字について候補の charset に含まれているか見ていくしかないのか?

Mew だとちゃんと、US-ASCIIだけならus-ascii で、日本語が含まれていれば iso-2022-jp でメールを送ってくれるがここら辺はどうやっているんでしょ。 ソースを見てみるか。

PAR を ActivePerl 5.6.1 build 638 に

昨日 Linux 上で実験してみた PAR を Windows にも入れてみる。 PDLを使っている関係で ActivePerl は 5.6.1。

インストール

ppm install で入るパッケージは古いので、最新のものを入れておく。 ちょっと手間。

• PAR が必要とする Parse::Binary と Win32::Exe は ppm がないので、自分でとってきて make_ppm。
• PAR 0.85 は 'ppm install PPM::Make' ではいる make_ppm だとパッケージ作成失敗。PPM::Make 0.71 に上げる (古い PPM::Make で ppm 化可能)。
  • PPM::Make 0.71 は新しい Getopt::Long を必要とするので、こちらもソースをとってきて ppm 化。
• その他必要なパッケージもインストール (Config::IniFiles)。

ワンライナーを pp できるところまで動作確認。

モジュール + スクリプトを実行可能形式に

ExtUtils::Makemakerを使ってパッケージ化している開発中のモジュール(スクリプトあり、XS あり)を実行可能形式化してみる。

 perl Makefile.PL
 nmake
 nmake test
 cd blib
 set PERL5LIB=lib;arch (pp の -I オプションが効かなかったので)
 pp -o foo.exe -a lib -a arch -M ... -c  script/foo

Log::Log4perl::Appender::Screen、Jcode::Unicode::NoXS、Unicode::String、GD については依存関係を自動検出できなかったので、それぞれ -M で指定。

できた。動いた。素晴しい。 PDL や GD を使っていたのでちょっと不安だったのだがうまく動いて感激。 これでCD-ROMとか USB メモリに入れておいて一発実行とかできる。

Mule-UCS の設定

reStructuredText では表を作る時は文字数で桁揃えして、表セルを表現していく。 ASCII 文字などフォント幅がいわゆる半角幅であるものだけならば、良いのだが全角幅の文字がある場合はちょっと厄介である。

文字数的には1文字なのだが、テキストファイル上では2文字分の幅を取るので見た目上桁が揃わなくなってしまう。 というかそれを忘れて桁を揃えておくと、パーサに怒られる。

このためにパッチがあったり、Docutil 0.4 ではこの対策がほどこされたりしている(不完全であるが)。

さらに厄介なのが Unicode 変換がからむところで、 Emacs + Mule-UCS ではいくつかの(いわゆる)全角文字は UTF-8 で保存すると違う文字に変換されてしまい、これまた Docutils のパーサに、桁があっていないと怒られることになる。

できるだけ全角文字はそのままにしておくということで、以下の設定を追加しておいた。

 (require 'un-define)
 (un-define-change-charset-order
  (append '(ascii japanese-jisx0208)
          unicode-basic-translation-charset-order-list))

またバックスラシュと円記号の方も混乱が少ないように

 (require 'un-supple)
 (un-supple-enable 'windows)

を追加してく。

今日のさえずり: 社内 Wiki 止まると停電より困る

2011年09月12日

• 09:20 RT @yuji0602: ラップ調で頭をガックンガックンさせながらじゃないですかね～。 RT @Naney: 今日のさえずり: アミダババアの唄を知らない世代ってどんな曲であみだくじやるの? (2011-09-09) http://t.co/6Hv1jNc
• 09:23 @yuji0602 幼児が「あ～みだくじ～」って言っているのを聞いて、origin が何か知りたくなりました。
• 11:06 リモート接続申請出した。 http://t.co/lOz7X4t #mixipage
• 12:48 社内 Wiki 止まると停電より困る。 http://t.co/mciiaVJ #mixipage
• 14:17 できたて弁当 400円。 (@ 大臣) http://t.co/Ck9uCuU
• 14:51 Flickr から Facebook への連携、時間を開けて再投稿されることが最近何度か。どうした? http://t.co/MBecgC1 #mixipage
• 20:45 Unicode::Normalize::NFKC すると「㊥」があらびっくり「中」になる。 http://t.co/7jVaYDR #mixipage
• 21:45 退勤。美月。
• 22:03 お、今年は満月な中秋の名月なんだ。いいね。 http://t.co/YRSDPwK #mixipage
• 22:05 RT @NetPenguin: Sugeee、というか面白いwRT @Naney: Unicode::Normalize::NFKC すると「㊥」があらびっくり「中」になる。 http://t.co/VZaihyN #mixipage

今日のさえずり: ユーザーを馬鹿にしない

2015年04月10日

• 08:50 フロスで奥の右下の歯のインレーぶっこ抜いた。 https://flic.kr/p/rKTiof
• 14:10 ユーザーを馬鹿にしない。
• 17:09 Windows 版の Excel と Excel for Mac の両方でさくっと開ける Unicode な CSV ファイルなど存在しなさそうで疲弊した。
• 17:10 CP932……。
• 17:16 @wtnabe Excel 前提を捨ててよいのであればそうですねー。

Alfred の workflow の引数の文字列は濁点・半濁点が分解されているので iconv で合成することにした

最近 Remember The Milk でタスクを検索した際に検索結果に出ないタスクがあっておかしいなと思っていたのですが、ようやく原因がわかりました。 Alfred から workflow でrumember を使ってタスク登録していたものの一部が検索できないようなので調べたところ、濁点・半濁点が分解された UTF-8 文字列で Remember The Milk に送られていたのです。 Remember The Milk の Web 版で入力や検索では濁点・半濁点が分解されていない文字が使われるため検索でマッチしていないのでした。

合成されている Unicode 正規化形式C (NFC) で統一したいのですが Alfred では選択する方法がありません。Keyword to Script テンプレートで作った Alfred workflow だと Run Script (/bin/bash) の雛形が

 query="{query}"

となるのですが、ここをいったん

 query=`echo "{query}" | iconv -f UTF-8-MAC -t UTF-8`

のようにして変換することにしました。 Remember The Milk への登録以外にもテキストファイルに追記する workflow や Slack に投稿する workflow も同様にして NFC で処理するように変更です。

すでに Remember The Milk に投稿したものは仕方ないので手動で検索してちまちま修正。テキストファイルに書いたものもわかる範囲で検索して書き換えました。ふう。Google Chrome や Ulysses はきちんと合成して表示してくれるので今まで気がつきませんでしたよ。

補足

ちなみに uconv -f utf-8 -t utf-8 -x nfc だと合成できていない文字があってうまくいきませんでした。