nDiki : Unicode

PostgreSQL を使いはじめる

新しくつくりはじめている Web ベースのアプリケーションで Apache でユーザ認証が必要になった。 htpasswd で作ったものでももちろんできる。 が、今回はユーザごとの情報も管理したい。 そうすると htpasswd の形式だと、ユーザ情報と2重管理になるので面倒である。

幸い Apache は各種 DB を認証に使うことができる。 そこで今回は、他の情報も格納するしメジャーどころで PostgreSQL を使うことにした。 Perl でも扱えるし。

で例によって Debian のパッケージインストール。 postgresql 5.5.3-3 をいれる。

がインストールの途中で /etc/localtime がないといっておこられる。 他の Debian Box をのぞいてみると /usr/share/zoneinfo/Japan にシンボリックリンクがはってある。 私のところで存在しないのは問題ないのだろうか? まぁよくわからないが、同じようにシンボリックリンクをはっておく。

これでインストールが通った。

デフォルトの言語は Unicode、日時のフォーマットは ISO を選択しておく。

[ Java ] Unicode (UCS) -> 別の charset

Java の String を 'abc' なら US-ASCII (ANSI_X3.4-1968)に、'あいう' なら ISO-2022-JP にしたいという話。 やっぱり文字列中の全ての文字について候補の charset に含まれているか見ていくしかないのか?

Mew だとちゃんと、US-ASCIIだけならus-ascii で、日本語が含まれていれば iso-2022-jp でメールを送ってくれるがここら辺はどうやっているんでしょ。 ソースを見てみるか。

PAR を ActivePerl 5.6.1 build 638 に

昨日 Linux 上で実験してみた PAR を Windows にも入れてみる。 PDLを使っている関係で ActivePerl は 5.6.1。

インストール

ppm install で入るパッケージは古いので、最新のものを入れておく。 ちょっと手間。

• PAR が必要とする Parse::Binary と Win32::Exe は ppm がないので、自分でとってきて make_ppm。
• PAR 0.85 は 'ppm install PPM::Make' ではいる make_ppm だとパッケージ作成失敗。PPM::Make 0.71 に上げる (古い PPM::Make で ppm 化可能)。
  • PPM::Make 0.71 は新しい Getopt::Long を必要とするので、こちらもソースをとってきて ppm 化。
• その他必要なパッケージもインストール (Config::IniFiles)。

ワンライナーを pp できるところまで動作確認。

モジュール + スクリプトを実行可能形式に

ExtUtils::Makemakerを使ってパッケージ化している開発中のモジュール(スクリプトあり、XS あり)を実行可能形式化してみる。

 perl Makefile.PL
 nmake
 nmake test
 cd blib
 set PERL5LIB=lib;arch (pp の -I オプションが効かなかったので)
 pp -o foo.exe -a lib -a arch -M ... -c  script/foo

Log::Log4perl::Appender::Screen、Jcode::Unicode::NoXS、Unicode::String、GD については依存関係を自動検出できなかったので、それぞれ -M で指定。

できた。動いた。素晴しい。 PDL や GD を使っていたのでちょっと不安だったのだがうまく動いて感激。 これでCD-ROMとか USB メモリに入れておいて一発実行とかできる。

Mule-UCS の設定

reStructuredText では表を作る時は文字数で桁揃えして、表セルを表現していく。 ASCII 文字などフォント幅がいわゆる半角幅であるものだけならば、良いのだが全角幅の文字がある場合はちょっと厄介である。

文字数的には1文字なのだが、テキストファイル上では2文字分の幅を取るので見た目上桁が揃わなくなってしまう。 というかそれを忘れて桁を揃えておくと、パーサに怒られる。

このためにパッチがあったり、Docutil 0.4 ではこの対策がほどこされたりしている(不完全であるが)。

さらに厄介なのが Unicode 変換がからむところで、 Emacs + Mule-UCS ではいくつかの(いわゆる)全角文字は UTF-8 で保存すると違う文字に変換されてしまい、これまた Docutils のパーサに、桁があっていないと怒られることになる。

できるだけ全角文字はそのままにしておくということで、以下の設定を追加しておいた。

 (require 'un-define)
 (un-define-change-charset-order
  (append '(ascii japanese-jisx0208)
          unicode-basic-translation-charset-order-list))

またバックスラシュと円記号の方も混乱が少ないように

 (require 'un-supple)
 (un-supple-enable 'windows)

を追加してく。

今日のさえずり: 社内 Wiki 止まると停電より困る

2011年09月12日

• 09:20 RT @yuji0602: ラップ調で頭をガックンガックンさせながらじゃないですかね～。 RT @Naney: 今日のさえずり: アミダババアの唄を知らない世代ってどんな曲であみだくじやるの? (2011-09-09) http://t.co/6Hv1jNc
• 09:23 @yuji0602 幼児が「あ～みだくじ～」って言っているのを聞いて、origin が何か知りたくなりました。
• 11:06 リモート接続申請出した。 http://t.co/lOz7X4t #mixipage
• 12:48 社内 Wiki 止まると停電より困る。 http://t.co/mciiaVJ #mixipage
• 14:17 できたて弁当 400円。 (@ 大臣) http://t.co/Ck9uCuU
• 14:51 Flickr から Facebook への連携、時間を開けて再投稿されることが最近何度か。どうした? http://t.co/MBecgC1 #mixipage
• 20:45 Unicode::Normalize::NFKC すると「㊥」があらびっくり「中」になる。 http://t.co/7jVaYDR #mixipage
• 21:45 退勤。美月。
• 22:03 お、今年は満月な中秋の名月なんだ。いいね。 http://t.co/YRSDPwK #mixipage
• 22:05 RT @NetPenguin: Sugeee、というか面白いwRT @Naney: Unicode::Normalize::NFKC すると「㊥」があらびっくり「中」になる。 http://t.co/VZaihyN #mixipage

今日のさえずり: ユーザーを馬鹿にしない

2015年04月10日

• 08:50 フロスで奥の右下の歯のインレーぶっこ抜いた。 https://flic.kr/p/rKTiof
• 14:10 ユーザーを馬鹿にしない。
• 17:09 Windows 版の Excel と Excel for Mac の両方でさくっと開ける Unicode な CSV ファイルなど存在しなさそうで疲弊した。
• 17:10 CP932……。
• 17:16 @wtnabe Excel 前提を捨ててよいのであればそうですねー。

Alfred の workflow の引数の文字列は濁点・半濁点が分解されているので iconv で合成することにした

最近 Remember The Milk でタスクを検索した際に検索結果に出ないタスクがあっておかしいなと思っていたのですが、ようやく原因がわかりました。 Alfred から workflow でrumember を使ってタスク登録していたものの一部が検索できないようなので調べたところ、濁点・半濁点が分解された UTF-8 文字列で Remember The Milk に送られていたのです。 Remember The Milk の Web 版で入力や検索では濁点・半濁点が分解されていない文字が使われるため検索でマッチしていないのでした。

合成されている Unicode 正規化形式C (NFC) で統一したいのですが Alfred では選択する方法がありません。Keyword to Script テンプレートで作った Alfred workflow だと Run Script (/bin/bash) のひな型が

 query="{query}"

となるのですが、ここをいったん

 query=`echo "{query}" | iconv -f UTF-8-MAC -t UTF-8`

のようにして変換することにしました。 Remember The Milk への登録以外にもテキストファイルに追記する workflow や Slack に投稿する workflow も同様にして NFC で処理するように変更です。

すでに Remember The Milk に投稿したものは仕方ないので手動で検索してちまちま修正。テキストファイルに書いたものもわかる範囲で検索して書き換えました。ふう。Google Chrome や Ulysses はきちんと合成して表示してくれるので今まで気がつきませんでしたよ。

補足

ちなみに uconv -f utf-8 -t utf-8 -x nfc だと合成できていない文字があってうまくいきませんでした。

mixi日記でブックマーク絵文字とリンクシンボル絵文字を使う

mixi日記でつぶやくようにしたり Web 日記を書いたら Zapier を使ってmixi日記でつぶやくようにしたり最近しているのだけれど、ホーム画面内での日記の先頭部分表示だとハイパーリンクがある事がわかりにくいので、絵文字も使ってみることにした。

WWW 黎明期はリンクを表すシンボルは地球を含む図案が多かったけれど、今は鎖のような図案やサイト外へ出ていくイメージの図案が多くなった。今はもう world wide は当たり前になったということかな。

リンク

• Unicode U+1F517 LINK SYMBOL
• mixi日記では [m:830]

ブックマーク

• Unicode U+1F516 BOOKMARK
• mixi日記では [m:698]

ノートテキストファイルで絵文字を最近使っている

最近ノートで Unicode 絵文字を活用している。やはりカラフルだとノートテキストファイルの中で視認しやすい。

ノートテキストファイルの分類に応じたシンボルとして絵文字を全体の先頭の方においておけば iA Writer のファイルリストで区別しやすくなる。またテキストファイル中の各見出しの先頭にそれぞれの意味に合わせた絵文字を書いておくことで、ぱっと入力場所を探せる。

表したいことにマッチした絵文字が無い場合は適当に比喩的に近い絵文字を使う。 Unicode 絵文字の名前をみつつこの意味ではこの絵文字を使うなどのマイルールをちょっとずつ作っている。

このあたり絵文字の意味づけが人によって違ってくるところなので、みんなでルール化してもうまく運用できない気はしている。