年越しそばと初詣は絶対に欠かせない

Ant を使って Android アプリを構築する

2011-11-06T21:43:00.001+09:00

Eclipse を使って Android アプリのプロジェクトを作成すると build.xml が作られずに、コマンドラインからの構築ができない。ただ、ちょっと前の ADT の話なので定かでない。。。

Eclipse を使うと署名済みの apk パッケージまで作れるが、 GUIを使って一連の操作を毎回するのは面倒なので、 ant を使ったリリース方法を調べてみた。

build.xml の作成

ant 化対応は非常に簡単で、プロジェクトのトップディレクトリで次のコマンドを実行すれば良い。

% ${ANDROID_SDK}/tools/android update project --path .

この時点で「ant debug」を実行すると bin/${project名}-debug.apk にデバック用のアプリが作成できる。

ただ、SDK Tools r14 から若干ファイルの構成が変更されているので注意が必要である。

build.xml: ant用の構築ファイル
ant.properties (旧 build.properties): ユーザが追加して使用するもの。普通はコッチに書く。
local.properties: 構築マシン固有の情報。現在は SDKへのパスのみ？ VCSへの登録は避けるべきファイル
project.properties (旧 default.properties): ADTによって維持される情報。

Cocoa Emacs 23 構築 (2011/06版)

2011-06-05T01:15:00.001+09:00

定期的にCocoa Emacs 23 を構築して使っていた。今日も定期作業とおもって、構築したらビルドが失敗してしまった。。。

どうしたもんだかなぁ

ググってみると、、、MLの「Re: Emacs with Cocoa/GNUstep」の内容の通りで、lisp.h の修正の影響で nsmenu.m のビルドが失敗したみたいで修正したよ。それで emacs-23 ブランチには lisp.h の修正のみしかマージされていないみたいで、、、、うまく行かなかったということらしい。

masterブランチで作ってれば問題無しなのか、、、まぁそのうち emacs-23 ブランチに修正が降ってくるのかなぁ。

それまでは、以下のように対処してみた。(ヘタレ git 使いだから bzr の人用の手順は分からん、、、)

% git clone git://repo.or.cz/emacs.git
% cd emacs
% git checkout emacs-23
% git cherry-pick -n 207421c0af4edf88943e270ad4bc83934cabcc04
...
# src/nsmenu.m の２箇所のコンフリクトを修正
#  1箇所目は、memcpy を使ってる奴を残す
#  2箇所目は、どっちでもいい
#
...
% patch -p 0 < favorite-patch-file
...
# で構築
% eval "$(PATH= /usr/libexec/path_helper -s)"  # PATHをクリーンにする
% ./configure --with-ns
% make bootstrap
% make install
% open nextstep/Emacs.app

なかなか、いい感じだぁ

MacOSX で Zen Touch 2 (Android2.2)を開発端末にしてみる

2011-05-26T01:25:00.001+09:00

自分の携帯を Androidの開発端末として使うのは、日常生活でメールや連絡が来たりするときに結構困る場合がある。なので、3〜4インチ程度の安いAndroid 端末が無いかなと物色したら、Zen Touch 2 がよさげ。

、、、

静電式のものに慣れているので、感圧式タッチパネルが違和感ありまくり操作がし辛いこと。

実物を見ないで、購入したので自業自得だが、、、ついでに、Android Market 非対応のも、、、余り Android 端末としてはお薦めできないなぁ。。。まぁ音楽プレーヤーですね。

今まで扱った Android 端末は、何もせずに MacOSX の Android 開発用の SDK で認識されたので、気に留めるなかったが、こいつは認識しない。。。

はて、どうしたもんだかなぁ

熟考の結果、下記の投稿記事と同じ対応をすれば、adb で認識して、開発に使えるようである。

Android(IS01向け)のアプリをOSXで開発～adb接続編

サクっと、認識させてみた。

# Creative Zen Touch 2 のベンダーIDを追加
% echo "0x041e" >> ~/.android/adb_usb.ini

# adb を再起動
% ${ANDROID_SDK_DIR}/platform-tools/adb kill-server
% ${ANDROID_SDK_DIR}/platform-tools/adb start-server
* daemon not running. starting it now on port 5037 *
* daemon started successfully *

# adb でデバイスのリストを確認
% ${ANDROID_SDK_DIR}/platform-tools/adb devices
List of devices attached 
16XXXXXXXXXXXX 0    device

これは adb が自前でAndroid のベンダーIDのリストを持っていることなのかぁ。。。

開発機としては、スペックも低いし解像度も高くなく無いので、下手な実装を洗い出せるので良いのかも。

ふむ、静電式でマーケット対応の一番安い奴でも探すかなぁ。。。

追記 (2011/11/06)

だれかに何故 0x041e なのか答えないといけない気がしたので。。。

単純に dmesg の直近で出てくるログ行で判断するのが正解かなぁ。。。

% sudo dmesg
...
USBMSC Identifier (non-unique): XXXXXXXXXXX 0 0x41e 0x4166 0x225
...

あとは USBストレージモードにして、システムプロファイルを参照するのも正解かぁ。。。

iOS の View Controller の lifecycle の図

2011-05-07T22:18:00.000+09:00

iOS の VIewController のライフサイクル図を書き起こしてみた。

開発ドキュメントから読み取ったのだが、理解不足なためか不正確な部分も無きにしもあらず。精進せねば。

まぁ、いらないと思うがPDF版 @ Google Docsもアップ。

Android の Activity のlifecycleの図

2011-04-23T05:20:00.001+09:00

Android の基本の Activity のライフサイクルの図が開発サイトに乗ってる。

これでも前後の文章で補完すれば分かるんだが、２〜3ヶ月後の自分はまた忘れてる可能性大なので、ちょこっと弄ってみた。

まぁ、いらないと思うがPDF版 @ google docs もアップ。

Google提供の python ライブラリで Google Reader API を使ってみた

2011-03-04T22:10:00.000+09:00

Google のサービスと連携するには Google Data API を使う。Googleが公式にサポートしているので、とても安心して使える。RSS リーダーとしてよく使われている Google Reader 用のAPI も。。。は、まだ公式には無い。

まぁ、色々な人が解析しており、GoogleReaderAPIのページが、詳細にまとまっている。

なので、Google 提供の python ライブラリで、Google Reader API を叩いてみた

ただ、サンプルを書いたあとで、pyrfeed内にGoogleReader 用のライブラリが含まれていたのに気付いたので、そっちを使うのがいいのかも。

インストール

MacPorts を使っているので、さくっとインストール。

% sudo port install py27-gdata

そうでないならば、gdata-python-clientから最新版をインストールする。

Google Reader 用の下準備と認証

gdata-python-client には、Reader サービスの固有の API は無いので、ベースのモノを適当に設定する必要がある。

import gdata.service

config = { 'Email': 'foobar@gmail.com', 'Passwd': 'password' }

# Google Reader サービス設定
service = gdata.service.GDataService(account_type='GOOGLE',
                                     service='reader',
                                     server='www.google.com',
                                     source='MyReaderHoge')

# Google アカウント設定とログイン
service.ClientLogin(config['Email'],config['Passwd'])

# 認証トークン(SIDの値)
print service.GetClientLoginToken()

# 書き込み用のトークンの取得
token = service.Get('/reader/api/0/token',converter=lambda x:x)
print "token:", token

'api/0'以下のレスポンスが AtomPub 形式では無く、小細工が必要である。gdata-python-clientには、ちょうど隙間が開いてるようである。。。

未読件数を取得

'api/0/unread-count'を JSON 形式で取得する

query = gdata.service.Query(feed='/reader/api/0/unread-count',
                            params={'all':'true', 'output':'json'})
feed = json.loads(service.Get(query.ToUri(), converter=lambda x:x))
unreadcounts = feed['unreadcounts']

# 全体の未読数を一番前に移動しとく
for i, item in enumerate(unreadcounts):
    if re.match(r'^user/\d+/state/com.google/reading-list$',item['id']):
        unreadcounts.pop(i)
        unreadcounts.insert(0,item)
        break

# 全体の未読数
print int(unreadcounts[0]['count'] if len(unreadcounts) > 0 else 0)
#=> 1

# 未読があるラベルとその未読数
for item in unreadcounts:
    if not re.match(r'^user/\d+/label',item['id']): continue
    print "count:%(count)s id: %(id)s" % item

#=> count:1 id: user/16814486509924941024/label/android

すべてのラベルを取得

query = gdata.service.Query(feed='/reader/api/0/tag/list',
                            params={'all':'true', 'output':'json'})
feed = json.loads(service.Get(query.ToUri(), converter=lambda x:x))
tags = feed['tags']

for item in tags:
    tag = re.sub(r'^user/\d+/',r'',item['id'])
    print "tag: %s" % tag
#=> tag: state/com.google/starred
#=> tag: state/com.google/broadcast
#=> tag: label/android
#=> tag: label/misc
#=> tag: label/neta
#=> tag: state/com.blogger/blogger-following

ラベルを指定して取得

android 関連の記事を 5 件見てみるかいな。。。

query = gdata.service.Query(feed='/reader/atom/user/-/label/android',
                            params={'n': str(5)})
feed = service.Get(query.ToUri())
for entry in feed.entry:
    print "===="
    dom = xml.dom.minidom.parseString(entry.ToString())
    print dom.toprettyxml(indent="  ")
    print "===="
    print "href: %s" % entry.GetHtmlLink().href
    print "title: %s" % entry.title.text
    # print "%s" % entry.summary.text

未読を既読に変更

先の記事は、読んだから既読にする。

# token, feed は、上に記載の書き込み用トークンと直前で取得した記事リスト
for entry in feed.entry:
    i = entry.id.text
    s = entry.source.extension_attributes['{http://www.google.com/schemas/reader/atom/}stream-id']
    ret = service.Post(urllib.urlencode({'i':i,
                                         'a':'user/-/state/com.google/read',
                                         's':s,
                                         'T':token,
                                         }),
                       '/reader/api/0/edit-tag',
                       converter=lambda x:x,
                       extra_headers={'Content-Type': 'application/x-www-form-urlencoded'})
    print i,ret

何でも無いが、この部分には半日悩んでしまった。

何気ない POST パラメータを送信する POST 処理なのだが、gdata.service.Post は aplication/atom+xml形式のデータ送信を想定するため、明示的に Content-Typeを指定する必要がある！気づくまで、「400 Bad Request」+「X-Reader-Google-Bad-Token: true」に悩まされてしまった。

新しいフィードを登録

sub = r'feed/http://headlines.yahoo.co.jp/rss/rps_dom.xml'
ret = service.Post(urllib.urlencode({'s':sub,
                                     'ac': 'subscribe',
                                     'T':token,
                                     }),
                   '/reader/api/0/subscription/edit',
                   converter=lambda x:x,
                   extra_headers={'Content-Type': 'application/x-www-form-urlencoded'})
print sub,'subscribe',ret

購読しているフィードを解除

sub = r'feed/http://headlines.yahoo.co.jp/rss/rps_dom.xml'
ret = service.Post(urllib.urlencode({'s':sub,
                                     'ac': 'unsubscribe',
                                     'T':token,
                                     }),
                   '/reader/api/0/subscription/edit',
                   converter=lambda x:x,
                   extra_headers={'Content-Type': 'application/x-www-form-urlencoded'})
print sub,'unsubscribe',ret

参考

Google Data API
gdata-python-client
pyrfeed (python googlreader)
GoogleReaderAPI
ruby の googlereaderライブラリで Google Reader API を使ってみた

polipo + MacOSX で使う

2011-02-15T18:27:00.001+09:00

普通の PC にインストールした Linux サーバに Squid + Squidguard で使っていたんだが、別サーバを必ず立ち上げていないと行けないのが面倒なので、、、乗り遅れ感が否めないが、polipo を常用をする環境を整えてみた。

移行に関しては、GUIは必要ないが launchd との繋ぎの設定ファイルを準備するのが面倒なので MacPorts パッケージを使いつつ、自前に用意したバイナリを使った。

本家サイトで公開されている git レポジトリを元に数点修正したものを使った。

64 bit 環境だと stdarg 絡みで落ちるっぽい部分？を修正
redirector の入出力の行仕様をpolipo側でダミーで合わせた
censorReferer を maybe に設定した時、サブドメインに加えて指定のサイトリストも Referer を通す機能を追加

修正した履歴はgithubに公開してある。

最後の機能は、画像用を公開してるドメインが短縮した別ドメインに置き Referer で制限しているサイトに対応するためで、設定値uncensorRefererFileに、forbiddenと同じ形式で書けば、Referer を削除せずにスルーしてくれる。

まぁ、polipo も使えない事はないかなぁ。。。あとは、forbidden/redirector で Location を返す挙動がなんとかなれば、いいのになぁ。。。もうちょっと弄ってみるかなぁ

Mail.app の備忘録から Evernote に移行する

2011-01-27T15:03:00.001+09:00

発売日に予約した IS03 が漸く入荷したので受け取ってきた。

いじり倒せる Android 端末が入手できた。事前に電池のもちが異様に悪いと噂があったので、Killerアプリ等でコマメにアプリを終了し倒すように気を付けているので、ある程度許せる範囲に留まっている気がする。

まぁ、ノートパソコンにあるような大容量バッテリとかが出てくるのは、歓迎するが。。。どうなんだろう。

MacOSX の Mail.app には備忘録の機能が付いており、iOSとの組み合わせで同期が可能である。結構便利でサクサク使っていたが、新規に Android でも同じようなことがしたくなって調べてみると、どうも Evernoteが良いらしい。

メモに特化したアプリ、各プラットフォームにアプリがあり、相互に連携できる。。。なんか世の中凄いことになってるんだなぁ。。。

Mail.app の備忘録に蓄積したメモ書きを EverNote にサクっと移行するには、、、

どうすれば良いのだろうか？

何のことはない AppleScript を使うのが定石らしい。

参考URLの先コードを「ユーティリティ」>「AppleScriptエディタ」にコピペして、「mailbox "Notes"」に書き換えて、実行すれば、「Imported Notes」という名前のノートブックの中にほぼ全部(「このMac内」の奴)コピー出来た。

あとは、ちまちまタグ付けや整理すればまた使いやすくなるのかなぁ。。。

参考URL

Import Notes from Mail.app Into Evernote (Applescript)

Google Chrome が吐き出すログをちょっとだけ片付ける

2010-11-09T03:12:00.001+09:00

Mac OSX 上の Google Chrome は、何故か system.log にデバックか実装上の何かしらの情報を沢山吐く。

システムの他の問題を調査するときジャマ臭い。。。なんとかならんのかなぁ。

syslogd には高度なフィルタ機能が実装されていないので、system.log に書き出される行に関しては何ともしがたい。

但し、MacOSXでは syslogd とは別に asl という仕組みが並行して導入されている。「コンソール.app」のデータベース検索以下の情報は asl の仕組みから取得している。

asl には、結構便利なフィルタ機能が実装されている。なので、件のログを収集しないようにするには、/etc/asl.conf の最後に次の設定を付け加えれば良さそうである。

# /etc/asl.conf に追加
# ommit com.google.Chrome
? [S= Sender com.google.Chrome] ignore

追記

良く考えれば、Chromeからのログを除外した「新規データベース検索」を登録しとけば良かったのかぁ。。。

MacOSXでRAMディスク上にブラウザのキャッシュを割り当てる

2010-11-06T20:34:00.001+09:00

MacBook Pro 15(Late 2008)は公式では最大メモリ容量は4Gまでサポートなのだが、ファームウェアを最新のアップデート(MacBook Pro EFI ファームウェア・アップデート 1.8)を適用すれば、最大 8G まで普通に認識し速度低下せずに使えるそうである。

2009年末位には結構高価だったのだが、最近値下がりして手ごろになってきたので、交換した。次いで HDD も交換して SSD (TOSHIBA THNS256GG8BBAA)に入れ替えた。

まぁ、SSD に入れ替えたお陰でOSの起動もアプリの起動も機敏で、いい感じ。

空きメモリが増えてたので、ちょっと1Gくらいブラウザのキャッシュに割り当ててみた。

MacOSX では「hdid」コマンドを使えば簡単にRAMディスクを作成できる。

ramlabel="RamDisk"
ramdev=$(hdid -nomount ram://10240)
diskutil eraseDisk HFS+ ${ramlabel} ${ramdev}

で、コイツを rc.localに仕込んでやれば、起動時にRAMディスクを作成できる。

なぜか上手く行かない。起動後に手打ちで入力すれば、出来るのだが、、、

はて、なんでだろうかぁ？

まぁ、ググっても明快な正解がわからない。。。

当てずっぽに答えれば、『「hdiejectd」デーモンが起動して、正常に定常状態に無いときには「hdid」は機能しない』っぽいのかなぁ。。。多分 SSD で起動が拙速になったからだと思うが、、、

上記の憶測のもとに rc.local を次のようにすれば、起動直後にユーザ用にRAMディスクに載ってる作業領域が作れるようになる。

#!/bin/sh

RAMSIZE=1024 # MBtyes
MP=/tmp/ramdisk
MYNAME=username

# Start hdiXXX
launchctl start com.apple.hdiejectd

sleep 5

# Make RamDIsk
RAMNUMSECTORS=$((${RAMSIZE}*2048))
ramdev=$(hdid -verbose -kernel -nomount ram://${RAMNUMSECTORS})
newfs_hfs -v ramdisk $ramdev
[ -d ${MP} ] || mkdir ${MP}
mount -t hfs -o nobrowse $ramdev ${MP}
# Finder.appで /Volume 以下で参照したいときは nobrowse を外す

# for ${MYNAME}
mkdir ${MP}/${MYNAME}
chown -R ${MYNAME}:${MYNAME} ${MP}/${MYNAME}

あとは、ログイン項目に、次のようなキャッシュを調節するシェルスクリプトを埋め込んだ Automator アプリを登録すれば良い。

まぁ、サクサクになったのかなぁ？

追記 (2010/11/06)

コードをちょっとだけ整理して、Xcode と TMPDIR もRAMDISKにのせてみた。

追記 (2010/12/23)

TMPDIR もRAMDISKに載せると、どうも ramdisk のアクセス出来ない現象が時々発生し、キャッシュを載せている Chromeなどのブラウザが固まって、まともに使えない結果になる。。。どうも TMPDIR は ramdisk に載せて運用するのは難しそうである。仕方がないので、設定を削除してみた。。。ここ１ヶ月は、安定してるっぽいので正解かな。。。

dotfiles を github に上げてみた

2010-10-16T15:59:00.001+09:00

dotfiles を公開レポジトリに上げるのが最近の流行らしい。なので、僕も github に上げてみた。

http://github.com/fukusaka/dotfiles

結構古くから VCS に入れて適当に履歴を記録したんだが、「git rebase -i 」を使うと commit を修正できるので、 CVS ～ Subversion ～ git に変更する過程の履歴を適当に整理してみた。

うん、なんとも紆余曲折がある、、、未だにちょっと壊れ気味の設定だなぁ。。。

Squeeze に移行してみる

2010-10-01T03:29:00.001+09:00

squeeze がフリーズされて、暫く経つので安定の良い頃合いかなと、自宅のメインのサーバを lenny から squeeze に移行してみた。

何とも、安定してる。。。

lenny ベースだと、古く使いたい機能が無いので、適当に野良バックポートしてた netatalk と kvm/libvirt-bin とか幾つかあったのが、標準のパッケージで済むのが良い。

ただ、１点だけ手作業が必要だった。どうも autofs のマップファイルが LDAP を参照しているとき、マスタでは slapd が立ち上がらないタイミング(autofs より slapd が後)なので、うまく機能しない。。。

まだ sysvinit ベースなので、次のようにした。

update-rc.d -f slapd remove
update-rc.d slapd defaults 18 82

~~upstartに移行した暁には、Debian もいい感じになるのかなぁ~~

追記 (2011/02/12)

Debian squeeze から upstart の時代だといった奴は、、、 sysvinit と insserv の合わせ技が標準じゃないかぁ！！

なので、/etc/init.d/autofs の先頭に書かれた insserv 設定行の該当部分を下記のように書き換えると、対処ができる。

...
# Should-Start: ypbind nslcd slapd
# Should-Stop: ypbind nslcd slapd
...

Linux SCSI Target Framework を使う

2010-07-01T16:54:00.001+09:00

Debian/Ubuntu の iSCSI Target のお話が出てくると、iSCSI Enterprise Target (IET)が必ず出てくる。

まぁ、良いんだけど kernel ソースに取り込まれていないモジュールを使うので、時々、他の複合的な要因かもしれないが、あさっての場面で oops は吐いくれたりする。

Fedora/RHEL/CentOS とかだと、既にLinux SCSI Target Framework(tgt)に移行している。コイツは 2.6.20 頃 kernel ソースに取り込まれているので、結構安定してるんじゃないかなと思う。

tgt の性能に関しては、2006 年頃の論文「Linuxにおけるストレージシステムフレームワークの実現(オペレーティングシステム)」を見る限り、IET と若干落ちるぐらいなので、気にしなくても良いかも。

そろそろ Debian/Ubuntu でも Linux SCSI Target Framework(tgt)に移行する時期だ。

ユーザベースのツール群 tgt パッケージは、squeeze/lucid で用意されているみたいなので、やってみた。

ハマりポイントが２点ある。

init スクリプトが見当たらない。バグ(#577925、BUG #574554)として登録されている。
tgt-admin 内で、デバイスが既に利用してるかどうかチェックする部分が上手く動いていない。と言うか、Debian/Ubuntuでは /bin/sh が dash (ash の亜種) になっているため、perl の system関数の呼び出しのスクリプト片に移植性がある書き方が要求される。コイツを踏んでる。

なので Fedoraのinitスクリプトを参考に、upstart 用のイベント設定ファイル？ /etc/init/tgtd.confを書き下し、tgt-admin の修正パッチtgt-admin.diffを作ってみた。

例として、単一ディスクをiSCSIで公開する事を考える

以下の設定ファイルを書き下し、「tgt-admin -e」とタイプすれば良い。

/etc/tgt/targets.conf

default-driver iscsi

<target iqn.2010-07.com.example:stroage.fserver.data>
	driver iscsi
	backing-store /dev/sdb
</target>

実際にiSCSIターゲット設定が上手く行ったかは、次のようにする。

# tgt-admin -s
Target 1: iqn.2010-07.com.example:stroage.fserver.data
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00010000
            SCSI SN: beaf10
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: None
        LUN: 1
            Type: disk
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 34360 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: /dev/sdb
    Account information:
    ACL information:
        ALL

あとは、巷に溢れている tgt の設定方法が使える。上手く設定すると、CDドライブやリムーバルディスクとかも、ネット越しで使えるようになるらしい。

追記 (2010/09/06)

気づいてみると、二番目のハマり点も修正済み(#589716)になったようである。

debian squeeze がリリースしたら、tgt をサクッと使うようになれる訳ですね。

日本語 texi から栞付きPDFを生成する

2010-06-08T13:27:00.001+09:00

GNU のドキュメントシステムに texi 形式のファイルがある。この形式のファイルから適当なコマンドを使って、info / dvi / pdf / html 等の文書に変換できる。

最近では PDF 形式に変換するのに pdfetex を使う事で dvi 経由せずに直接 pdf に変換できる。ただ、pdfetex は日本語化されていないので、日本語で書かれた texi は pTeX と dvipdfmx を組み合わせて変換する必要がある。

% TEX=ptex texi2dvi filename.tex
% dvipdfmx filename.dvi

このやり方でも pdfetex を使った変換と同様な PDF が作れるが、一つだけ違いがある。

栞/ブックマークが付かない。

実用上は問題は無いが、栞が付いた方が使い易い。。。はてどうしたもんだかぁ

texinfo.tex の日本語化

変換用のマクロ texinfo.tex の日本語化は本家 texinfoには含まれていない。現在良くメインテナンスされているものとして、角藤版pTeXの texinfotools-w32.tar.bz2 がある。

ただ、僕も昔に texinfo.tex や makeinfo のナンチャって日本語化対応したことがある。 HDD の隅にある断片を探して調べてみたら、どうも elisp-manual-19-2.4-jp2.0.tar.gz を起点にして作業したもので、検索をかけるとホンの僅かだが OSS の文書変換用に取り込まれている。。。

まぁ、自分の成果から起点とするのが、やり易いからコイツから作業するのがいいやぁ

dvipdfmx が PDF 生成用の special は「Dvipdfm User’s Manual」/「DVI specials for PDF generation」にキッチリ記載があり、栞の生成は難しくはなさそうである。

で、texinfo.tex の履歴だけgithub fukusaka/texinfo-ja に上げて、texinfo.tex の最新版と組み合わせて使えるように修正、同時に栞生成コマンド@usedvipdfmxを追加してみた。

使い方

texi のヘッダ部を次のように修正する。

\input texinfo @c -*-texinfo-*-
@c %**start of header
@setfilename filename.info
@settitle TITLE
@documentlanguage ja
@documentencoding utf-8
@iftex
@usedvipdfmx
@end iftex
@c %**end of header

で、pTeX / dvipdfmx を使って、栞付きのPDFが生成できる。

まとめ

iOS4のPDFリーダーは栞付きが上手く扱えるのだろうかぁ。。。

Cocoa Emacs のフレームをSpaces のワークスペースの上下左右に飛ばす。

2010-05-26T23:45:00.000+09:00

個人的な使い方の問題だろうが、emacs に凝っていた頃は仮想ディスクトップ毎にフレームを置いた使い方をしていた。

emacs のフレームを仮想ディスクトップの上下左右に飛ばす

この使い方の要は、elisp からフレームを任意の位置、任意のワークスペースに移動できる事であった。

既に MacOSX では仮想ディスクトップが Spaces としてサポートされている。位置移動はできるようだが、ワークスペースの移動はどうもわからない。。。

マウスでチマチマ動かすのは、ちょっといただけない。。。

どうしたもんだろう？

Quartz のなんか

MacOSX の仮想ディスクトップは Leopard で初めてお目見えしたが、結構前から Window Server (Quartz Compositor/Core Graphics Services/Quartz Window Services...一体いくつの名称があるんだか。。。)には実装されていたそうである。 Tiger の時代から仮想ディスクトップがサードパーティのものがあったのはそういう訳らしい。

で、コイツのAPIのほとんどが今でも非公開になっている。。。断片的には、スクリーンキャプチャ用途レベルのものが公開されている。。。なんとも厄介。

先人が調べ尽くした結果として、最後のリンクの先の内容が、特定のウィンドウを任意のワークスペースに移動する方法らしい。

模式コードは次のようになる。(CGSPrivate.hは一番目のリンク先にあるもの)

#import <CGSPrivate.h>
...
NSWindow *win = ...;
CGSConnection cid = _CGSDefaultConnection();
CGSWindow wid = [win windowNumber]; // ?
CGSMoveWorkspaceWindowList(cid, &wid, 1, workspace);

CGSを解析した作られた CGSPrivate.h でのCGSWindow と Appleから出ているドキュメントに出てくる CGWindowID とは window server 内で割り振られた番号で同じ実体と思われるが、 NSWindow の windowNumber のドキュメントには、それとは違うと書かれている。混ぜても動いたから多分良いかと思われるが、、、ここいらはぼかしたい内容なのかなぁ。。。分からんなぁ林檎は。

まぁ、ここまで分かれば、出来たも同然〜。

で、適当にコマンドを作ってみた。

cgsutil.m

Emacs.appの改造

(frame-parameters)には window-id があるから、Cocoa Emacs では多分コイツがフレームウィンドウの CGWindowID のはずで、コイツと飛ばしたい workspace 番号を適当に作ったコマンドに渡して、お仕舞いかなぁ。

わぁーい。らくちん。

はぅ。。。

Cocoa Emacs では window-id の値は、1から単調増になるように割り振った全く意味の無い番号でした。

仕様が無いので、次の追加機能を付けるパッチ(~~emacs-23-cgs-workspace.diff~~) を作ってみた。

フレームパラメータns-window-idに、CGWindowIDと思われる値
~~フレームパラメータns-workspace-idに、フレームのworkspace番号~~
フレームを指定のworkspaceに移動する関数 (set-frame-ns-workspace FRAME WORKSPACE)

まぁ、最初の一つだけで十分だが、後二つは組込まなくてもいいかも。

まとめ

上のパッチを適用した Emacs.app に適当な elispを書くと、１コマンドで複数のフレームを特定のワークスペース／特定の位置に開く事が出来るようになった。

うん〜〜。快適じゃ。

はぅ。。。

Cocoa Emacs で８フレームも開くと、キー入力が引っ掛かるようになり、Emacsプロセス自体のCPU利用率もイマイチ高い。イベント処理方法にまだ難があるのかなぁ。

４フレームくらいで抑えないとスムーズに使えないかなぁ。。。

追記 (2010/06/16)

複数のフレームを開いたときCPU利用率が高くなるのは、本パッチ内のframe-paramaters にワークスペース番号を追加するのが原因だった。。。frame-parameters の取得は不随に起きるらしくのでどうも軽くなくては行けない。

なので、workspace番号は取得関数から得るように変更し、workspace 絡みの部分を分けたパッチにしてみた。

emacs-23-cg-window-id.diff
- フレームパラメータns-window-idに、CGWindowIDと思われる値
emacs-23-cgs-workspace.diff
- 指定フレームのworkspaceを取得する関数 (frame-ns-workspace FRAME)
- フレームを指定のworkspaceに移動する関数 (set-frame-ns-workspace FRAME WORKSPACE)

ふむ。
８フレームを開いても、キー入力が引っ掛かる症状は無くなった！！
すごく快適〜ん。

パッチを切ったり張ったり入れ替えたりする(1)のに、git rebase -i は極めて便利。git 優秀だなぁ

Emacs で文法チェック

2010-05-18T00:13:00.001+09:00

Emacs でプログラムを書く人々は、リアルタイムに文法チェックをするために flymake を使うらしい。

以前聞き覚えがあるが、何をする物か分からないのでスルーした奴だが、結構使えるものだったのかぁ。

なので flymake の設定をしてみた。

Quick Start

詳細は info マニュアルに書かれているが、使い始めの設定は次の通りになる。この状態で、何もせずに Perl/PHP の文法チェックは行なえる(perl/php コマンドがあればの話だが)。

(require 'flymake)

;; GUIの警告は表示しない
(setq flymake-gui-warnings-enabled nil)

;; 全てのファイルで flymakeを有効化
(add-hook 'find-file-hook 'flymake-find-file-hook)

;; M-p/M-n で警告/エラー行の移動
(global-set-key "\M-p" 'flymake-goto-prev-error)
(global-set-key "\M-n" 'flymake-goto-next-error)

;; 警告エラー行の表示
(global-set-key "\C-cd" 'flymake-display-err-menu-for-current-line)

次に C/C++ で文法チェックを可能にするには、 Makefile を使い、次の様な check-syntax ルールを追加すればよい。

PHONY: check-syntax
check-syntax:
    $(CC) -Wall -Wextra -pedantic -fsyntax-only $(CHK_SOURCES)

ここまですると、編集途中にリアルタイムに文法エラー/警告の部分に色が付き、分かり易い。

なるほど、、、これは素晴らしい。

以下の設定は、好きずきだと思う

警告エラー行の表示のカスタマイズ

警告エラー行の表示は、プラットホーム毎のポップアップメニュー実装が使われるが、色々検索すれば出てくるが、２通りのカスタマイズが良く知られている。

Minibufに表示する。
popup.el(auto-complete に含まれている)のpopup-tipsで表示する。

;; Minibuf に出力
(defun my-flymake-display-err-minibuf-for-current-line ()
  "Displays the error/warning for the current line in the minibuffer"
  (interactive)
  (let* ((line-no            (flymake-current-line-no))
         (line-err-info-list (nth 0 (flymake-find-err-info flymake-err-info line-no)))
         (count              (length line-err-info-list)))
    (while (> count 0)
      (when line-err-info-list
        (let* ((text       (flymake-ler-text (nth (1- count) line-err-info-list)))
               (line       (flymake-ler-line (nth (1- count) line-err-info-list))))
          (message "[%s] %s" line text)))
      (setq count (1- count)))))

;; popup.el を使って tip として表示
(defun my-flymake-display-err-popup.el-for-current-line ()
  "Display a menu with errors/warnings for current line if it has errors and/or warnings."
  (interactive)
  (let* ((line-no            (flymake-current-line-no))
         (line-err-info-list (nth 0 (flymake-find-err-info flymake-err-info line-no)))
         (menu-data          (flymake-make-err-menu-data line-no line-err-info-list)))
    (if menu-data
      (popup-tip (mapconcat '(lambda (e) (nth 0 e))
                            (nth 1 menu-data)
                            "\n")))
    ))

僕としては popup.el を使うのが結構好み

check-syntaxターゲットルール

先に述べて Makefile の check-syntaxターゲットルールでは一種類の文法チェックプログラムしか使えない。。。 gcc でチェックできるものは全てチェック出来るから、気を回す必要は無いかもしれない。

GNU make を使えば、拡張子毎に文法チェックプログラムを選べるルールの書き方がある。

CHECKSYNTAX.c = $(CC) $(CFLAGS) $(CPPFLAGS) -Wall -Wextra -pedantic -fsyntax-only
CHECKSYNTAX.cc = $(CXX) $(CXXFLAGS) $(CPPFLAGS) -Wall -Wextra -pedantic -fsyntax-only

check-syntax: $(addsuffix -check-syntax,$(CHK_SOURCES))

%.c-check-syntax:
	$(CHECKSYNTAX.c) $*.c

%.cc-check-syntax:
	$(CHECKSYNTAX.cc) $*.cc

まぁ、ここまで書く奴はいないかぁ。。。

Makefileが無くてもC/C++の文法チェック

Makefileが無ければ、直接 gcc で文法チェックをし、 Makefileがあればcheck-syntaxターゲットルールを使いたい場合は、次の設定をすれば良い。

(defun flymake-simple-generic-init (cmd &optional opts)
  (let* ((temp-file  (flymake-init-create-temp-buffer-copy
                      'flymake-create-temp-inplace))
         (local-file (file-relative-name
                      temp-file
                      (file-name-directory buffer-file-name))))
    (list cmd (append opts (list local-file)))))

;; Makefile が無くてもC/C++のチェック
(defun flymake-simple-make-or-generic-init (cmd &optional opts)
  (if (file-exists-p "Makefile")
      (flymake-simple-make-init)
    (flymake-simple-generic-init cmd opts)))

(defun flymake-c-init ()
  (flymake-simple-make-or-generic-init
   "gcc" '("-Wall" "-Wextra" "-pedantic" "-fsyntax-only")))

(defun flymake-cc-init ()
  (flymake-simple-make-or-generic-init
   "g++" '("-Wall" "-Wextra" "-pedantic" "-fsyntax-only")))

(push '("\\.[cC]\\'" flymake-c-init) flymake-allowed-file-name-masks)
(push '("\\.\\(?:cc\|cpp\|CC\|CPP\\)\\'" flymake-cc-init) flymake-allowed-file-name-masks)

まとめ

取り敢えず、次いでに ruby/bash の文法チェックを追加したのが、今現在の設定になっている。

45flymake.el

あとは Python/Java/HTML/CSS をチェックするのがあれば良いが、、、これくらい素のflymakeに含まれていればいいのになぁ。。。

あとSemanticかぁ。。。

追記 (2010/05/24)

暫く使ってみたが、基本動作で２点だけイマイチな挙動を修正しないと、ストレスが溜まりまくる。

ファイルもしくは上位ディレクトリに書き込み権限が無い場合、messageを吐いて開くのを諦めてしまう。。。
文法チェックプログラムが無い場合 flymake がオフになるが、それでも何かのプロセス？が残って、後々無意味な y の連打をしないといけない。。。

これも、素のflymakeで用意してくれれば良いのに、、、で場当たり的に次の設定を追加した。。。

;; flymake を使えない場合をチェック
(defadvice flymake-can-syntax-check-file
  (after my-flymake-can-syntax-check-file activate)
  (cond
   ((not ad-return-value))
   ;; tramp 経由であれば、無効
   ((and (fboundp 'tramp-list-remote-buffers)
         (memq (current-buffer) (tramp-list-remote-buffers)))
    (setq ad-return-value nil))
   ;; 書き込み不可ならば、flymakeは無効
   ((not (file-writable-p buffer-file-name))
    (setq ad-return-value nil))
   ;; flymake で使われるコマンドが無ければ無効
   ((let ((cmd (nth 0 (prog1
                          (funcall (flymake-get-init-function buffer-file-name))
                        (funcall (flymake-get-cleanup-function buffer-file-name))))))
      (and cmd (not (executable-find cmd))))
    (setq ad-return-value nil))
   ))

追記 (2010/05/25)

上の修正は、ちょっと上手く行かない場合があったので修正っと。

追記 (2010/05/27)

tramp経由の場合も、イマイチ上手く動かないので、除外に加えてみた。

Emacs Refcard 日本語版

2010-05-13T01:37:00.000+09:00

Emacs のチートシートは、Emacs と一緒に配布されている。 refcard.tex から pdfを作って印刷すれば良い。少し古いバージョンだが、日本語に翻訳されたものは「Emacs-20/21 Reference Card 」にある。

キー操作として、手に染み付いているものは半分くらいしか無い。。。大抵 M-x コマンドで済まして場合が多いなぁ。

いかんなぁ。。。

再度覚え直す為に、先の日本語RefcardとEmacs23に入ってるrefcardと若干漏れている部分を補い、一部語句を修正し、フォント関係を微調節してものを作ってみた。

refcardja.tex

次いでに ptex/dvipdfmx を使って PDF を作って、Google Docs に上げてみた。

refcardja.pdf

まとめ

うん、久しぶりに素のTeXを弄ったが本当にややこしい奴だな。

Cocoa Emacs が落ちる

2010-05-12T03:09:00.001+09:00

Cocoa Emacs は安定していると思ったが、どうもポップアップダイアログが出ると暫くして落ちてしまう。

flymake をチマチマ使えるように設定を弄ったら、時々でるポップアップに刺さる。。。

しようがないので、gdbで追っかけてみた。

調べてみたら、次のような簡単な処理でも、ポップアップが出て暫くしてEmacsが落ちるようである。

どうも inline patch 側での処理抜けらしい。。。こんな感じに修正すると落ちなくなった

うん、すこぶる快適

Emacs23 のフォント設定

2010-05-07T13:21:00.001+09:00

新し目の Emacs ではフォントエンジンの改良が進んでおり、 antialiasing が効いた奇麗な表示が出来る。また、沢山の種類のフォントを扱えるようになっている。

プログラムの編集等をしてると等幅フォントが必要である。特に、日本人としてはASCII文字と日本語文字の幅が 1:2 である事が強く望ましい

まぁ、いくつか設定方法が流れてるので、コピペして使えば良いのだが。。。みんなどうやって見やすい設定を探してるのだろうか？

疑問に思ったので、次のような機能のelispを書いてみた

my-sample-ascii.el

my-sample-ascii: 既定のフェース default/bold/italic/bold-italic それぞれで同じメッセージを同一のバッファに出力する
my-sample-face-size: defaultのフェースを継承し(書体を引き継ぎ)、高さが 6〜20ptのフェースを作成し、同じメッセージを同一のバッファに出力する

適当にdefaultフェースを設定した後だが、CocoaEmacs/NTEmacs/Emacs(onUbuntu)での、 my-sample-face-sizeの結果は次のようになる

いくつか設定してみたが、全ての pt で、1:2 に揃うフォントの組み合わせはほんとに稀で、日常的に使うサイズに合わせて、サイズの微調節が必要のようである。やはり、IPAフォントの恩恵は結構でかいなぁ。

今現在、いい感じに設定できたのは次の通り。

まとめ

なんか Emacs をガンガン使い倒したくなってきた！！

追加 (2010/11/03)

VMware 上の X で画面サイズの変化で dpi が変化し pt 単位でフォント指定すると、実際のフォントの大きさがまちまちになるので、明示的にpixel単位？で指定する方法に切り替えてみた。

NTEmacs 23.1.Xを使ってみる

2010-05-06T18:33:00.000+09:00

Windowsの定番は Meadowであり、今でも十分安定している。ただ、ベースにしてるのが Emacs 22系なので、ちょっと新しくないかなぁ。。。

今日では本家EmacsでもWindows版のバイナリを配布している。Windows特有のInstallerが使いたければ、EmacsW32から入手できる。

結構、安定して使える。かつ、アイコンが奇麗だ。。。

本家バイナリはネイティブのIMEのサポートが弱い気がする。。。と思ったら、有志によってIMEのinlineパッチも作成されいる。また、 VCSの新し目のタグに有用なパッチを当てたバイナリも「NTEmacs Build History 」から入手できる。

なので有り難く使わせてもらいます。
らくちんだ。

設定

NTEmacs内部ではWin32のA系の呼び出し(ファイルI/Oやプロセス生成など)が使われるっぽいので、現在の言語環境でのコードページに合わせなければ、奇妙な文字化けが発生する。つまり、ファイル名とコマンド引数(processのdecoding)のcodingは shift_jis/cp932 じゃないとまずい。

と思うのだが、誰か大層語ってくれる人が見当たらないので、本当のところはさっぱり分かりません。。。

なので、「Cygwin 1.7でUTF-8サポートされたぜ！いぇーい！今時は UTF-8 ですが何か？」とは、口が裂けても言えない。。。僕は恨めしくshift_jis/cp932で使いますよ。。。へたれですから。。。

上のサイトや他多数をちょっと参考にして、今現在の次のようにしている。今でもチマチマ書き換えているのでそのうちgithubで晒しとくかなぁ。。。

Homeディレクトリの指定

ホームディレクトリ指定を環境変数HOMEで与える必要があり、Cygwinでのホームディレクトリと同じにすると混乱せずに済む。

Cygwin 1.7と組み合わせる設定

03cygwin.el

IMEの設定 (04ime.el)

言語設定 (05lang.el)

VCS系の設定

cygwinのsubversionやgitを使う場合、ログメッセージが文字化けするので、ちょっと設定が必要。。。

、、、VC-xx.elの実装では、ログメッセージはコマンド引数で受け渡されるようになっている。一時ファイル経由で無いとWindowsではバケバケになるのだが。。。そのうち直るのかなぁ

まとめ

あと大事な Font 設定ですね。。。次回で。

Cocoa Emacs 64bit版を作ってみる

2010-05-01T19:07:00.001+09:00

最近、また Emacs にはまっている。

ここ数年は vi やら eclipse やら JeditX やら xcode やらを広く浅く使っていて、いまいちスッキリしない感じで、まぁ年なのか諦めていた。 Snow Leopardにアップグレードを期に、ちょっと設定等を手入れしてMacOSX/Windowsで使い出したらすこぶる手になじむ。。。

はて、なんでEmacsを使うのを忘れていたのかんなぁ。。。

そう、当時 Emacs 20か 21 (mule-2.3だったかもしれん、、、)だったかなぁ。 UTF8/Unicodeを使う為にはMule-UCSとかいうパッケージが必要で、そいつを組み合わせると普通に使えるのだが、起動も動作ももっさりしていまいちだった。。。

今日のEmacsはサクッとUnicode系の一群のcoding-systemが使えて、それなりに軽快に動作する。

良い時代になったなぁ。。。

MacOSX 上の定番は CarbonEmacsで、かなりしっかりメンテナンスされており、実に安定している。ただ、ベースにしてるのがEmacs22だったり、Carbonベースだったり、32bitバージョンだったり、本当に細かく気になる人が気になる程度。

ふと気づくと本家 Emacs では既に 64bit Cocoa版が構築でき、かつ日常作業で問題ならないくらいは安定してるらしい(1,2)。また、フォントの等幅調節設定や日本語入力等のinline patchなどが入手が可能で、ほぼ CarbonEmacs を置き換えて使えるレベルになっている(と思う)。

なので、Cocoa Emacs 64bit を構築してみる。

ソースを取ってくる

うん、一番の難関は Bazaar という分散VCSを使う事かもしれない。。。準オフィシャルなGitレポジトリがあるので、Gitに慣れてる場合はこっちを使うのが吉。僕は、へたれなので git の方を使った。

Bazaar レポジトリ: http://bzr.savannah.gnu.org/r/emacs/trunk/
Git レポジトリ: git://repo.or.cz/emacs.git

取り敢えず、ローカルネットに emacs.git のミラーレポジトリを立てて、そのマシン上でフォークして個人用の共用レポジトリを作る。その個人用レポジトリから作業マシンに複製を展開する。また、継続的にupstreamを追っかけるため、ミラーレポジトリもリモートとして登録する。

% ssh server               # ローカルネットの server にログイン
% cd /git
% git clone --mirror git://repo.or.cz/emacs.git
% git clone --bare --reference emacs.git emacs.git emacs-my.git
...
% ssh client               # 作業マシンにログイン
% cd ~/work
% git clone git+ssh://server/git/emacs-my.git emacs
% cd emacs
% git remote add upstream git+ssh://server/git/emacs.git
% git fetch upstream

個人用レポジトリを挟んだのは、バックアップを意図してなんだが、、、git使いはそんな事はしないのかなぁ。。。分からんなぁ。。。

パッチをあてる

続いてMacEmacs JP から inline_patch を取って当てる。

% ssh client               # 作業マシンにログイン
% cd ~/work/emacs
% git checkout -b topic EMACS_PRETEST_23_1_96  # 次いでに topic ブランチも作っとく
% pathc -p0 < emacs-inline.patch

構築する

あとは、configure/make で問題が無ければ nextstep/Emacs.app の場所で 64bit Cocoa Emacs が構築される。

% ssh client               # 作業マシンにログイン
% cd ~/work/emacs
% eval "$(PATH= /usr/libexec/path_helper -s)"  # PATHをクリーンにする
% ./configure --with-ns
% make install
% open nextstep/Emacs.app                      # Emacsの実行確認

なんともあっけなく構築できた。ただ、僕は masterブランチの方にパッチを丁寧に当てた物(24.0.50とか)を使っている。すこぶる快適。

定期的追っかける

まぁ、忘れそうなので次いでに書いとく。

ミラーレポジトリは次のコマンドで更新する。

% ssh server               # server にログイン
% cd /git/emacs.git
% git fetch

そして、作業レポジトリで upstream を追っかけるには

% ssh client           # 作業マシンにログイン
% cd ~/work/emacs
% git fetch upstream
% git rebase upstream/master topic    # upstream 先端に rebase
% git push origin :topic              # topicブランチを削除し、
% git push origin topic:topic         # 新しくtopicブランチをプッシュ

いまいち Git の使い方に慣れない/分からないので、間違ってるかもしれん。。。

そういえば、github にも Emacsのミラーレポジトリが上がってるので、そのうち生えてくるかもしれん。。。

それにしても覚える事が次から次と現れて、知恵熱が出っぱなしだなぁ。。。

初期設定のemacs.elはまた次回。

追記 (2010/05/06)

フォント以外の設定は、殆ど定型文っぽいので以下の用に設定した。

フォントの設定は「Emacs23 のフォント設定」を参照

追記 (2010/05/12)

どうもポップアップダイアログが出たとき落ちる問題にはパッチが必要。

libvirtd を終了時にGuestOSを保存する方法

2010-03-03T20:16:00.001+09:00

libvirt+QEMU/KVM を使った仮想化の運用を続けていると、どうしても気になる事がある。

libvirtd の設定には、自動起動するGuestVMは登録できるのだが、終了時には有無を言わさず GuestVM を強制終了してしまう事である。

自前で libvirt (0.7.2)を入れているので今のバージョンでは何らかのサポートが入ってかもしれない。ただ「libvirt: Releases」を見る限り入って無さそうである。

それにQEMU/KVMドライバだけの挙動かもしれない。他とドライバ(Xen等々)だと状況は違うかもしれない。

まぁ。。。そのうち何らかの対応が入るんだろうなぁ。。。

そうは言っても、ホストマシンを終了するときイチイチ確認するのは難儀である(とくにACPIサポートが悪く電源断しないGuestOSタイプとかねぇ)。

さて、QEMUにはVMの状態を保存復帰(save/restore)がサポートされている。コイツとストレージ共有を組み合わせると、ライブマイグレーションが一丁上がりになるので、つい何年か前に小躍りしてる人がたくさんいた気がする。

まぁ普通にサスペンド/レジュームの仕組みなので、コイツをなんとか上手く使うスクリプトを組んでみた。

指定する項目は３つで、それぞれスクリプト冒頭に書かれている。

libvirt-start-stop-vm.sh

...
SAVEVMDIR="/var/lib/libvirt/save"            # 保存するVMの置き場所
LISTVM_SHUTDOWN="linux_sid linux_fedora"     # 終了時 shutdown するもの
LISTVM_SAVE="freebsd_cur netbsd_cur solaris" # 終了時 save するもの
...

やってる事は単純で virsh コマンドを叩いてるだけである。ただ、LISTVM_なんたらで指定し無かったり、15分以内に正常に電源断しない奴は、最後に念のためsaveしてある。

コイツを、/etc/init.d/libvirt-binのスクリプトの必要な部分に入れ込むだけ。

うん〜、これでマシンを立ち上げると前回マシンを落とした時の状態のままのSolaris10/FreeBSDが立ち上がるようになった。。。しかし、時刻が合わん。なんか、GuestOSが共通に取れるイベントの仕組みがあるのかなぁ。。。SNMPとかで叩くんかなぁ。。。SSHとかで叩くんかいなぁ。。。順当に cron でntp引っ張ってくるが原始的でいいのかぁ。。。でも、時刻合わせの精度は低いし、常時CPUをちょっとだけ使うのはなぁ。。。ぶつぶつ

あんまり、すっきりしないが個人で使う分には用は足りそうである。

VIA EPIA EN のその後

2009-12-09T17:28:00.001+09:00

VIA EPIA EN12000 を24時間運転してサーバ運用してる。以前は、時々ハングアップしていたのため、保険で watchdog 設定をしていたのだが、奇妙なことに安定動作している。

# uptime 
 16:32:08 up 48 days, 21:24,  1 user,  load average: 0.06, 0.07, 0.01

取り敢えず、１ヶ月半くらい連続運転している。

はて？
なにが効果あったのかな？

環境としては、

VIA-EN12000EG / VIA C7 1.2GHz
DDR2-533 1G (IO-DATA DX533-1G)
PATA SSD 32G (TS32GSSD25-M)
SATA HDD 1Tx2 (WDC WD10EADS-00L/WDC WD10EADS-00M)
Debian lenny の標準的なパッケージをほぼ使ってる。

TimeMachine のバックアップ先になっており、一時間ぐらいの間隔でバースト的に Network I/O や Disk I/O が同時に発生する状況にある。

取り敢えずは、今のところ安定している。。。

まぁ、ネットワーク負荷を計測するときには、負荷をかけるとハングアップすることが多々あった。追っかけてみようかと思って保留して、計測後の環境ではハングアップが全く無くなったので放置してしまった。

計測前と計測後には大きく２点の作業をしてある。

メモリのフリーページの調節

運良くコンソールにメッセージが出てきたとき「lockup」とかは見た記憶がある。別のメッセージだったかもしれない。色々調べて、「メモリーのフリーページの不足ぎみが NICドライバ内でのlockupを引き起こす」とか適当に結論づけて、次の設定をした気がする

# echo "vm.min_free_kbytes = 8192" >> /etc/sysctl.conf

ただ、もっと良い設定があって次のようなスクリプトを自前のバックアップ処理の後に入れている

## pagecache clear & dirty page & inode cache clear
/sbin/sysctl -w vm.drop_caches=3
#
/sbin/sysctl -w vm.drop_caches=0

この設定は、結構気分の問題な気がする。

NIC ドライバの変更

計測中も、ベンダ提供のものか、自前で修正したものを使っている。計測後は、自前で修正したものを使って長期運用している。。。ってその為に改良したしなぁ。

Debian 標準カーネルに含まれているvia-velocityドライバはバースト的なI/Oにはlockupするような、気がする。

まとめ

人生で初めて家の電灯の安定器のコンデンサが破裂していく音を聞いた。

「しゅるしゅるしゅる〜〜、ぷぅん」って。

VIA-EN12000EG のコンデンサが減ったった時が、VIA とのお別れですね

Blogger の「続きを読む」機能

2009-10-21T00:53:00.000+09:00

ここ２〜３ヶ月くらいで、Blogger にクラウドタグと「続きを読む」機能が追加された。

すばらしい!

あとは、関連記事のリスト表示の対応が入れば、全部 Blogger 内でまかなえるのかなぁ。。。

ただし、ちょっとだけ問題がでた。

今使っている投稿アプリ ecto では投稿後に再度 Blogger からデータを再取得してその内容を保存するような動作をしている。

このとき、Blogger から流れてくるデータでは「」が「<a name='more'></a>」に置換されてしまっている。

そのままで jump break と同等に機能すれば良いのだが、どうもそうでは無いらしい。

再度修正したいときは、都度確認し修正が必要のようである。

ecto の使い方がわるいんかなぁ。。。

VIA EPIA EN の設定のまとめ 2009Q4

2009-10-19T01:28:00.001+09:00

気がついてみると VIA EPIA EN12000 と Linux の Tips がたまったので、まとめてみた。

PadLock

Watch Dog Timer

VIA EPIA-EN で watchdog を設定

Onboard NIC / VT6122

VIA EPIA EN のその後 (追記2009/12/09)

性能を使い切るポイントはある程度掴めたので、再度ファイルサーバとして組み直して使う事にした。高負荷状態になってもたいして~~速くない~~電力を食わないので好都合かなぁ。なので、これ以上このボードに特化したTipsはおしまい。

あれ、、、なぜかGbE-PCI2とGbE-PCIe3が手元にあるのは何故なんだろう。。。

IPSec のスループット

2009-10-15T18:04:00.001+09:00

ネットワークのスループットを測定する環境を整えたので、次いでに IPSec を通してた時のものも測定してみた。

測定の条件は

スループット測定ツール nuttcp の計測用データチャンネル 5001/tcp を上り／下りにそれぞれ IPSec に通す。
racoon ver.1 でサポートされていない暗号化スイートも測定したいので、鍵を手動で設定する。
ESP認証／暗号の組み合わせで計測する。(AHは使わん)
追加で IPComp での圧縮の効果を見たい気がする。

複数の認証/暗号の組み合わせで測定する為にスクリプト(measure_ipsec_throughput.sh)化した。

setkey で、手動で鍵を設定する方法は多々情報(1、2)があるので、そちらを参考にして欲しい。ただ、IPComp を組み合わせる例が乏しいのでこの部分だけ。

IPComp を組み合わせて使う

IPSec設定済みで、ESPのみを使うSPDが次にようになってるだろう。

...
spdadd xx.xx.xx.xx[port] yy.yy.yy.yy tcp -P out ipsec esp/transport//require;
...

このときSPDのルールの順番が重要になる。カプセル化の下の方から、要は IPComp ⇒ ESP ⇒ AH の順に書き下していくことになる。

従ってIPCompを組み合わせるには、次のようにすればよい。

...
add xx.xx.xx.xx[port] yy.yy.yy.yy ipcomp zzzz -C deflate;
spdadd xx.xx.xx.xx[port] yy.yy.yy.yy tcp
	-P out ipsec ipcomp/transport//use esp/transport//require;

ただ、ベンチマークに流れるデータは「0」の羅列なので、いまいち効果が分からん。。。

なので計測は諦めた。

IPSec スループットの計測

前とほぼ同じ環境とmacbook pro を加えたものを用意、全ての計測に MTU 1500 / ロック周波数変更は全て無効にしMAXにした。また、TCP/IP通信に関するパラメータを修正せずにデフォルトにした。

ref1 - M2NPV-VM / Athlon64X2 2.0GHz / DDR2-667 4GB / Intel Pro/1000PT (外付け)
ref2 - M4A78-EM / Athlon X2 5050e 2.6GHz / DDR2-800 8GB / RTL8112
via - VIA-EN12000EG / VIA C7 1.2GHz / DDR2-533 1G / VT6122
osx - MacBookPro5,1 / Intel Core 2 Duo 2.4 GHz / DDR3-1066 2G x 2 / onboard Gigabit Ethernet
hub - Gigabit Hub(GS908M)

認証/暗号		ref1⇔ref2			ref1⇔via			ref1⇔osx
		throughput (Mbps)	CPU %		throughput (Mbps)	CPU %		throughput (Mbps)	CPU %
		throughput (Mbps)	ref1	ref2	throughput (Mbps)	ref1	via	throughput (Mbps)	ref1	osx
no ipsec	⇒	941.3580	10	28	785.1857	6	50	936.9429	9	54
no ipsec	⇐	941.2461	17	24	723.7100	12	99	938.3451	18	77
null/null	⇒	934.6834	99	38	566.8947	13	93	932.0707	31	62
null/null	⇐	787.4495	18	46	520.2880	13	99	879.3127	25	99

null/des-cbc	⇒	229.5461	99	8	72.9094	2	95	136.6533	3	14
null/des-cbc	⇐	197.0768	14	26	73.4657	4	99	129.1215	6	99
null/3des-cbc	⇒	110.5173	100	4	30.8918	2	87	59.2064	1	7
null/3des-cbc	⇐	76.8033	11	1	30.5976	1	99	56.5818	3	98
null/aes-cbc	⇒	466.7989	99	33	392.0739	14	91	475.7789	95	43
null/aes-cbc	⇐	472.1796	28	36	396.2264	17	99	376.3890	22	99
null/aes-ctr	⇒	495.4163	77	58	218.6071	7	71
null/aes-ctr	⇐	383.9987	16	7	258.7430	17	99
null/blowfish-cbc	⇒	316.0327	99	11	77.6054	3	74	263.7795	15	31
null/blowfish-cbc	⇐	244.9774	11	4	84.1580	4	99	228.4810	13	99
null/twofish-cbc	⇒	372.5317	99	19	100.8360	5	73
null/twofish-cbc	⇐	289.2720	15	9	102.0088	5	99
null/camellia-cbc	⇒	340.9916	100	15	86.7841	3	60
null/camellia-cbc	⇐	267.3560	18	5	84.5675	4	99

hmac-md5/null	⇒	537.2857	99	24	244.7170	7	87	578.8675	99	49
hmac-md5/null	⇐	453.2448	29	14	230.2019	11	99	572.5809	29	99
hmac-sha1/null	⇒	370.0861	100	15	360.3754	20	86	414.4706	99	41
hmac-sha1/null	⇐	296.1913	11	7	350.0287	20	99	469.5587	57	98
hmac-sha256/null	⇒	307.0078	99	16	302.9315	100	41	278.9001	17	33
hmac-sha256/null	⇐	240.0495	12	4	336.2512	19	96	248.9149	28	99
aes-xcbc-mac/null	⇒	447.6017	99	20	216.0013	6	80
aes-xcbc-mac/null	⇐	347.9881	13	12	271.0801	21	99

hmac-md5/3des-cbc	⇒	101.5172	100	5	29.0609	1	88	57.0069	1	7
hmac-md5/3des-cbc	⇐	71.0862	11	1	28.4519	1	100	54.5636	4	98
hmac-md5/aes-cbc	⇒	326.0155	99	17	205.8441	9	79	349.0338	80	27
hmac-md5/aes-cbc	⇐	266.2639	18	5	198.6511	12	99	296.4431	27	98
hmac-sha1/3des-cbc	⇒	94.1899	100	5	30.1900	1	85	56.6619	1	5
hmac-sha1/3des-cbc	⇐	66.1646	12	1	29.8474	2	99	52.0154	4	96
hmac-sha1/aes-cbc	⇒	259.3614	99	15	253.1157	99	56	275.3661	98	25
hmac-sha1/aes-cbc	⇐	202.5055	12	4	286.0077	20	93	270.1091	26	97
hmac-sha1/aes-ctr	⇒	257.3152	99	14	193.6954	4	97
hmac-sha1/aes-ctr	⇐	199.9059	12	3	209.8745	16	99
aes-xcbc-mac/aes-cbc	⇒	283.0864	99	15	207.2613	11	62
aes-xcbc-mac/aes-cbc	⇐	225.1556	13	4	233.3907	26	99
aes-xcbc-mac/aes-ctr	⇒	281.3969	99	15	154.4989	7	70
aes-xcbc-mac/aes-ctr	⇐	220.3145	12	4	178.5399	13	99

異様にたくさん計測したが、あんまり意味が無い気がしないでもない。

暗号化方式の性能は
aes系 > blowfish/twofish/camellia >> DES > 3DES
VIA C7 では aes系 >> それ以外
認証方式の性能は
hmac-md5 > aes-xcbc-mac > hmac-sha1/hmac-sha256
ただ、あまり差異はない。
VIA C7 では hmac-sha1/hmac-sha256 >> それ以外
des-cbc/3des-cbc は他の暗号化方法に比べて５～１０倍くらい遅い。もう、見る影が無い。
aes 系の実装には多くの開発リソースが割かれており、x86 コードでも十分早い。VIA PadLock が圧倒的に有利という訳ではない、不利という訳でもない。
個々のNICドライバの個性がある。
e1000e(Linux) / nvenet(MacOSX) に関しては送信時のCPU負荷が100%になる傾向があり、r8169 に関してはどう考えてもCPU利用率が低くなる。
これが NIC 自体の性能か、TCPと組み合わせで何らかのビジーウェイトが起きるのかは、いまいち不明。。。nuttcp/netperf で発生するトラフィックパータンに対する適性なのだろうか。
送信性能が上がるチューニングが必要なのだろうか？
普通運用する hmac-sha1/aes-cbc は約250Mbps のスループットが出る。PadLock を使えば同様の性能が出る。

結論

VIA-EN12000EG 上の Linux で IPSec を使うと約250Mbps程度のスループットの性能があり、Athlon64X2 2.0GHz と同程度の性能である。

Intel Atom はどの程度なのだろうかぁ？

VT6122 の性能(4) - ドライバの強化

2009-10-06T03:38:00.001+09:00

元々 via-velocity は、少し古いバージョンの velocityget ソースを整理したものだった。ただ、現在の双方のバージョンを比べると、via-velocity に含まれていない要素がある。

EnableMRDPL (Memory-Read-Multiple)オプション
VIA 的には「Adaptive Interrupt」と呼ばれるもの
(txque_timer/rxque_timer/tx_intsup/rx_intsupオプションとその関連部分)

これは、分岐後にVIAによって追加されたものか、意図的に省かれたのもか、どちらなのかは正直分からない。

EnableMRDPL (Memory-Read-Multiple)オプション

最初の要素は、PCIのバースト転送のモードをなんか指定するものらしいが、ベンチマーク上は効果がなかった。 PCIに詳しくなければいまいち内容が分からないし、デフォルトが無効なので、今回は見送った。

VIA 的には「Adaptive Interrupt」と呼ばれるもの

「適応割り込み」と称しているが、単に割り込みを一定数間引いたり、一定時間遅延を入れるだけのようで、特に割り込みの頻度に応じて動的に変更はしない。。。なんかなぁ

うんで、機能追加パッチを作ってみた。(velocitygetの処理を流用)

via-velocity の adaptive interrupt 関連の機能追加パッチ (debian lenny/kernel-2.6.26用) / via-velocity-adaptive-intr.patch

前出の修正パッチの後に当てればいい

# mkdir via-velocity
# cp Makefile-via-velocity-only via-velocity/Makefile
# cp /usr/src/linux-source-2.6.26/drivers/net/via-velocity.[ch] via-velocity/
# patch -p 3 -d via-velocity < via-velocity-fixed-wol.patch
# patch -p 3 -d via-velocity < via-velocity-fixed-int_works.patch
# patch -p 3 -d via-velocity < via-velocity-adaptive-intr.patch
# cd via-velocity
# make install

スループット性能の比較

前回と同じ環境で、velocityget と via-velocityの「Adaptive Interrupt」パッチ有／無の３種類の場合を測定した。

	velocityget			via-velocity パッチ無し			via-velocity パッチあり
	スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率
	スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1
target ⇒ ref1	655.4841	99 %	11 %	646.4036	99 %	12 %	724.7809	99 %	12 %
target ⇐ ref1	741.2755	66 %	4 %	709.2465	80 %	2 %	762.3420	51 %	5 %

mtu 1500 / DMA_length=6 / それ以外のモジュールパラメータはデフォルト値

	velocityget			via-velocity パッチ無し			via-velocity パッチあり
	スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率
	スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1
target ⇒ ref1	816.0544	32 %	7 %	816.1541	30 %	7 %	814.9007	31 %	7 %
target ⇐ ref1	989.8745	48 %	9 %	944.4813	46 %	8 %	989.8323	46 %	9 %

mtu 9000 / DMA_length=6 / それ以外のモジュールパラメータはデフォルト値

考察

mtu 1500 のとき、送信性能が10%程度上がった。受信性能はほぼ velocityget と同程度になったが、CPU負荷率は低くなった。mtu 9000 のときは、velocityget と同程度になった。

受信時のCPU負荷率低下は面白い。NAPI化すればより軽くなるのかなぁ。e100?系の適応なんとかの動的アルゴリズムを流用すればもっと良くなるのかなぁ。もっと送信性能を上げるにはどうすれば良いのだろう。。。

スループットのベンチマーク上の結果だけなので、レイテンシとかはどうなんだろう。。。

本来 ethtool へのインタフェース経由で設定するものを、モジュールパラメータに載せて、固定値になっているのも気になると言えば気になる。

ちまちまパッチを切るのは面倒だから、どっかにレポジトリ借りて、最新版のバニラソースに作業するのがいいのかなぁ。

ふぅむ。

近年、VIA の NIC のシェアはかなり落ちている。大抵の onboard NIC は RealTek の奴だったりする。また、Windows 64bit系の4G問題とかも敬遠される原因になっている。

廃れつつ、傾きつつ、そんなものの為に作業する奴がいないんだろうなぁ。

VIA EPIA は本当に不憫な奴だ。

今年分の作業は、この辺かなぁ、、、では

VT6122 の性能(3) - ネットワークスループット測定

2009-09-30T23:25:00.000+09:00

スループットを計測するツールは何種類かある。

ttcp / nttcp / nuttcp
ttcp が古のツールでソースは色んなバージョン(1,2)が散見される、SGI の人が改良したのが nttcp (元サイトは http://www.leo.org/~elmar/nttcp/ だったらしいが、既に無くなっている)。nuttcp は、nttcp をベースに改良が続けられたもの。使うならば nuttcp かなぁ。
iperf
Java ベースの GUI 付きがあるので、ベンリかも
netperf
スループット以外にもテスト項目の種類が豊富。ただし、man ページが不完全でなので付属の HTML/PDF を参照する必要がある。
SmartBits
商用でよく使われている奴ですね。

まぁ、スループットの測定ならば iperf を使えば良いが、CPU の負荷状況を見たいので nuttcp を使ってみた。

VIA-EN を含めて以下の３台とHUBを用意し、３台ともhubに直結した。

target - VIA-EN12000EG / VIA C7 1.2GHz / DDR2-533 1G / VT6122
ref1 - M2NPV-VM / Athlon64X2 2.0GHz / DDR2-667 4GB / Intel Pro/1000PT (外付け)
ref2 - M4A78-EM / Athlon X2 5050e 2.6GHz / DDR2-800 8GB / RTL8112
hub - Gigabit Hub(GS908M)

また、測定自体は、clock skew を避けるため全て ref1 上で計測した。cpufreq によるクロック周波数変更は全て無効にしMAXにした。 ref2 に関しては ref1 自体の評価にのみ使った。

ref1 ⇔ ref2 間

ref1 / ref2 ともに mtu 1500 に設定して測定した。

# ssh -f ref2 -- "nuttcp -S -1"
# nuttcp -t ref2
 1123.8690 MB /  10.01 sec =  941.3733 Mbps 11 %TX 27 %RX
# ssh -f ref2 -- "nuttcp -S -1"
# nuttcp -r ref2
 1122.3750 MB /  10.00 sec =  941.0966 Mbps 33 %TX 16 %RX

これを表にすると、

	スループット (Mbps)	CPU 利用率
	スループット (Mbps)	ref1	ref2
ref1 ⇒ ref2	941.3733	11 %	27 %
ref1 ⇐ ref2	941.0966	16 %	33 %

mtu 1500

まぁ、順当に ref1 は送受信ともに約 940Mbps 程度の性能を持っている事が分かる。

target ⇔ ref1 間

target のドライバ via-velocity/velocityget のそれぞれに対して、mtu 1500 かつモジュールパラメータを設定せずに(ドライバのデフォルト値で)計測した。

	velocityget			via-velocity
	スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率
	スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1
target ⇒ ref1	655.2174	99 %	12 %	340.1681	27 %	9 %
target ⇐ ref1	738.7987	68 %	3 %	514.5900	42 %	2 %

mtu 1500 / モジュールパラメータは全てデフォルト値

熟考

結果を見れば、明らかに velocityget の方が性能が高いように思われるが、ソースを見比べるとモジュールパラメータ DMA_length のデフォルト値が、それぞれのドライバで異なる (velocitygetは6/via-velocityは0)。

DMA_length は、チップ内のバッファとメインメモリの間を転送する DMA の処理サイズを指定するらしく、大きなサイズであれば PCI バスの使用効率が上がるので、スループットに影響しそうである。

なので、DMA_length を 0〜7 に振って再度計測し直してみた。

	DMA_length	velocityget			via-velocity			比 (via-velocity /velocityget)
		スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率
		スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1
target ⇒ ref1	0	369.5053	28 %	11 %	340.1827	27 %	10 %	0.920643
	1	398.9382	39 %	11 %	414.5747	40 %	7 %	1.039195
	2	497.4004	64 %	9 %	494.2757	60 %	8 %	0.993717
	3	539.0356	84 %	9 %	540.7160	80 %	10 %	1.003117
	4	610.5743	99 %	10 %	608.1031	99 %	10 %	0.995952
	5	646.1530	99 %	11 %	640.9711	99 %	10 %	0.991980
	6	655.4841	99 %	11 %	646.4036	99 %	12 %	0.986146
	7	652.1732	99 %	12 %	647.7397	99 %	10 %	0.993201
target ⇐ ref1	0	450.8850	36 %	2 %	502.9532	42 %	2 %	1.115480
	1	490.2150	38 %	2 %	580.6518	56 %	2 %	1.184483
	2	599.5584	48 %	3 %	642.5684	63 %	2 %	1.071736
	3	661.0592	52 %	3 %	685.1753	74 %	3 %	1.036480
	4	719.6965	64 %	3 %	709.9482	83 %	3 %	0.986454
	5	731.3209	69 %	5 %	710.1113	80 %	3 %	0.970998
	6	741.2755	66 %	4 %	709.2465	80 %	3 %	0.956792
	7	738.2975	65 %	3 %	710.1459	82 %	3 %	0.961869

mtu 1500 / モジュールパラメータはDMA_length以外はデフォルト値

DMA_length の値を合わせれば、送受信のスループットに関しては velocityget/via-velocity にほとんと差異は無く、強いて言えば velocityget の方が受信に関して 4〜5% 高く、処理が軽い。送信に関しては双方同じ程度に CPU を使い切って頭打ちになっている。VIA C7 では 1Gbps は吐けないのかぁ。。。

まぁ、DMA_length は velocityget のデフォルト値の 6 が推奨値かなぁ。ちなみに、NetBSDでのドライバ vge だと 4 だった。

ただ、DMA_lengthの値でスループットの差異が出るのは VT6122などのPCIベースの場合だけで、PCIe ベースの VT6130 ではどの値でも違いが無かった。。。多分省かれてしまったのでしょう。

さて、velocityget にだけあるっぽい機能を移植していけば、差異が無くなっていくのかなぁ？

MTU 9000 での測定

そういえば、mtu 9000 のスループットも測定をしたかったで Intel Pro/1000PT を外付けしたんだっけなぁ。なので、測定してみた。

	velocityget			via-velocity
	スループット (Mbps)	CPU 利用率		スループット (Mbps)	CPU 利用率
	スループット (Mbps)	target	ref1	スループット (Mbps)	target	ref1
target ⇒ ref1	816.0544	32 %	7 %	816.1541	30 %	7 %
target ⇐ ref1	989.8745	48 %	9 %	944.4813	46 %	8 %

mtu 9000 / DMA_length=6 / それ以外のモジュールパラメータはデフォルト値

受信に関しては、ほぼ 1Gbps を使い切っている！凄し！

追記 (2009/10/06)

今回使ったスループット測定用のスクリプトmeasure_net_throughput.shをバックアップとして上げておく。

VT6122 の性能(2) - VIA Velocity の出自

2009-09-27T06:10:00.001+09:00

velocitygetのソースを眺めていると VT3119 とか VT3216とか一見全く関係無さそうなチップ名らしき物が出てくる。 VT6122 の Device ID が 0x3119 なのでVIA内部型番になっているのかなぁ。でも、ドライバ内では Rev ID での区別らしきものがあり、それに従うと VT6122 = VT3216 (?)っぽい。

正直のところ VIA に聞かないと分からないし、検索でもホンの僅かの情報しか引っ掛からないので、憶測程度にしかならないが、ちょっとだけ書き残しておこう。

VT6110

ここら辺の事情は、ほんとに雲をつかむような感じだ。。。

ZyXEL社の Gigabit NIC (GN650-T/GN670-T) が最初の製品っぽい。そいつが VIA 内部では Device ID と関連づけて、多分 VT3119 と呼ばれていたんだろう。コイツにはまだ PHY が内蔵されておらず、ZyXEL の製品には PHY が載っている。それが CICADA製SimpliPHY のもの。

ZyXEL へのOEM供給?でチップの型番はZX1701Z/X1702になっているが、VIA が外販する時に VT6110 と付けたんだろうと推測できる。

参照

BSD系のドライバ vgeには、ZyXEL 製のNICとVT3119 の記述がある。
ZyXELのサイトには情報は殆どないが、Download Search で検索するととドライバ(rhineget 1.10/velocityget 1.18)が見つかる。
ロシアでは結構流通した製品らしく、検索（"Zyxel Omni LAN PCI G1"）に出てくる。カード全体の鮮明な画像も出てくる。SimpliPHYのマークのチップが見てとれる。
rhineget/velocityget 内の chip_info_table には、CHIP_TYPE_VT6110 のマクロがある。
Gentooのフォーラムの記事に、GN650-T の lspciの出力があり、Rev 01 となっており、ソース内では REV_ID_VT3119_A1 に相当する。REV_ID_VT3119_A0 というのは開発版なのかなぁ。。。

VT6120/VT6121/VT6122

VT6110 に SimpliPHYを内蔵して１チップ化したものが、良く知っている VIA Velocity と呼ばれてる製品群で、 PCIのバスサイズが32bit/64bitのものがそれぞれがVT6120/VT6121で、VT6120 のパッケージを小型したのが VT6122 である。

内部的には VT3216 の型番が付いてると思われるが、ドライバが流用できるほど上位互換なので、Device ID が 0x3119 のままになったようである。

以後、Rev ID の範囲で区別する方針になったのか、0x00〜0x0F が ZX1701Z/X1702/VT6110 であり、0x10 〜 0x1F　が VT6120/VT6121/VT6122 のどれかにあたる。ちなみに EPIA-EN12000EG に載っているのは 0x11 になっている。

性能アップのための機能で Tx/RX キューに関するなんかのタイマーが追加されている。

Rev ID が 0x20〜0x7fのもの

該当する製品が見つけられなかった。。。内部的には VT3284 の型番が付いていると思われる。

velocityget を読む限り、PCI のバースト転送に Memory-Read-Multiple が使えるようになったっぽい。なんのコッチャ、、、

Rev ID が 0x80 〜

PCIe に対応した VT6130/VT6132 が該当する。内部的には、VT3286 の型番が付いてると思われる。

どうも PCIe 化と同時に省かれた機能があるっぽいが、ドライバでは何も対処してないっぽい気がする。

まとめ

Device ID 0x3119 のデバイスは、Rev ID の範囲でチップを区別してるらしい（もしかしたら、特定の Rev ID リストが作れるかも）。

Rev ID	内部型番	チップ名
0x00 ～ 0x0f	VT3119	ZX1701Z/X1702/VT6110
0x10 ～ 0x1f	VT3216	VT6120/VT6121/VT6122
0x20 ～ 0x7f	VT3284	不明
0x80 ～	VT3286	VT6130/VT6132

但し書き

元になるデータが凄く不確かであり、かなりの憶測が含んでいる(ほとんどが要出典)。あまり信用できる情報ではありませんのであしからず。

Linux の iSCSI

2009-09-24T22:25:00.000+09:00

Linux で iSCSI を、やるならば先ず「iSCSI Enterprise Target (IET)」である。そして、kernel に取り込まれてる iSCSI システムが別にあるよってなる。

それって何だろう？

「Linux SCSI target framework (STGT)」がそれらしい。iSCSIに限らず Fiber Channel などの一般的な SCSI Target を対象に絶賛開発中らしい。ユーザランドのコマンドは RHEL5系でscsi-target-utils として提供されいるので、結構安定してるかも。ただ、Debian にはまだ無いっぽい。

あと、別系統として、「generic SCSI target subsystem for Linux (SCST)」てのがある。

三種類の比較表を見ると、SCST が多機能で高性能っぽい。今後が楽しみだなぁ

VT6122 の性能(1) - Linux のドライバの準備

2009-09-24T18:49:00.000+09:00

VIA EPIA は不憫な奴だ。

去年から消費電力が低い Intel Atom ボードが出荷され、当初性能がわずかに上かなぁ〜と思われた後で、Dual-Core だとか Hyper-Threading とかが追加され、もう比べるのも可哀想なぐらい、次いでに Mini-ITX のボードの市場も荒らされまくり、踏んだり蹴ったりのボコボコにされてますなぁ、、、なんか違うかも。

何の気の迷いか EPIA-EN12000EG を買ってしまって以来、不憫な奴が故に捨てられずに、年に１回くらいは思い出したように手を入れて使っている。。。はぁ〜

今回は NIC の性能について愚痴ってみよう。

EPIA-EN12000EG には VT6122 (Gigabit Ethernet) が搭載されている。Datasheet(pdf) を見る限り、South Bridge / VT8237R+ の下のPCIバス(32bit/33MHz)にぶら下がっている。PCIバス(32bit/33MHz) の上限 133MByte/s がボトルネックになるので期待は出来ない。PCIe 接続の VT6130/VT6132 でないなければ Gigabit の限界には迫れないが、どれくらい迫れるかが興味の有るところ。

二種類のドライバ

VT6122のLinux ドライバは二種類で、どっちも些細なバグが有る。

via-velocity / kernel 本家に取り込まれているもの。性能が低いのがもっぱらの噂。WOL が動かない。
velocityget / VIA 本家作成のドライバ。VIA AREA で公開されているが、ダウンロードページに辿り着くまでが迷路というか、ほんとに無理。現在(2009/09/23)の時点で、1.36 が安定版らしい。 rmmod/insmod を繰り返すと dmesg に不審な oops を残す不具合あり。

で、修正パッチを作ってみた。

via-velocity の WOL 対応パッチ (debian lenny/kernel-2.6.26用) / via-velocity-fixed-wol.patch

velocityget の procエントリのリークフィックパッチ / velocityget-fixed-proc.patch

via-velocity単体で再構築

via-velocity 単体だけでも再構築できるようにしてみよう。ターゲットは、Debian lenny の 2.6.26-2-686 向けだが、他のディストロでも応用可能かなぁ。

# apt-get install linux-headers-2.6.26-2-686
# apt-get install linux-source-2.6.26

構築用ソースのかき集め

適当にでっち上げた Makefile / Makefile-via-velocity-only
linux-source-2.6.26 パッケージからvia-velocity.[hc]

# mkdir via-velocity
# cp Makefile-via-velocity-only via-velocity/Makefile
# cp /usr/src/linux-source-2.6.26/drivers/net/via-velocity.[ch] via-velocity/
# patch -p 3 -d via-velocity < via-velocity-fixed-wol.patch

あとは再構築してモジュールをインストール。

# cd via-velocity
# make install
make -C /lib/modules/2.6.26-2-686/build SUBDIRS=/usr/src/via-velocity modules
make[1]: ディレクトリ `/usr/src/linux-headers-2.6.26-2-686' に入ります
  CC [M]  /usr/src/via-velocity/via-velocity.o
  Building modules, stage 2.
  MODPOST 1 modules
  CC      /usr/src/via-velocity/via-velocity.mod.o
  LD [M]  /usr/src/via-velocity/via-velocity.ko
make[1]: ディレクトリ `/usr/src/linux-headers-2.6.26-2-686' から出ます
mkdir -p /lib/modules/2.6.26-2-686/kernel/drivers/net
*****  Move current driver via-velocity.ko to via-velocity.ko.2009-09-24-1253781710 file
mv /lib/modules/2.6.26-2-686/kernel/drivers/net/via-velocity.ko /lib/modules/2.6.26-2-686/kernel/drivers/net/via-velocity.ko.2009-09-24-1253781710

install -m 644 -o root via-velocity.ko /lib/modules/2.6.26-2-686/kernel/drivers/net
/sbin/depmod -a || true

最後に rmmod/modprobe してモジュールを更新して完了。

これで機能的には同程度になったので、性能比較でもしますかぁ。

追記 (2009/09/26)

どうも via-velocity には、ネットワーク負荷が高いときにシステムが黙りをする症状(1,2 等々)？が報告されている。velocityget を使えば症状が出ないので、velocitygetを使うべしとなってるらしい。。。

ソースを見比べると、割り込みハンドラ内の処理が問題のようだ。それぞれは、大まかに次のようになっている。

via-velocity
1. 未処理の割り込み要因がなくなるまでループする
2. ループの一単位は、受信/送信ディスクリプタをそれぞれ最大15ディスクリプタ分を処理する
3. 処理したディスクリプタ数が int_works を超えたらメッセージを出力する
velocityget
1. 受信/送信ディスクリプタをそれぞれ最大int_worksディスクリプタ分を処理する
2. 上記の処理を２回繰り返す

要するに via-velocity では int_works の取り扱いが杜撰で、かつネットワーク負荷が高いと割り込みハンドラ内に捕われてしまう。なので、割り込みを共有してるデバイスの処理が滞る症状が現れる。

他のネットワークチップのドライバーを見る限り、割り込みハンドラ内で全部のディスクリプタを処理せずに抜ける実装は多々有るので、バグなんだろうなぁ。

うんで、修正パッチを作ってみた

via-velocity の int_works 関連の修正パッチ (debian lenny/kernel-2.6.26用) / via-velocity-fixed-int_works.patch

上のWOL対応パッチの後に当てればいい

# tar xfz via-velocity-buildpack-nosrc.tgz
# cp /usr/src/linux-source-2.6.26/drivers/net/via-velocity.[ch] via-velocity/
# patch -p 3 -d via-velocity < via-velocity-fixed-wol.patch
# patch -p 3 -d via-velocity < via-velocity-fixed-int_works.patch
# cd via-velocity
# make install

これで、本当に不具合が無い状態？になったので、性能比較でもしますかぁ。

追記 (2009/09/29)

どうも via-velocity-fixed-int_works.patch の velocity_tx_srv の修正部分がバグってたみたいだ。なので、修正版に差し替えました。申し訳ない。

Time Machine を iSCSI 経由で使う (3) - 性能比較

2009-09-10T16:53:00.001+09:00

ボリュームをiSCSIの載せたときの性能と、IPSecで保護した場合やWiFi経由にした場合の性能劣化を測定してみた。

設定条件

接続の経路に結構余分な機器が挟まっているが、測定用に別環境は用意していないためである。実環境ベースと考えて勘弁してもらいたい。

Linux ターゲット側

ASUS M2NPV-VM / Athlon64X2 3800+ (2GHz) / DDR2-533 1G x 4
onboard Gigabit Ethernet (nVidia MCP51)を利用。

Mac OSX のイニシエータ側

MacBookPro5,1 / Intel Core 2 Duo / 2.4 GHz / DDR3-1066 2G x 2
onboard Gigabit Ethernet / AirMac(WiFi) を利用。
Wifi経由では 802.11n/WPA2でアクセスポイントに接続

接続形態

ローカルHDD
MacBookPro
⇔ ExpressCard(GH-EXC-ESA2/eSATA接続) ⇔ HDDケース(LHR-DS02SAU2BU) ⇔ HDD
有線ネットワークでは
MacBookPro
⇔ Gigabit Hub(LSW-GT-8NSR)
⇔ Gigabit Hub(GS908M) ⇔ Gigabit Hub(GS908M)
⇔ Linux マシン(SATA接続) ⇔ HDD
Wifi経由では
MacBookPro
⇔ AirMac Extreme (2007モデル？有線100Baseの奴)
⇔ Gigabit Hub(GS908M) ⇔ Gigabit Hub(GS908M)
⇔ Linux マシン(SATA接続) ⇔ HDD

測定したHDD

SATA 320G HDD(ST3320620AS)
3.0Gbps が有効になる用にジャンパー設定
iSCSI／ローカル接続でも同じモデルを利用

測定結果

		ローカルHDD	GigaEther	Wifi経由	GigaEther	Wifi経由
		ローカルHDD	IPSec 無		IPSec 有
Sequential	Uncached Write [4K blocks]	58.19	60.51	5.34	13.15	5.48
	Uncached Write [256K blocks]	47.58	50.82	7.33	12.65	4.72
	Uncached Read [4K blocks]	16.16	6.02	1.46	4.75	1.38
	Uncached Read [256K blocks]	75.55	28.86	3.39	15.86	4.90
Random	Uncached Write [4K blocks]	1.25	1.36	1.32	1.35	1.26
	Uncached Write [256K blocks]	26.19	24.37	6.19	13.10	6.93
	Uncached Read [4K blocks]	0.64	0.61	0.45	0.58	0.43
	Uncached Read [256K blocks]	26.68	23.66	3.21	11.17	4.63

測定単位は全て MByte/sec

ゴタク

iSCSI を有線／noIPSec で通す場合、シーケンシャル読込み以外はほとんど劣化が無い。シーケンシャル読込みはキャッシュがほとんど効かない為か、iSCSIターゲット実装の良し悪しが出ていると思う。また、チューニングを実施せずにデフォルト設定にしているので、それも影響しているのかも。

IPSec で保護すると、約120Mbps (15Mbyte/sec) 程度で頭打ちになっている。IPSec の実効帯域と思われる。Gigabit Ethernet なのに帯域が一割程度とはちょっと情けない。IPSec 固有の問題か、Linux の実装の問題か、iSCSI との組み合わせか、判然としない。何処に文句を言っていいのか分からない。

iSCSI を無線にした場合は、大きな問題は経路の帯域である。iSCSIとか、IPSec の有無とかは、もはや問題ではない。周囲の電波状況によって影響を受けるが、WPA2で50Mbpsくらいは流れるので良いのかなぁ。

結論

iSCSIをIPSecで保護することは、無線を使って Time Machine でバックアップすることには殆ど影響しないと言えそうだ。また、差分は一時間に一度であり、有線であっても約 120Mbps 程度の帯域を確保できることを考えると、目くじらを立てるものではないのかなぁ。

Time Machine を iSCSI 経由で使う (2) - IPSecで保護

2009-09-08T15:49:00.001+09:00

iSCSI はブロックデータが Network 上に流れるので気を付けなくはいけない。専用のネットワークかVLANとかを組むのが定石らしいが、そうでない場合 IPSec が使うのが望ましいらしい。

設定が面倒で、大抵ノーガードですなぁ。

MacOSX でも普通にIPSecが使えるので、iSCSI のデータのみを保護する設定をしてみよう。

IPSec の設定内容

Linux と Mac OSX の相互にIPSec接続をする。
既に iSCSI の設定が済んでおり、Linux側のiSCSIターゲットボリュームをMacOSX側のiSCSIイニシエータからマウントできる。
IPSec はトランスポートモードで使い、iSCSI のデータ(3260/tcp)に限定する。
IKE デーモンは racoon (IKEv1) を使う。
認証は事前共有秘密鍵／aggressive mode を使う。
暗号はAES/SHA1をなるべく使う。

	役割	IPアドレス	ホスト名
Linux 側	iSCSIターゲット	192.168.0.10/24 (固定)	server1
MacOSX 側	iSCSIイニシエータ	192.168.0.20/24	client1

SADの設定

基本的に、上りと下りのそれぞれで、サーバ側のIPアドレスとポート番号を指定すれば、iSCSI通信のみに限定できる。クライアント側は、DHCP等で振れる事を考えて範囲指定にする。

BSDの実装では PF tag なるものがあり「spdadd tagged」と組み合わせてフィルタルールに溶け込ませる事ができるそうなのだが、Linux側では同等の機能が実装されていないようなので残念ですなぁ。。。

Linux ターゲット側

# apt-get install ipsec-tools

/etc/ipsec-tools.conf

...
flush;
spdflush;

spdadd 192.168.0.10[3260] 192.168.0.0/24 tcp -P out ipsec esp/transport//require;
spdadd 192.168.0.0/24 192.168.0.10[3260] tcp -P in ipsec esp/transport//require;

Mac OSX のイニシエータ側

MacOSXでは、setkey 用の設定ファルの置き場がデフォルトでは用意されていないので、適当な場所に保存して、起動時に setkey コマンドで読み込み必要がある。

/etc/racoon/setkey.conf

flush;
spdflush;

spdadd 192.168.0.0/24 192.168.0.10[3260] tcp -P out ipsec esp/transport//require;
spdadd 192.168.0.10[3260] 192.168.0.0/24 tcp -P in  ipsec esp/transport//require;

racoonの設定

Linux/MacOSX ともに、racoon を使うので設定ファイル racoon.conf の内容はほぼ同じになる。ただし、事前共有秘密鍵ファイル psk.txt は、同じ鍵をそれぞれの相手側のものとして書く必要があり、ちょっと注意が必要。

Linux ターゲット側

/etc/racoon/racoon.conf

...
remote anonymous {
	exchange_mode aggressive,main;
	my_identifier fqdn "server1";	# サーバの認識情報
	dpd_delay 20;

	proposal {
		encryption_algorithm 3des;
		lifetime time 2 hour;
		hash_algorithm sha1;
		authentication_method pre_shared_key;
		dh_group 2;
	}
	generate_policy off;
}

sainfo anonymous {
	pfs_group 2;
	lifetime time 1 hour;
	encryption_algorithm aes, 3des;
	authentication_algorithm hmac_sha1;
	compression_algorithm deflate;
}

/etc/racoon/psk.txt

...
client1	secret1

Mac OSX のイニシエータ側

他にVPNなど IPSec を使うものと衝突する可能性がある気がしないでも無い。。。anonymous の部分をアドレス指定しれば、行けそうな気がするが。。。未検証。

/etc/racoon/racoon.conf

...
remote anonymous {
	exchange_mode aggressive,main;
	my_identifier fqdn "client1";	# クライアントの認識情報
	dpd_delay 20;

	proposal {
		encryption_algorithm 3des;
		lifetime time 2 hour;
		hash_algorithm sha1;
		authentication_method pre_shared_key;
		dh_group 2;
	}
	generate_policy off;
}

sainfo anonymous {
	pfs_group 2;
	lifetime time 1 hour;
	encryption_algorithm aes, 3des;
	authentication_algorithm hmac_sha1;
	compression_algorithm deflate;
}

/etc/racoon/psk.txt

...
server1	secret1

racoonは自動に起動しないので、適当名タイミングで起動する必要はある。

% sudo setkey -f /etc/racoon/setkey.conf
% sudo racoon

自動起動するには、「マスタリングIPsec 第2版」に記述の方法が簡単である。

確認

IPSec はアプリケーション側の修正の必要の無い物なので、、、普通にボリュームをマウントすると普通に使える。

まぁ気休めに、IPSec_SAをチェックすれば、

# setkey -D
192.168.0.20 192.168.0.10 
	esp mode=transport spi=131341201(0x07d41b91) reqid=0(0x00000000)
	E: aes-cbc  8250b455 59cc8799 c0d0b0b0 71b570a8
	A: hmac-sha1  6ff81843 b28130ed a5722694 32b134ee a0fc5b96
	seq=0x00000000 replay=4 flags=0x00000000 state=dying 
	created: Sep  8 14:51:43 2009	current: Sep  8 15:40:54 2009
	diff: 2951(s)	hard: 3600(s)	soft: 2880(s)
	last: Sep  8 14:51:45 2009	hard: 0(s)	soft: 0(s)
	current: 50750612(bytes)	hard: 0(bytes)	soft: 0(bytes)
	allocated: 49393	hard: 0	soft: 0
	sadb_seq=1 pid=1233 refcnt=0
192.168.0.10 192.168.0.20 
	esp mode=transport spi=17664308(0x010d8934) reqid=0(0x00000000)
	E: aes-cbc  5d2d422b fe916f6d 501fedce e3d9650d
	A: hmac-sha1  6cfbf657 2eb74cb3 b64b5074 e34148b9 7bcaf934
	seq=0x00000000 replay=4 flags=0x00000000 state=dying 
	created: Sep  8 14:51:43 2009	current: Sep  8 15:40:54 2009
	diff: 2951(s)	hard: 3600(s)	soft: 2880(s)
	last: Sep  8 14:51:45 2009	hard: 0(s)	soft: 0(s)
	current: 2142076(bytes)	hard: 0(bytes)	soft: 0(bytes)
	allocated: 26881	hard: 0	soft: 0
	sadb_seq=2 pid=1233 refcnt=0

ついでに tcpdump でサーバ側のパケットの流れを見れば、ESPパケットが飛び交ってるのが見える。。。

# tcpdump -i eth0 not port 22
...
15:38:24.183860 IP client1 > server1: ESP(spi=0x07d41b91,seq=0xc0ba), length 116
15:38:24.184162 IP server1 > client1: ESP(spi=0x010d8934,seq=0x68e6), length 116
15:38:24.184625 IP client1 > server1: ESP(spi=0x07d41b91,seq=0xc0bb), length 68
15:38:27.186886 IP client1 > server1: ESP(spi=0x07d41b91,seq=0xc0bc), length 116
...

まとめ

SADの設定をちまちま行えば、他の通信もIPSecで保護が出来そうである。気になるのは、パフォーマンスがどこまで劣化するかなのだが。。。あまり期待は出来ないのかなぁ。。。

Time Machine を iSCSI 経由で使う (1) - 設定

2009-09-03T14:38:00.001+09:00

Leopard から実装された Time Machine は非常に使い易い。ただ、常にノートブックに外付けのHDDをぶら下げるのは、可搬性が損なわれる。 Time Capsule を使えば良いのだが、約10M Byte/s 位しか出ないらしい。

どうも iSCSI 経由で外部ストレージを繋げてバックアップ先に指定すれば、いい感じになれるらしい。

最近 Linux でよく使われているターゲットは「iSCSI Enterprise Target」であり、Debian lenny からカーネルモジュールもパッケージ化されており、apt 一発で使える。また、ストレージ層は Linux に依存しており、フォーマット縛りが無い。そのため、HDD単体をiSCSI経由で接続して使っていた場合、そのHDDをUSB等の変換アダプタで直に接続しても、そのままで使える利点がある。

Mac OSX のイニシエータは標準では用意されていないが、サードベンダー製の「globalSAN iSCSI Initiator for OS X」が無料で制限なしで利用できる。

コイツらを組み合わせると、Time Machine の初期化やリカバリ時だけマシンに直付けして、差分バックアップ運用時はiSCSI経由で行う事が出来る。

Linux で iSCSI target 設定

設定の内容は、

お手軽な単方向CHAP認証を使い、ユーザ名 iscsiadmin ／パスワードは12～16文字の適当な文字列にする。
IQN(ISCSI Qualified Name)は iqn.YYYY-MM.domainなんたらをユニークになるように適当に付ける。
デバイスの名前に関しては、固定される用に /dev/sd? ではなく /dev/disk/by-id/? を使う。
イニシエータ制限をサブネット範囲でかけておく。

Debian lenny にバイナリパッケージが用意されている。

# apt-get install iscsitarget iscsitarget-modules-2.6-amd64

/etc/default/iscsitarget

ISCSITARGET_ENABLE=true

/etc/ietd.conf

IncomingUser iscsiadmin 123456789012

Target iqn.2009-09.com.example:stroage.fileserver.timemachine
	IncomingUser iscsiadmin 123456789012
	Lun 0 Path=/dev/disk/by-id/scsi-XXXXXX,Type=blockio

/etc/initiators.allow

ALL xx.xx.xx.xx/24

うんで、/etc/init.d/iscsitargt start で、iSCSI ターゲットのサービスを有効化する。

Linux の Open-ISCSIを使って確認

適当な iSCSI イニシエータが必要なので、Open-iSCSI を設定して確認する。

# apt-get install open-iscsi

/etc/iscsi/iscsid.conf

...
node.session.auth.authmethod = CHAP
node.session.auth.username = iscsiadmin
node.session.auth.password = 123456789012
...
discovery.sendtargets.auth.authmethod = CHAP
discovery.sendtargets.auth.username = iscsiadmin
discovery.sendtargets.auth.password = 123456789012
...

うんで、/etc/init.d/open-iscsi start で、iSCSI イニシエータのサービスを有効化する。

取り敢えず、検索すると

# iscsi_discovery xx.xx.xx.xx
iscsiadm: No active sessions.
Set target iqn.2009-09.com.example:stroage.fileserver.timemachine to automatic login over tcp to portal xx.xx.xx.xx:3260
Logging out of session [sid: 5, target: iqn.2009-09.com.example:stroage.fileserver.timemachine, portal: xx.xx.xx.xx,3260]
Logout of [sid: 5, target: iqn.2009-09.com.example:stroage.fileserver.timemachine, portal: xx.xx.xx.xx,3260]: successful
discovered 1 targets at xx.xx.xx.xx

何となく、ターゲットが発見できる。

ついでに、ノードに接続して確認すると

# iscsiadm -m node -p xx.xx.xx.xx -l
Logging in to [iface: default, target: iqn.2009-09.com.example:stroage.fileserver.timemachine, portal: xx.xx.xx.xx,3260]
Login to [iface: default, target: iqn.2009-09.com.example:stroage.fileserver.timemachine, portal: xx.xx.xx.xx,3260]: successful
# cat /proc/scsi/scsi
...
Host: scsi27 Channel: 00 Id: 00 Lun: 00
  Vendor: IET      Model: VIRTUAL-DISK     Rev: 0   
  Type:   Direct-Access                    ANSI  SCSI revision: 04
...
# iscsiadm -m node -p xx.xx.xx.xx -u
Logging out of session [sid: 7, target: iqn.2009-09.com.example:stroage.fileserver.timemachine, portal: xx.xx.xx.xx,3260]
Logout of [sid: 7, target: iqn.2009-09.com.example:stroage.fileserver.timemachine, portal: xx.xx.xx.xx,3260]: successful

まぁ、ディスクが見える！

Mac OSX 上での設定

globalSAN iSCSI Initiator for OS Xから、パッケージをインストールして再起動し、GUIに従って設定すれば良い。

「システム環境設定」から「globalSAN iSCSI」を選択
「Portals」タブで、ターゲットマシンのIPを追加する。このとき、「Advanced Settings」で、CHAP認証を有効にして、User Name/Target Secret をISCSIターゲットで設定したものにする。
「Targets」タブにISCSIターゲットのIQNが見えるようになる。
ISCSIターゲットのIQNを選択して「Log On」をする。
後の扱いはローカル接続のHDDと同じで、必要に応じて「ディスクユーティリティ」で初期化する。

Time Machine の設定は、ローカル接続のHDDと同じような扱いで、HFS+のボリュームを作って指定すれば普通に使える。。。快適じゃぁ。。。

Linux でボリュームを暗号化する (3) - 性能比較

2009-07-21T19:56:00.001+09:00

ボリュームを暗号化する上で気になることは、どれくらいIOの性能が落ちるかである。

普通にそこら辺にある２台でベンチを取ってみた。

ASUS M2NPV-VM / Athlon64X2 3800+ (2GHz) / DDR2-533 1G x 4
EPIA-EN12000EG (C7 1.2GHz) / DDR2-533 1G

暗号化するのは、ちゃっと起動用とは別に確保してた SATA 320G HDD(ST3320620AS) を使った。次いでなので、VIA PadLock の有無も比較してみた。

測定は hdparm -t を使って３回で最も良い値を使った。

	読み込み速度(MB/sec)	比
M2NPV-VM (2GHz) - 素	74.82
M2NPV-VM (2GHz) - cryptoあり	71.65	0.96
M2NPV-VM (1GHz) - cryptoあり	36.10	0.48
EPIA-EN12000EG - 素	76.04
EPIA-EN12000EG - cryptoあり/PadLock 有	43.26	0.57
EPIA-EN12000EG - cryptoあり/PadLock 無	12.64	0.17

格段に劣化する訳では無さそうで、ファイルシステムが絡めば DiskIO と暗号化処理が並列化しそうなので、気にならない程度に落ち着くのかなぁ。。。

あと VIA PadLock は結構効果があり、in-order 1.2G だけだと非力なのかぁ？

Intel Atom だとどの程度になるか気になるなぁ〜。。。それとも Atom 系に AES-NIが実装されるのを気長に待つ方がいいのかなぁ。。。

修正(2009/09/08)

Athlon64X2 は cpufreq の ondemand governor を使ってたため、どうも結果が怪しかったので、クロックを固定して再度計測し直した。

結果、Athlon64X2に関しては結構クロック周波数に比例した性能であり、2GHz 程度の性能があれば汎用CPUには苦にならないようである。C7は PadLock を使うとやっと一人前であるが、他を凌駕する性能とかは無さそうだなぁ。。。

Linux でボリュームを暗号化する (2) - LVMの保護

2009-07-20T15:31:00.001+09:00

最近は、起動用の小容量HDD/SSDと複数データ用の大容量HDDの組み合わせでPCを組んでいる。SSDが手頃な価格になれば、その傾向も大きくなると思う。起動用のHDDの暗号化は、手法が多く、それぞれに結構面倒設定が多いし、どんどん新しい手法が出てきそうだし、枯れるまで様子見の方がいいかなと思う。なので、データ用の大容量HDDを暗号化することのみを考える。

次のサイトを参考に設定した。

LinuxでLVM領域を暗号化: 導入

PC
- 起動用 HDD/SDD
  /dev/sda
- データ用 大容量HDD (今はこっちだけ暗号化)
  /dev/sdb

古いデータの消去とパーティションの作成

新品のHDDを買ってきたのならば必要は無いが、念のため古いデータを乱数で上書きする。全容量を一つのパーティションに割り当てる構成にする。

# shred -n 3 -v /dev/sdb
# echo "0,,8e" | sfdisk -D /dev/sdb

LUKSパーティションの作成

LUKSパーティションには２種類のキースロットを割り当てる

パスフレーズ(難解で長文なもの)を使う奴 -- 運用上何かと必要
キーファイルを使う奴

# cryptsetup --cipher aes-cbc-essiv:sha256 --key-size 256 luksFormat /dev/sdb1
...
Are you sure? (Type uppercase yes): YES
Enter LUKS passphrase: <= パスフレーズを入力
Verify passphrase: <= パスフレーズを入力
...
# mkdir -m 700 /etc/luks
# dd if=/dev/random of=/etc/luks/data01.key bs=1 count=32
# chmod 400 /etc/luks/data01.key
# cryptsetup luksAddKey /dev/sdb1 /etc/luks/data01.key
Enter LUKS passphrase: <= パスフレーズを入力
key slot 0 unlocked.
...

起動時にキーファイルを使って自動的に開始する設定

/etc/crypttab

# <target> <source>  <key file>  <options>
crypt-sdb1 /dev/sdb1 /etc/luks/data01.key luks
...

後は再起動するか、次のコマンドで暗号化を開始しとく。

# cryptdisks_start crypt-sdb1

VGの作成

出来上がったブロックデバイスを使って、LVMを組めば良く。

# pvcreate /dev/mapper/crypt-sdb1
  Physical volume "/dev/mapper/crypt-sdb1" successfully created
# vgcreate Data01 /dev/mapper/crypt-sdb1
  Volume group "Data01" successfully created

Volume Group が作成まで出来れば、あとは普通のLVMの使い方そのものなので、略。。。

まとめ

キーファイルを起動用ディスク内に保存することで、データ用ディスクが単体で切り離された場合にデータが保護できるようになるし、先頭ブロックの1MBくらいを消去することで完全に破棄することも可能になる。

これで 1T級HDD の破棄する場合のデータ消去が簡単になるんかいなぁ！？

Linux でボリュームを暗号化する (1) - swapの保護

2009-07-16T21:57:00.001+09:00

Linux のブロックデバイスの暗号化は結構昔から行われている。鍵の管理が貧弱なので、使ってはいなかった。初回に選んだパスワードを未来永劫使うのは、どう考えても高リスクだろう。

諸々の要求に応える為に、Linuxでは LUKS(Linux Unified Key Setup) という珠玉の成果がある。コイツを使えば、パスワードの変更だけでなく、複数のパスワードを持つことも出来るという有り難い代物。

再三設定してるので、ちょっとメモっとかないと、禿げの進行が年2ミリ位早くなってしますので、取り敢えず書いとく。

swapの暗号化

LUKSと言いながら、そうでないものを最初に書くのは何だが、メモリのベタ情報を swap から平文で読まれたくない人は、必ずすべき設定ですね。。。

Debian の cryptsetup 付属の文書 /usr/share/doc/cryptsetup/README.Debian.gz のそのまんまですねぇ。

現在のスワップの無効化

先ず、現在のシステムで /dev/sda2 が swap デバイスとして、swapを無効化し、中身を全消去する(新品で何にも書かれていない場合は、消さなくても構わない)。

# swapoff -a
# shred -n 1 /dev/sda2

設定ファイルを変更する

/etc/crypttab

# <target> <source>  <key file>  <options>
crypt-swap /dev/sda2 /dev/random swap,cipher=aes-cbc-essiv:sha256,size=256,hash=sha256
...

/etc/fstab

...
/dev/mapper/crypt-swap none swap sw 0 0
...

暗号化スワップの有効化

# cryptdisks_start crypt-swap
# swapon -a

仮想化環境のゲストOSはメモリ割当が少ない場合が多々あるので、要設定かと思う。

何でも無いが、Linux KVM 上のゲストOSの乱数エントロピーが溜まるの遅くないかぁ。時々、暗号化スワップの開始で４〜５分くらい止まることがときどきある。。。

おやぁ、virtio_rng とか言うモジュールがあるなぁ。。。あるよなぁ。。。コイツが kvm-85 ではまだサポートされていないからなのかぁ。。。KVM に virtio_blk, virtio_net, kvm-clock, virtio_rng の四つ揃えば、準仮想化と変わらんなぁ。。。取り敢えず、待つべし！

debian lenny の kvm はバグってる?

2009-07-09T15:31:00.000+09:00

以前 Ubuntu に乗り換え宣言したのだが、マイナーなパッケージが無かったり、古いままだったり(まぁコミュニティーベースだから仕方ない)で、Debian lenny に再度乗り換えた。

一番の難点は、、、言わないのが約束だなぁ。

Debian lenny だと kvm-72 がパッケージングされているので、サクサクインストールして使えるのだが、どうも２個以上のゲストOSを立ち上げると何故だか次のメッセージをだしてゲストOSがフリーズしてしまう。

 BUG: soft lockup - CPU#0 stuck for 4096s!

なんすかねぇ？

症状としては、下記のバグ報告と同じっぽい。

BUG: soft lockup - CPU#1 stuck for 4096s! [java:3174] and crash (kvm guest)

で、kvm-84 だと直ってるらしい。。。

ぐふぅ。取り敢えずは、適当に sid からkvm/libvirtのソースパッケージを取ってきてビルドして諸々更新したら、複数のゲストOSがフリーズせずに安定した、、、気がする。

またもや debian squeeze 待ちかなぁ

HDDの内容を全部消去する

2009-07-07T18:50:00.000+09:00

掃除をしたら多量にPATAのHDDも出てきた。

今まで簡単に特殊なドライバでサクサク開封して磁性体に多量の傷を付けて不燃ゴミにしていた。個人で使っていたもので重要な機密とかが入ってる訳ではないが、少々心もとない。

shred を使って２回の乱数埋めと１回のゼロクリアでHDDの内容を全消去するのが、簡便で良い方法らしい。

# shred -n 3 -z -v /dev/hdb

だが、本当に遅い！

Debian/lenny のバージョンの GNU shred どうも必要な乱数全部を /dev/urandom から読み込むため、乱数生成の帯域で制限されてるっぽい。

『shredのあれこれ』によれば、coreutils-5 では利用する乱数は内部で生成しており、coreutils-6 から /dev/urandom から利用する形になり、６倍遅くなったよという。。。つまり別の乱数発生器の openssl rand を使えと。

で、使ってみたが、、、途中で終ってしまいます。。。

なんでやぁ！！

暫し、熟考の結果 openssl rand の引数は int32_t だったらしく、100Gとかの HDD の消去とかには使えないですなぁ。。。。次のようにすれば完遂できますなぁ

# mkfifo rnd
# while true ; do openssl rand  $((2**31-1)) ; done > rnd &
# shred --random-source=rnd -n 3 -z -v /dev/hdb

大体、上の方法で 300G で 10時間くらい？

ここまではバットノウハウの話。

coreutils の git レポジトリをつらつら流し見たところ。

と言う訳で、coreutils 7.3 からは coreutils-5 の頃の内部乱数(ISAAC)生成が復活し、パス数のデフォルトが 3 pass になるという。

要するに、shred を何も考えずに使った奴が勝者！

それよりも、320G HDD が８台もある敗北者の僕は 100MB/secくらいでるハードウェア乱数生成ボードが欲しい。。。

ReadyNAS の HDD の内容を普通のPCで読む

2009-06-29T20:07:00.001+09:00

最近、HDDを整理してたら 320G SATA HDD (Seagate製) が 8台も出てきた。

うちで使っている ReadyNAS Duoには２台の750G SATA HDD を載せているが、ボリュームの使用率が10%未満なので宝の持ち腐れな気がするので、ちょっと入れ替えてみた。

ReadyNAS Duoで実装されているX-RAIDは、HDDの容量を大きくする方向の変更は出来ても、小さくする変更は出来ない。まぁしょうがないので、大人しく別途バックアップを取って入れ替えた。

使っていた 750G HDDがフリーになったので、もの試しに読めるかどうか調べてみた。

LVMへのアクセス

普通のPCに繋いでみると、一台のみにIBM PCベースのパーティションテーブルらしきある。

どうも先頭の２セクタを除いてミラーリングされているっぽく、２台中１台のみにパーティションテーブルが書かれているようだ。まぁ、同じ内容のディスクが変に認識されて混乱するのを避ける為なんだろうなぁ。

パーティションの最後が LVM のボリュームになっており、論理ボリューム上にデータ領域が確保されている。

# sfdisk -l -uS /dev/sdd

Disk /dev/sdd: 91201 cylinders, 255 heads, 63 sectors/track
Warning: extended partition does not start at a cylinder boundary.
DOS and Linux will interpret the contents differently.
Units = sectors of 512 bytes, counting from 0

   Device Boot    Start       End   #sectors  Id  System
/dev/sdd1             2   4096001    4096000  83  Linux
/dev/sdd2       4096002   4608001     512000  82  Linux swap / Solaris
/dev/sdd3       4608002 1465112305 1460504304   5  Extended
/dev/sdd4             0         -          0   0  Empty
/dev/sdd5       4608003 1465112305 1460504303  8e  Linux LVM

個々のパーティションは、シリンダ境界で区切られておらず、パーティションが無いもう一台に再現するのは、先頭２セクタをコピーするか、sfdisk を駆使するか、ちぃと面倒。

X-RAIDで容量の拡張とかしていなければ、dmsetup を使うのも良いかも。

# lvmsize=$((`blockdev --getsz /dev/sdd` - 4608003))
# echo 0 $lvmsize linear /dev/sdd 4608003 | dmsetup create readynas-pv 
# pvscan
# lvchange -ay -pr c/c
# lvs
  LV        VG     Attr   LSize   Origin Snap%  Move Log Copy%  Convert
  c         c      -ri-a- 696.41G

ファイルシステムへのアクセス

LVMの論理ボリュームがアクセスできるようになったら、何にも考えずに ext2/ext3 でマウントをしてみると上手く行かない。

# mount -t ext3 -oro /dev/c/c /mnt
mount: wrong fs type, bad option, bad superblock on /dev/mapper/c-c,
       missing codepage or helper program, or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so
# dmesg | tail -1
[ 3446.561022] EXT3-fs: bad blocksize 16384.

man を見ると、ブロックサイズは1024,2048,4096の３種類しか有効でないが、いつの時点で実装されたか分からないが、ext2/ext3のブロックサイズはCPUアーキテクチャのページサイズまで拡張されている。ReadyNAS で使われていたext2/ext3 ファイルシステムはブロックサイズが 16K なので、普通にはマウントできなかったようである。

ext2/ext3でブロックサイズが大きすぎる場合、読むだけなら２通りの方法がありそうである。

dump/restore でのアクセス

まぁ何も考えずに dump/restore を使えば、ブロックサイズを気にせずにファイルシステム全体をコピーできるので、ファイルを取り出すことが出来る。容量が大きいHDDが用意できるのならば、安定したアクセスが出来る。

# dump 0f - /dev/c/c | ( cd /backup ; restore rf - )

fuse ext2 でのアクセス

fuse 様にお伺いすると、ext2/ext3 にアクセスできる奴がある。。。コイツもブロックサイズの制限を気にせずにアクセスできる。ただ、、、まぁ、、、枯れきっていない感があるなぁ。

# apt-get install fuseext2
...
# fuseext2 -o ro /dev/c/c /mnt
# mount | grep mnt
fuseext2 on /mnt type fuse.fuseext2 (ro,nosuid,nodev)

まとめ

取り敢えず、ReadyNAS Duo からサクサクとファイルを抜き出せるようになりましたと。。。まぁ、ファンが五月蝿いから捨てますかねぇ。

ファイルサーバのHDDを省エネHDDに変更

2009-04-21T01:44:00.001+09:00

VIA EPIA-EN が安定運用？の見込みが出てきたので、ちょっくら省エネを追求してみた。

今使っている Mini-ITX ケースは、「Be Silent GAWA6200」で、今使っている EPIA-ENシリーズにまさに対応しており、ファンレス運用が可能。ただ、どうも安定しないので12cmファンをぽこっと載せ、風量を確保する為に、エアフロー用の金網部分を外していた。するとちょうどいい具合に、オンボードの SATA ポートにアクセス出来る。なので、eSATA接続の外付けHDDが使える！!

eSATA接続の外付けHDDは、USB接続みたいに速度が出ないことは無く、各社多様に製品群が発売されており、いろいろ選べてお得だし！安いし！速いし！良いこと尽くめ！

交換可能で静かなのが欲しいので、「LogitecのLHR-DS02SAU2」とWD10EADSの組み合わせを選んでみた。

"Logitec クレードルタイプ HDDリーダー/ライター LHR-DS02SAU2BU" (ロジテック)

さっと入れ替えてみると、、、アイドル時に約23W程度で、かつHDD が spindown? すると 20W 弱。負荷をかけても 30 W程度くらい。

いい感じだぁ。全部が収まる Mini-ITXケースがあればいいのかぁ。

MacOSX で USB-RS232 アダプタを使う

2009-04-19T02:43:00.001+09:00

USB-RS232 アダプタで MacOSX 対応のドライバを提供してるのはあまり見かけない。初期設定を RS232 経由で行うルータとかハブとかがあり、その時だけWindowsとか言う奴を使っていた。

しつこく探してみたところ、オープンソースでドライバを作っているところがあった。 Prolific 社の PL2303 チップを使ったUSBアダプタ全般で使えるようである。

Mac OS X Prolific PL2303 driver project

手持ちにある以下の二種類のアダプタで問題なく使えた。

アレイドの奴は使えて結構嬉しい。

端末エミュレータには、MacPorts から screen を使えばよい。

% screen /dev/tty.PL2303-XXXXXXXX 9600 cs8

端末から抜けたいときはつかさず C-a C-\ とかやる。

VIA EPIA-EN で watchdog を設定

2009-04-13T23:31:00.001+09:00

iPod Touch のアプリに某掲示板の専用ビューア BB2C がある。結構使い勝手が良いので、最近ぱらぱら見るようになった。その中で、自作PC板の低消費電力なんとかスレッドを覗いたら、 PCのアイドル時の消費電力が 20W〜30W の報告があり、10Wとかもある。ちょっとビックリ。

なんやかんやで、ここ２年くらいCPUもマザーボードも買っていないので、すっかり取り残されてしまったようである。手持ちのパーツの Athlon64X2 3800+/M2NPV-VM/DDR2-800 2Gx4 を組み合わせて、アイドル時の消費電力が 70W となど浮かれていたのは、どうも井戸の中の蛙だったようである。

はぁ〜〜。金欠だし、どうしてくれようかぁ

しょうがないので、箪笥の奥に眠っていた EPIA-EN12000EGを引っ張りだしてきたのだが、コイツは Linux では時々ちょっと原因不明のハングアップして常時運用とか向かないのでゴミかなと思っていた代物である。

動かせるように組み直して計測してみると、アイドル時の消費電力が 15Wくらいである。某 Early2009 とほぼ同じ。でもあっちは Core2Duo 、、、懐が淋しいので我慢しよう。

最新のカーネルであれば、問題が修正されているかと思って様子を見たが、頻度は多くないがハングアップする現象はあるようである。

マニュアルには「Watchdog Timer」の記述があり、コイツがなんとかできればハングアップしても強制再起動ができ、常時運用が出来そうである。

、、、えっと、ドライバはどれ？

ググるところ、小一時間。下記のURL のフォーラムにズバリの回答があった。
tkArena Forums > VIA Arena > VIA EPIA (Mini-ITX, Nano-ITX, Pico-ITX) Arena - hardware watchdog

Super I/Oチップの w83697hf に watchdog timer が実装されており、そいつがどっかにリセットのシグナルを出すらしい。

watchdog モジュールのロード

EPIA-EN12000EGの場合、watchdog はデフォルトI/Oポートにいないので、 w83697hf_wdtをロードしても、次のようなログが残り使えない。

[   30.529537] w83697hf/hg WDT: WDT driver for W83697HF/HG initializing
[   30.529550] w83697hf/hg WDT: Looking for watchdog at address 0x2e
[   30.529573] w83697hf/hg WDT: watchdog not found at address 0x2e
[   30.529580] w83697hf/hg WDT: No W83697HF/HG could be found

なので watchdog の I/Oポートを検索するために、wdt_io=0 を指定してロードすると、結果がdmesgに出力される。

[  202.597226] w83697hf/hg WDT: WDT driver for W83697HF/HG initializing
[  202.597241] w83697hf/hg WDT: Looking for watchdog at address 0x4e
[  202.597260] w83697hf/hg WDT: watchdog found at address 0x4e
[  202.597401] w83697hf/hg WDT: initialized. timeout=60 sec (nowayout=0)

再起動後に発見したI/Oポートを探すように、/etc/modprobe.d/local に書き出しておく。

options w83697hf_wdt wdt_io=0x4e timeout=60

watchdog パッケージの設定

Debian lenny なので、パッケージをサクッとインストールする。

# apt-get install watchdog

/etc/default/watchdog にモジュールの指定を書く。

watchdog_module="w83697hf_wdt"

今回は死活のみを監視するので、 /etc/watchdog.conf は下手にいじらないで次の行のみ有効化する。ただ、watchdog自体の負荷が気になるならば interval を多めに取ればいい(ドライバ指定のtimeout以下になるように)。

watchdog-device	= /dev/watchdog

watchdogデーモンを立ち上げると完了する

# /etc/init.d/watchdog restart

watchdog の確認

あぁ、、、「killall -9 watchdog 」で暫くして強制再起動がかかれば確認完了。。。

まとめ

なにげにSSD-IDEを載せたので、内蔵ストレージに書き込みが頻発するのは避けたい気がするので、箪笥の中から掘出した3年ものの外部ストレージをつけてみた。

なに！PCの同じだけ電力を食うのかこの外付けHDDは！

なにげに、VIA EPIA-EN を使いこなしているような気がする。

NetBSD 4.0.1 の amd64 版の boot-big.fs はどこ？

2009-02-01T23:34:00.000+09:00

最近、Debain/NetBSD/OpenBSD/FreeDOSの安定版のインストーラー(amd64版があればそいつを含んだ奴)を一つにまとめた DVD を欲しくて作ってみた。

grub2 は USB-CD/DVD のアクセス対応のコードがまだ天から降ってこないので、まだ isolinux を使う必要がある。(grub2のbsd系のブートコマンドは、まだ 64bit ELFをサポートしていないので、まだまだなんだがなぁ。。。)

Linux 以外では、floppy イメージをsyslinux の memdiskでエミュレートすることで、インストール作業ができる。ただし、floppy ディスクの交換までエミュレートできないので、一つにまとまったイメージが必要になる。

で、

NetBSD/amd64 4.0 には、boot-big.fs はあったのだが、4.0.1 では提供されていないぞっと。。。なんでかぁ

困ったなぁ

コイツらは普通につくれるのかぁ、、、、Linux システム上で！

小一時間考えて、作ってみた。

NetBSD 4.0.1 のバイナリファイル群を取ってくる。下のスクリプトのTOPDIRに指定して、スクリプトを走らせると。。。memdisk でブートできる boot-big.fs を出来る。。。

#!/bin/sh

TOPDIR=/path/to/NetBSD-4.0.1/amd64

BOOTBIGFS=${TOPDIR}/installation/floppy/boot-big.fs

[ -e $BOOTBIGFS ] && exit

#VOLSIZE=5760  # blocks

workdir=/tmp/work$$
mkdir $workdir
mkdir $workdir/USTAR

tar xfz ${TOPDIR}/binary/sets/base.tgz -C $workdir ./usr/mdec

cp $workdir/usr/mdec/boot $workdir/USTAR
cp $workdir/usr/mdec/bootxx_ustarfs $workdir
cp ${TOPDIR}/binary/kernel/netbsd-INSTALL.gz $workdir/USTAR/netbsd

if [ "x$VOLSIZE" = "x" ] ; then
	needblocks=`du -s -B512 $workdir/USTAR | awk '{print $1}'`
	VOLSIZE=`expr $needblocks + 20`
fi

OVOLSIZE=`printf "%o" $VOLSIZE`
touch $workdir/USTAR/USTAR.volsize.$OVOLSIZE
tar --posix -cf $workdir/USTAR.tgz -C $workdir/USTAR boot USTAR.volsize.$OVOLSIZE netbsd

dd if=$workdir/bootxx_ustarfs of=$workdir/boot-big.fs
dd if=$workdir/USTAR.tgz of=$workdir/boot-big.fs seek=16

cp $workdir/boot-big.fs $BOOTBIGFS

rm -rf $workdir

USTARFSは、initrd で cpio イメージを使うっぽい感じで tar を扱う奴らしい(ちょっと違うけど)。ボリュームのサイズは含まれる特殊なファイル名(USTAR.volsize.XXXX)で指定され、かつ８進数を使うのは、、、如何にも歴史を感じられるなぁ～

で、目的のDVDを無事ゲットできましたとさぁ。。。

まぁ、ついでに Ubunut 8.04.2 LTS Desktop/Server i386/amd64 も作ってもうたぁが、それは別の話。

CPANでインストールしたモジュールは？

2009-02-01T20:08:00.001+09:00

Linux 上で Perl を使う場合、自前ではビルドせずに大抵ディストロのパッケージ(rpm/deb)を使うのがほとんどである。 CPAN上のモジュールでも対応するディストロの方を使うのが、僕は好みである。ディストロ側に対応するパッケージが無い場合は、仕方なく cpan コマンドを使ってインストールして使っている。

cpan -i モジュール名

cpan コマンドでインストールしたモジュールをアンインストールしたいとか思っても、いまいち方法が分からなかった。。。

「cpan help」とかやると、よくわからん help モジュールがインストールされたり、「cpan list」とやっても、list モジュールが、、、以下略。

で、CPANを使うと運用状態が続くと /usr/local 以下が何故だか意味不明な状態になってしまう。

私だけだろうけど、、、どうしたもんだろうかなぁ。

cpanコマンドでインストールされたもののリスト

ExtUtils::Installed モジュールを組み合わせると取得できるようなので、次のようにスクリプトを組んでみた。

cpan-list

#!/usr/bin/perl

use ExtUtils::Installed;

$inst = ExtUtils::Installed->new();

for $module (sort $inst->modules()) {
	$version = $inst->version($module);
	print "$module $version\n";
}

どっかの御大ならば一行スクリプトに仕立てるんだろうけどねぇ。。。
そこまで Perl 臭が染み付いていないので、これでいいかなぁ。。。

実行例

# ./bin/cpan-list      
HTML::Perlinfo 1.54
Perl 5.8.8

cpanコマンドでインストールされたもののアンインストール

同様に ExtUtils::Installedとかを組み合わせると、アンインストールするスクリプトが作れる。

cpan-uninstall

#!/usr/bin/perl

use ExtUtils::Installed;
use ExtUtils::Install;

$module = $ARGV[0];

$inst = ExtUtils::Installed->new();
@modules = $inst->modules();

(grep $module,@modules) || die "$module is not install...";

uninstall($inst->packlist($module)->packlist_file());
print "uninstalled $module\n";

削除したいものを指定すれば削除できる。

実行例

# ./cpan-uninstall Module::Name
uninstalled Module::Name

まとめ

果たして、これで良いのか疑問に残るが、目的は達したので良いのかなぁ。。。
取り敢えず、ディストロとCPANの組み合わせは怖くなくなったぞぃと。

ReadyNAS Duo を購入

2008-11-29T18:16:00.000+09:00

ファイルサーバを普通のPCで組み、常時起動して運用すると、月々の電気代がちょっと気になる。

今使っている PC+HDDx4 台の電力消費をワットチェッカで計測すると、ほぼ130W前後になる。コイツが、24時間通電してると、一日約3kW/h で、約60円程度になる。年間約2万円くらい使ってる計算になる。

RAID0+1の構成が取れるHDDx4台は魅力的だが、、、長期的に見ればHDDx2台(RAID1)のNASに移行するべきですかぁね。。。

HDDx2(RAID1)のNASは、各社多様に製品が展開されている主戦場ですなぁ〜〜

HDDが交換が簡単で扱い易そうなものが良いので、「ReadyNAS Duo」のべアボーンタイプを選択してみた。

"ReadyNAS Duo ホームメディア・サーバーペアボーンタイプ" (ネットギア)

搭載されているX-RAIDを使えば、容量が同じでない場合でも冗長構成を取れる。余っているSATA HDDとかは容量はまちまちな場合が多いので結構便利だと思う。

最初の初期化は何やらHDD上にファームを展開してるためなのか結構時間がかかる。焦らずに Web管理画面(FrontView) にアクセスできるまで気長に待つ必要がある。

add-onで種々の拡張ができるのも売りで、SSHアクセスやDebian由来のAPTが可能である。 apt が参照してるパッケージ群はベンダーのNETGEAR提供のものに加え、Debian/sarge のものが使える。

ただ sarge 自体はサポート終了してるので、apt-line を debian-archive の近いサイトに変更する必要がある。

deb http://www.readynas.com/packages readynas/

deb http://ftp.riken.jp/Linux/debian/debian-archive sarge main contrib non-free
deb http://ftp.riken.jp/Linux/debian/debian-non-US sarge/non-US main contrib non-free

今更な sarge かぁ。。。

また、NASには珍しく主メモリS.O.DIMMで提供されてより大きなものに交換ができ、より複雑なアプリでもを動かした場合も、結構スラッシングを抑えられる。

でもsargeベースなんだよなぁ。。。

普通にベンダーのファームを使い切るのがベストなんだと思うなぁ。

コイツに使われてる IT3017 は、どうも LEON とか言う Sparc v8 互換のCPUらしい、、、つまり、初めて所有する Sparc になりましたっす。。。というか Sparc+aptの２点で買いだったのだが、、、

Infrant Technologies IT3107/02 NAS/Raid-on-Chip Devices
Linux brings enterprise RAID features to SOHO/SMB NAS gadgets
Microprocessor Report Archiveの「Storage Processor Leverages LEON 」(適当にググルと、、、)

SSH でアクセス出来るので、ローカルでベンチを取ったところシーケンスIn/Outともに、普通のPCの半分以下程度だったっす。ベンチの計測中は、どうもPCに比べてCPUが回りすぎる気がする。

コイツのSATAのバスマスタ転送の実装がヘボイのか、今のx86系のChipsetが優秀すぎるのか、どっちだろう？

今後出てくるだろうATOM系のNASの性能が答えを出してくれるんだろうなぁ。というか、早く優秀なChipset積んで出てこいやぁ！！

まぁ ReadyNAS Duo はNASとしては買っても損はないが、もう少し凝ったことをやりたければ、debian/lenny がインストールできるQNAP NASやGLAN Tankとかがお勧めだなぁ。

sarge 止まりなんだよなぁ。。。惜しいなぁ

MacOSX 上の Acrobat の OCR の奇妙な文字化けに対処する

2008-10-23T19:48:00.001+09:00

MacOSX の OCR の選択肢は狭く、ちょっと躊躇する分野である。そのため、Acrobat 搭載の OCR が重宝すると思う。

しかし！！

僕の持っている Acrobat 8.1.2 では OCR 処理後に埋め込まれる文字が奇妙な文字化けを起こして、全く使えなかった。

ググりまくっても対処法が見つからずに途方に暮れていた。

はて？なんすかね？

ふと文字化け文字列をコピペして UTF-8として再認識させると 80% 位が日本語として識別できるようになった。

詳しく調べてみると、OCR処理後に埋め込まれる文字列が「90ms-RKSJ-H」というエンコードで符号化される(要するにShift-JISの亜流)はずが、コイツの中身が勝手に「UTF-8」になってるっぽい？らしい。

小一日後、、、ふと思ったのが、環境変数LANGかなくらい。。。

LANG変数は、結構昔に ~/.MacOSX/environment.plistで ja_JP.UTF-8 と設定してある。

コイツを削除してみた。。。

あぁぁ、奇妙な文字化けがなくなったぁぁ。

どうやら、MacOSX 版の Acrobat Pro 8.1.2 に含まれる OCR 機能は、勝手に環境変数LANGを参照して、文字化けになってるっぽい。

なんだかなぁ、、、疲れる仕様だなぁ

NicoProxy2 と Squid を MacOSX 上で組み合わせる

2008-08-05T22:48:00.001+09:00

最近は元気が無いがニコニコ動画は面白い。Youtube や Veoh に上がってる動画も面白い。

しかし、動画のファイルサイズは HTML/CSS/JavaScript に比べて大きすぎるためか、 キャッシュプロクシとは本当に相性が悪すぎる。Squid でキャッシュ保存するサイズを大きめに取って対処していたのだが、、、どうも気持ちが悪い。

ニコニコ動画限定だが専用のキャッシュサーバ「NicoProxy2」が出てきている。そのうち、動画専用キャッシュサーバがぼこぼこ出て来るんかいなぁ。

なので、Squid と NicoProxy2 を組み合わせてみた。

ユーザは外部サイトを Squid を通してアクセスする状況で、Squid がニコニコ動画の動画リクエストのみNicoProxy2 に委託するのが目的。

NicoProxy2の立ち上げ

手軽に launchd 経由で立ち上げたいので daemondo が含まれる MacPorts を入れてく。

ソースを取ってきて、適当な場所に置く。

# ls -l /opt/local/etc/nicoproxy/
total 24
-rw-r--r--  1 root  admin   321 Aug  5 16:36 conf.yml
-rw-r--r--  1 root  admin  8062 Aug  5 18:58 nicoproxy.rb

もうこの状態で、conf.yml を弄れば、Proxy として機能すると思う。動作確認したら、launchd 用の定義ファイルとラッパースクリプトを書く。

/opt/local/etc/LaunchDaemons/org.macports.nicoproxy/org.macports.nicoproxy.plist

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
	<key>Debug</key>
	<false/>
	<key>Label</key>
	<string>org.macports.nicoproxy</string>
	<key>OnDemand</key>
	<false/>
	<key>ProgramArguments</key>
	<array>
		<string>/opt/local/bin/daemondo</string>
		<string>--label=nicoproxy</string>
		<string>--start-cmd</string>
		<string>/opt/local/etc/LaunchDaemons/org.macports.nicoproxy/nicoproxy.wrapper</string>
		<string>start</string>
		<string>;</string>
		<string>--stop-cmd</string>
		<string>/opt/local/etc/LaunchDaemons/org.macports.nicoproxy/nicoproxy.wrapper</string>
		<string>stop</string>
		<string>;</string>
		<string>--restart-cmd</string>
		<string>/opt/local/etc/LaunchDaemons/org.macports.nicoproxy/nicoproxy.wrapper</string>
		<string>restart</string>
		<string>;</string>
		<string>--pid=none</string>
	</array>
	<key>RunAtLoad</key>
	<false/>
</dict>
</plist>

/opt/local/etc/LaunchDaemons/org.macports.nicoproxy/nicoproxy.wrapper

#!/bin/sh

prefix=/opt/local
pidfile=/opt/local/var/run/nicoproxy.pid

Start()
{
	cd /opt/local/etc/nicoproxy
	ruby ./nicoproxy.rb &
	echo $! > $pidfile
}

Stop()
{
	kill `cat $pidfile`
}

Restart()
{
	Stop
	Start
}

Run()
{
case $1 in
  start  ) Start   ;;
  stop   ) Stop    ;;
  restart) Restart ;;
  *      ) echo "$0: unknown argument: $1";;
esac
}

Run $1

launchd に登録すれば、再起動しても自動的に上がってくれる筈？

# launchctl load -w /opt/local/etc/LaunchDaemons/org.macports.nicoproxy/org.macports.nicoproxy.plist
...
# launchctl list | grep nicoproxy    
62595	-	org.macports.nicoproxy
...
# ln -s /opt/local/etc/LaunchDaemons/org.macports.nicoproxy/org.macports.nicoproxy.plist /Library/LaunchDaemons/

まぁ、MacPorts に含まれていないのに、org.macports.XXXX なのは愛嬌ってことで。

Squid と連携する

Squid は、MacPorts のものを入れ、取り敢えず動かせる所まではやっておく。NicoProxy2 連携用に、次の設定を加える。但し、例では NicoProxy2 のポートは 25255に変えてあり、自身のホストがCNAMEとか追加して nicoproxy.example.com で引けるようになっているので、各自の環境に合わせる必要がある。

squid.conf

...
# nico proxy
acl nico url_regex -i ^http://www\.nicovideo\.jp/api/getflv/?
acl nico url_regex -i ^http://.*\.nicovideo\.jp/smile\?
cache_peer nicoproxy.example.com. parent 25255 0 proxy-only no-query
cache_peer_access nicoproxy.example.com. allow nico
never_direct allow nico

まとめ

NicoProxy2はon-the-flyでは転送しないのかぁ。。。

CentOS 5.2 上で Ruby の環境を整える

2008-08-03T01:12:00.000+09:00

CentOS 5.2 の標準では ruby 1.8.5 止まりである。

Ruby を最新バージョンに上げて、RubyGems入れて、Railsも入れるとか、結構、巷で行われている

まぁ、記念なので、次のサイトを参考にインストールしたら、すんなりできた

MuraTaka 速記メモ / 2008-07-13

RPMforge の追加

公開鍵の取得し、レポジトリのパッケージの確認し、インストールし、デフォルトでは使わない設定をする。

# rpm --import http://dag.wieers.com/rpm/packages/RPM-GPG-KEY.dag.txt
# wget http://apt.sw.be/redhat/el5/en/i386/RPMS.dag/rpmforge-release-0.3.6-1.el5.rf.i386.rpm
# rpm -K rpmforge-release-0.3.6-1.el5.rf.i386.rpm
rpmforge-release-0.3.6-1.el5.rf.i386.rpm: (sha1) dsa sha1 md5 gpg OK
# rpm -i rpmforge-release-0.3.6-1.el5.rf.i386.rpm
# sed -ie 's/enabled = [01]/enabled = 0/' /etc/yum.repos.d/rpmforge.repo
# yum --enablerepo=rpmforge list

気持ち ffmpeg や mencoder をインストール出来るようになるってうれしい

# yum --enablerepo=rpmforge install fmpeg mencoder

checkinstall のインストール

tarball からRPMパッケージなどを簡単に作れるようにするものらしい。(1, 2)、、、ちょっとだけいい。

# yum --enablerepo=rpmforge install checkinstall

ruby 1.8.7 のインストール

公式サイトから取得して、つらつらとRPMパッケージに仕立てて、インストールする。バイナリパッケージなので、依存するライブラリを気をつければ、別の環境にもサクサク移せるとは、いい感じ。

# wget ftp://ftp.ruby-lang.org/pub/ruby/1.8/ruby-1.8.7-p17.tar.bz2
# tar xfj ruby-1.8.7-p17.tar.bz2
# cd ruby-1.8.7-p17
# ./configure --prefix=/usr
...
# make
...
# checkinstall --fstrans=no
...
# rpm -ih /usr/src/redhat/RPMS/i386/ruby-1.8.7-p17-1.i386.rpm 
# ruby -v
ruby 1.8.7 (2008-06-09 patchlevel 17) [i686-linux]

RubyGemsのインストール

公式サイトから取得して、サクッとRPMパッケージに仕立てて、インストールする。

# wget http://rubyforge.org/frs/download.php/38646/rubygems-1.2.0.tgz
# tar xfz rubygems-1.2.0.tgz 
# cd rubygems-1.2.0
# checkinstall -R "ruby setup.rb"
...
# rpm -ih /usr/src/redhat/RPMS/i386/rubygems-1.2.0-1.i386.rpm 
# gem -v
1.2.0

ここまでくると、gem コマンドが使える状態になるので、あとはそいつに任せれば、環境が出来上がる。

# gem install rails

どっかに、CentOS 用の ruby 最新版のレポジトリとか無いのかなぁ。。。

追記(2010-05-18)

２年も経つとURLも変わるらしい。上手く行かない時は次の記事を参考にと。

1.8.7へアップデート死亡遊技 - Rubyの勉強を始めます。 - Rubyist

Xen on CentOS5 は安定してる

2008-08-01T19:35:00.001+09:00

P4P800-VM に CentOS 5.2 をインストールしてみた。インストール時に、パッケージ選択に仮想化をチェックすれば、インストール直後から Xen+Dom0 の環境が素で出来ていた。RHEL から流用しているからか、変に固まること無く本当に安定してる。

但し、２点くらい留意する必要があるっぽい。

CentOS 5.2 のインストールメディアを使う場合、インストール時とカーネルを最新バージョンにするまで irqpoll を付ける必要がある。逆に言えば、yum で最新バージョンにすれば必要ない。つまり、CentOS 5.3 くらいには、過去の事になるんだろうなぁ。
別途PCIカードに差し込んだ e1000 のアダプタで Wake On Lan が機能しない。これは Xen によるブリッジが放置される問題で、終了処理にブリッジを落とせば問題なく機能する。

「Second p0st: Wake on LAN」には debian 向けに書かれているが、これを CentOS 用に変更し、/etc/init.d/xen-bridge-phil に書き落とす。その後、適当なコマンドで登録する。

#!/bin/sh
#
# xen-bridge-phil	Stopping Xen network bridge so WOL will work
#
# Author:       localadmin <localadmin@localhost>
#
# chkconfig: 2345 99 02
# description: Stopping Xen network bridge so WOL will work

# Source function library.
. /etc/rc.d/init.d/functions

RETVAL=0
prog=xen-bridge-phil
ETH=eth0

stop()
{
        /etc/xen/scripts/network-bridge stop > /dev/null 2>&1
        test "x$ETH" != "x" && /sbin/ethtool -s ${ETH} wol g
}

case "$1" in
  start)
	touch /var/lock/subsys/$prog
	;;
  stop)
        echo -n "Stopping Xen network bridge so WOL will work"
        stop
	RETVAL=$?
	if [ $RETVAL -eq 0 ]; then
		rm -f /var/lock/subsys/$prog
		success $"$prog shutdown"
	else
		failure $"$prog shutdown"
	fi
	echo
        ;;
esac

exit 0

登録処理

# chkconfig --add xen-bridge-phil

ついでなのだが、終了時に xend が呼ばれていない気がするので、/etc/init.d/xend の中に適当な位置に

...
start)
...
  touch /var/lock/subsys/xend
...
stop)
...
  rm -f /var/lock/subsys/xend
...

を埋め込む必要があるかもしれん。

追記 (2008/12/10)

某OKWaveの質問サイトにリンクの記載がある。それは良いんだが、ホスト名が異なるだけのコピーが約30サイトもあるのには、ビックリした、、、OKWaveって。。。

大本の質問のやり取りは、「XenでWOLできない？」がそうらしい。

最近のNICのWOLの設定は、電源を完全に落とすと保存されないものが多くなったなぁ。それに、カーネルのバージョンがあがると思い出したようにWOLの不具合が発生するし、みんなIPMPに流れて使っていないのかんなぁ。。。普通のマザボでも載るならよいのに。。。グチグチ

まぁ、ethtool で設定を入れ込むとしたら、/etc/init.d/xen-bridge-phil ファイルのstop()関数の中で、上のようにすればよいかも。

WOL設定って、udev で何とかするのがモダンな解法なのかなぁ。。。良くわからんが。。。。

がんばれ＞＞RedHat/Fedoraチーム

Remote がiTunesから登録を解除される問題の対処法

2008-08-01T16:17:00.001+09:00

iPhone/iPod touch アプリに Remote という、iTunes を制御できる優れものアプリがあるらしい。iPod touch のファームを 2.0 に上げて以来試しているが、なぜかiTunesから登録が解除される挙動に悩まされてきた。。。

今日なんと対処法が分かった。。。

どうも4桁のピンコードを入力した後に、折り返しに iTuens から iPod touch へ HTTP アクセスがあって登録が完了するらしい。このとき iTunes が動いてるマシンにプロクシ設定があるとき、折り返しアクセスが HTTPプロクシを通して返され、別のIPアドレスから登録完了の通知なので iPod touch に拒絶されるのが原因らしい。。。あばば

つまり、4桁のピンコード登録時にはiTunes が動いてるマシンのプロクシを一時的に切れば良い。

で登録できましたよ〜〜。。。Remote アプリいいすぅね。。。

Xen 3.2 on Ubuntu でNFSが固まる

2008-07-31T19:29:00.001+09:00

捨てるには勿体ない ASUSTek P4P800-VM / Pentium 4 3GHz の構成を生かそうと思い Xen 3.2 on Ubuntu で準仮想化を試そうとした。

幾つかの地雷原を上手く避けたのだが、どうも Dom0 上の NFS サーバが動作時に下記メッセージを吐いて固まってしまう。

BUG: unable to handle kernel paging request at virtual address xxxxx

同様なメッセージは Xサーバでも出るがドライバを i810 から vesa に変更すれば回避が可能である。

イマイチ分からん挙動で Dom0 上で NFS サーバを使わなければ良いのだが、、、少なくともワシはやじゃ！

CentOS5.2 でも試そう

libvirt on MacOSX を試してみる

2008-07-28T18:21:00.000+09:00

あまり意味は無いが、libvirt は Windows 上でも動いているので、UNIXを名乗ってる MacOSX でも動かないことは無いと思うので試してみた。

依存するライブラリやパッケージをインストールするために MacPorts を使う。。。取り敢えず適当に入れとく。

次に、gnutls/pkgconfigを入れる。

$ sudo port install gnutls
$ sudo port install pkgconfig

libvirtのサイトから、ソースを取ってくる。４カ所修正を行い、configure & make を行う。

$ tar xfz libvirt-0.4.4.tar.gz
$ cd libvirt-0.4.4
$ sed -i .bak 's/test -z "\$PKG_CONFIG/test -n \"$PKG_CONFIG/' configure
$ sed -i .bak 's#-Wl,--version-script=\$(srcdir)/libvirt_sym.version##' src/Makefile.in
$ sed -i .bak 's/xdr_quad_t/xdr_int64_t/;s/xdr_u_quad_t/xdr_u_int64_t/' qemud/remote_protocol.c
$ sed -i .bak 's/rl_completion_matches/completion_matches/' src/virsh.c
$ ./configure --without-xen --without-qemu --without-libvirtd --without-storage-fs
$ make
$ make install

実際使えるのは、virsh のみだが、リモート対向の libvirtd の設定に応じてURIを指定する必要がある。 ssh経由のトランスポートを指定する場合、socket オプションを明示する必要がある。あと、お互いのシステムで nc コマンドが動く必要がある。

$ virsh -c qemu+ssh://remote-machine/system?socket=/var/run/libvirt/libvirt-sock

普通に動く。。。

~~ただ、virt-managerを入れようとしてるが macports の gtk2 が上手く入らんので、試せん。。。意味無いなぁ。~~ gtk2が入らないのは #15816が原因で、port sync で問題なくインストールで来た。でも、virt-managerが依存する virtinst とかは libxen ? が必要なのでイマイチ動かん。。。

Solaris on Linux KVM はまだまだ？

2008-07-24T20:02:00.001+09:00

KVM+libvirt の組み合わせは最高！Redhat6.2からFedora9まで起動し安定している。

勢い余って、Solarisをインストールしたが、どうもだめだめの状態

Solaris 8/9 に関しては、CDブートでのインストールは出来るが、初回のHDDの起動時に、しょっぱなから「Can't read gemotery」と出力されて先に進まない。どうも、ブート処理のかなり初期の段階 mboot か pboot のどっちかが巧く動かないようで、KVMの16bit命令のエミュレートの問題か、BIOSの挙動の問題のどちらのような気がする。
Solaris 10/OpenSolaris に関しては、インストールも起動も出来る。ただし、ゲストOSがアイドル時にホスト側のエミュレータが 100% CPU を食いつぶしている状態で、ちょっといただけない。KVM/QEMU側のMONITOR/MWAITのエミュレートが巧くいっていないので busy wait になってるとか、なってないとからしい。（参考「OpenSolaris Forums: QEMU and MWAIT/HLT? cpu idle loop ...」等々）どうも思い過ごしだったらしく、起動して暫くするとアイドル状態になりほぼ 0% になる。ただし、Solaris10は最新パッチまで当てると起動しなくなる。

Virtual Box とかではきっと動くんだから、そのうち、安定するんでしょうね。

sata_nv で NCQ を有効にする方法

2008-07-24T10:23:00.000+09:00

何となく、dmesgを見てたら

[   51.265072] ata3.00: 625142448 sectors, multi 1: LBA48 NCQ (depth 0/32)

と、NCQが有効になっていなかった。

どうやら sata_nv.swncq=1 をカーネルオプションを付ければ良いのだが、イマイチ有効にならないようだ。

はて、どうしたもんだか？

Debian/Ubnuntu のカーネルはディスク周りもモジュールになるような修正が入ってるためか、オプションを記述する部分は制限されるようで、initramfs-tools の設定で渡す必要があるらしい？

/etc/initramfs-tools/modules

sata_nv swncq=1

その後、initrd を再構築して、再起動。

# update-initramfs -k all -u
update-initramfs: Generating /boot/initrd.img-2.6.24-19-generic

dmesg で確認すると、NCQが有効になってるっぽい

[   44.429828] sata_nv 0000:00:0e.0: Using SWNCQ mode
...
[   44.953114] ata1.00: 625142448 sectors, multi 1: LBA48 NCQ (depth 31/32)

ただし、イマイチ速くなった気がしないが、いいのかなぁ

FreeBSD 7.0 と Linux KVM

2008-07-23T20:55:00.000+09:00

KVM 上に FreeBSD 7.0 をインストールした。

その前に、FreeBSD は CD 数枚組で配布されており、DVD は無い。 Creating Your Own FreeBSD 7.0 DVDを参考に作成してみた。

FreeBSD 7.0 DVD イメージの用意

近場のミラーサイトから

7.0-RELEASE-i386-disc1.iso
7.0-RELEASE-i386-disc2.iso
7.0-RELEASE-i386-disc3.iso
7.0-RELEASE-i386-docs.iso

を入手する。

DVDイメージの作成

下記コマンドは、Linux上で作業。

# mkdir /path/to/dvd-freebsd7
#
# for suffix in "disc1 disc2 disc3 docs"; do
#   iso="7.0-RELEASE-i386-$suffix.iso"
#   mount -oloop /path/to/$iso /mnt
#   tar -C /mnt -c . | tar -C /path/to/dvd-freebsd7 x
#   umount /mnt
# done
#
# rm -Rf /path/to/dvd-freebsd7/rr_moved
#
# sed -ie 's/|[123]$//' /path/to/dvd-freebsd7/all/packages/INDEX
#
# cat >> /path/to/dvd-freebsd7/cdrom.inf <<EOF
CD_VOLUME = 0
CD_VOLUME = 1
CD_VOLUME = 2
CD_VOLUME = 3
EOF
#
# mkisofs -v -V FreeBSD -J -R -no-emul-boot -b boot/cdboot -o /path/to/7.0-RELEASE-i386-dvd.iso /path/to/dvd-freebsd7

インストール

KVM上では、２点問題がでたが、それを除けば難なくインストールできた。

ACPI/APICが機能しない

ACPI/APICが上手く機能しいので、それを除けてインストールし、最後にブートローダ側での設定を行った。

~~/boot/loader.conf~~
/boot/device.hints

hint.acpi.0.disabled=1
hint.apic.0.disabled=1

libvirtではshutdown制御がACPI経由で行われるようなので、いちいちログインして終了する必要があり、~~自動でVMが終了しない~~。ちょっと嫌ですな。。。そのうちFreeBSD on Linux KVM でACPI対応するんだろうなぁ

追記(2008/07/24)

ACPIを無効にして、APMを使うようにすれば、自動でVMを終了することができる。但し、libvirtではshutdown制御は効かない。。。

/boot/device.hintsに、hint.apm.0.disabled=0
/boot/loader.confに、apm_load="YES"
/etc/rc.confに apm_enable="YES"

参考「FreeBSDでACPIを無効にしAPMを有効にする方法」

NICが安定しない

また、KVMのデフォルトで選択される rtl8139では、FreeBSD側のドライバが安定してない。何か timeout とかのメッセージが出る。

libvirt 0.4.2 から NIC のmodel指定ができるようになったので、手動で最新ソース libvirt_0.4.4-0ubuntu1 からパッケージを構築し、NICのモデルに e1000 を指定したら安定して動くようになった。

...
   <interface type='bridge'>
     <mac address='xxxxxx'/>
     <source bridge='br0'/>
     <model type='e1000'/>
   </interface>
...

NetBSD on Linux KVM も似た感じで、ACPI無効で適当なNICモデルを選択すれば良い。

完全仮想化のときディスクの CHS 値がちょっとだけおかしい？

2008-07-23T17:45:00.001+09:00

KVM / QEMU 等で、ちょっと古めの OS を入れて遊んでいたら、次のようなメッセージが出るが、何事もなく動く場合がある。

kernel: hda: C/H/S=780/0/63 from BIOS ignored

多分、CHS変換が上手くいっていないがLBAモードでアクセスするので問題が起きていないんだろうが、正直言うと気持ちが悪い。

Googleの検索だと6件くらい引っかかる

くよくよ調べてみた。

起動時にホスト側のエミュレータでディスクのCHS値から変換方法は自動的に最適な変換アルゴリズムが選択される。（「bochs: The Open Source IA-32 Emulation Project (New Bochs Documentation)」にあるnone, large, rechs, lbaの４種類)
仮想マシン上で実行されるBIOSの初期化処理で、論理CHSの最大値が計算される。
エミュレータで指定された変換アルゴリズムで計算した値が EBDA(Extended BIOS Data Area)に保存されている。
上とは無関係な方法で計算した値がFDPT (Fixed Disk Parameter Table)に保存される。
（「Enhanced Disk Drive Specification Ver 1.1」に基づいた方法。。。1995年に作成って）
EBDAとFDPT上の論理CHSの最大値が一致しない場合がある。
FDPTの計算に使われる方法は、Head値が256の可能性があり、古いシステムでは誤認識する場合もある。（おおよそディスクサイズが 4Gの以上の時かなぁ？）

変なメッセージが出るのが嫌なのでパッチを作ってみた。ただし、FDPTはどう扱うべきかイマイチ分からないので、正しい対処法かどうかは分からない。

--- kvm-62+dfsg/bios/rombios.c	2008-02-25 18:30:14.000000000 +0900
+++ ../rombios.c	2008-07-23 15:39:17.000000000 +0900
@@ -2450,6 +2450,15 @@
       write_word(ebda_seg,&EbdaData->ata.devices[device].lchs.cylinders, cylinders);
       write_word(ebda_seg,&EbdaData->ata.devices[device].lchs.spt, spt);
 
+      if (device == 0 || device == 1) {
+       Bit8u *fdpt = (device==0) ? EbdaData->fdpt0 : EbdaData->fdpt1;
+
+       write_word(ebda_seg, fdpt, cylinders);
+       write_byte(ebda_seg, fdpt+0x02, heads);
+      }
+
       // fill hdidmap
       write_byte(ebda_seg,&EbdaData->ata.hdidmap[hdcount], device);
       hdcount++;

パッチ書いた後、Googleって見たら、Virtual Box では同様のパッチ Changeset 6294 - VirtualBox が当たってるようである。（Sunの古いシステムで不具合とかあったのかなぁ。。。）

まとめ

FDPTの値に不整合があるが、相当古いシステムしか影響を受けないので、気にする必要は無いらしい。そのうちKVM/QEMU等のrombios.cにも変更が下りて来るのかもしれない。。。

Ubuntuだと Bridge設定すると WakeOnLan 出来ないの何故？

2008-07-22T18:11:00.000+09:00

仮想化のため bridge の設定を行ったあと、WOL (Wake-On-Lan) の機能が動かなくなってしまった。

はて、どうしたもんだか？

現状

M2NPV-VM の nForce 430 組込みのGigabit のNIC
BIOSでWOLの設定(Power Up On By PCI/PCIE Devices)済み
forcedeth (ver 0.61)
起動毎に、WOLの設定を有効化するために、/etc/rc.localの中に記述する。
```
...
/usr/sbin/ethtool -s eth0 wol g
...
```

これで、Bridgeの設定を行わなければ、癖があるがWakeOnLanが有効に機能する。

不具合の現象に関しては類似の報告があり、シャットダウン時にブリッジの設定を無効にすれば良いらしい。。。

よくよく調べると、Ubuntu 特有の問題で、「netbase 4.25ubuntu2 (source) in ubuntu edgy」の変更で、シャットダウン時にネットワークを落とす処理を削除したためのようである。つまり、Debian etch/lennyには影響しない。。。

何を思って変更したのだろ？dhcdbd/NetManager側で対処してるので、冗長として切ったのだろうか。。。

対応

単に、削除した処理を手動で実行すれば良い。

# update-rc.d -f networking remove
# update-rc.d -f networking start 40 S . start 35 0 6 .

まとめ

がんばれ Ubuntu!

libvirt 経由で日本語キーボードを扱う

2008-07-22T11:04:00.001+09:00

libvirt の管理下の仮想化ドメインから、virt-manager を使って、仮想グラフィック画面をVNC経由でアクセスすると、正しくキー入力ができない場合がある。

kvm/qemu のエミュレータに対してキーボードのレイアウトを指定するオプションを付ければ、対応が可能であるが、、、libvirt のドメイン設定ファイル「libvirt: Domain XML format」には~~どうも関連する設定項目が無いようである。~~（追記2009/04/14 記事の最後の方を参照）

まぁ、日本語キーボードの keycodes の問題なんで、英字キーボードを用意すれば済むのだが、日本にいる以上、日本語配列には慣れていかないといけないわけで、、、

はて、どうしたもんだか？

まぁ、スクリプトを挿めばいい

実行バイナリを別名に変更し

# mv /usr/bin/kvm /usr/bin/kvm.bin
# mv /usr/bin/qemu-system-x86_64 /usr/bin/qemu-system-x86_64.bin

/usr/bin/kvmと/usr/bin/qemu-system-x86_64の中身を次のラッパースクリプトに変更する。

#!/bin/sh

exec $0.bin -k ja $*

これにより、日本語キーボードでも正しく文字が入力できるようになる。

なんだろ？

VNCでkeycodes配列をネゴしないのが問題なのかなぁ、、、イマイチ分からん

追記 (2009/04/14)

ふと、気づいてみると XMLフォーマットの中で、VNCのキーマップの指定が出来るようになっている！

    <graphics type='vnc' port='-1' autoport='yes' listen='' keymap='ja'/>

開発サイトのデータを検索する「libvirt.git/search: keymap」と、どうもドキュメントに記載が無いだけで libvirt 0.4.1 位から使えてたようでした。なので、このバッドノウハウは要らなくなりました。

Ubuntu + KVM + libvirt で仮想化

2008-07-21T01:27:00.000+09:00

以前、Xenで完全仮想化ができるのでAthlon64x2 を購入したのだが、ちょっとしか試していなかった。変な結構制約があったりで比較的安定している VMware Server を使っていた。

時は経って、Linux KVM というのが活発に開発が行われており、前途有望である。同時に、色々な仮想化技術を統一したAPIで扱えるlibvirtも整備されてきている。特に、virt-managerは、 VMware Server Console を彷彿し、ローカルからリモートまで管理が可能になりつつある。

なので、Ubuntu+KVM+libvirt に移行してみようと思う。

インストール

KVM と virt-manager のパッケージをインストール。

# apt-get install kvm libvirt-bin virt-manager
# addgroup <自分> libvirtd

ついでに、QEMU/KQEMU も入れとくと何かと便利かも、、、仮想化命令をサポートしないCPUを使っている場合はこっちがメインになると思う。

# apt-get install qemu kqemu-source
# module-assistant prepare
# module-assistant build kqemu
# module-assistant install kqemu
# modprobe kqemu
# echo "kqemu" >> /etc/modules

あとは、virt-managerを使うと仮想化ドメインがGUIで簡単に作れるようになる。

ブリッジの設定

何もしなければ、仮想化ドメインのネットワークは、専用のサブネットが割り当てられる。なので、NATで外に出るか、ルーティングをせっせと張ることになる。

外からサーバ用途としてアクセスしたければ、bridge が簡単でいい。 Ubuntu libvirt guide を参考にして。そいつの設定をする

まず、現在のNetworkManager/dhcdbd等の自動ネットワーク設定機能切る。

# /etc/dbus-1/event.d/26NetworkManagerDispatcher stop
# /etc/dbus-1/event.d/25NetworkManager stop
# echo "exit" > /etc/default/NetworkManager
# echo "exit" > /etc/default/NetworkManagerDispatcher
# /etc/init.d/dhcdbd stop
# update-rc.d -f dhcdbd remove
# /etc/init.d/networking stop

固定IPアドレスと bridge の設定を行う。

/etc/network/interfaces

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet manual

auto br0
iface br0 inet static
	address 192.168.1.123
	netmask 255.255.255.0
	network	192.168.1.0
	broadcast 192.168.1.255
	gateway 192.168.1.254
	bridge_ports eth0
	bridge_fd 9
	bridge_hello 2
	bridge_maxage 12
	bridge_stp off

ネットワークを有効化する。

# cat >> /etc/sysctl.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0
EOF
# sysctl -p /etc/sysctl.conf
# /etc/init.d/networking start

virt-manager を使って新規の仮想化ドメインを作成時に、ブリッジが選択できるようになる。

まとめ

Linux KVM よ〜、賢くな〜れ

Ubuntu 8.04 LTS に乗り換える。

2008-07-16T20:14:00.001+09:00

Debian 安定版の進捗はあまりにも遅く、testing や sid ではあまりにもパッケージの更新が頻繁すぎる。インストールするパッケージを選別すれば良いのだが、それも結構骨の折れる作業である。

世の中を見渡してみると、Ubuntu LTS のリリース方針が自分の要望に怖いほど合致している。

初期インストールで、日常作業に必要かつ最小限度のパッケージが使える状態になる。
X の設定とかも、Debian だと鬼門だったのだが、Ubuntu では手厚いサポートがある。
近年 freedesktop.org で整理された部分が、普通に使えるようになってる。
その他、沢山。

兎に角、最初に悩まなくて良いのが一番良い。上手くいかなくても、Debian 使いのバッドノウハウを使えば良いだけのことだし。

なので、Debian/etch から Ubuntu 8.04 LTS に乗り換えてみた。

あと認証系とかの赤帽の authconfig を移植すれば完璧な気がする。。。。

やべ本当だ。。。頼んだ > Ubuntu

iPod touch で App Store から沢山落としてみた。

2008-07-16T18:51:00.001+09:00

巷では iPhone 3G の話題が沸騰してるが、２年でトータル２０万以上も出費とは、、、私は当分買わない。

iPod Touch でもカメラとBluetoothとGPSが付けば、電話機能なんて要らんし。。。

「iPhone 2.0 Software Update 」を適用さえすれば、Wi-Fiが届く場所にいる限り、殆ど同じ触りごごちが味わえる。

幾つか漫画のアプリがあるが、結構サクサクして読み易い。コミックの配信プラットフォームとしてもありかと思う。

ただし、アプリ単体のみの課金パターンしか用意されていないようなので、ホーム画面に漫画の数だけ無数のアイコンが並ぶのはやだなぁ。

「無料のビューア」+「専用の有料コンテンツ」のパターンとかそのうち出てくるのかなぁ。。。課金はそれぞれ用意するとかなのかぁ。。。

ふぅーむ。。。アップルに期待すっかぁ

Blogger で title を変更してみる

2008-07-16T14:25:00.000+09:00

どうも長々としたブログ名のためかタイトルがどうもクドいくらい長い。

Blogger の標準的なテンプレートだと個々の投稿のタイトルが「ブログ名：投稿タイトル」なので、これを「投稿タイトル」変更したい。

Google にお伺いを立てたらタイトルは結構いじくりたい人が多いらしく、トリッキーな方法が沢山出てきたが、、、今やってもテンプレートが不正だとかで修正できなくなってる。

どうしたもんだろうかと、思っていたら、本家で2008/05に修正が入っていて結構簡単にできることが分かった。

そのまま「Change Title for Blogger Post Pages」に書かれた通りにすればできる。

具体的に書けば、Blogger の管理画面で「レイアウト」> 「HTMLの編集」に遷移して、

<title><data:blog.pagetitle/></title>

の部分を

<!-- Start of Changing the Blogger Title Tag -->
<b:if cond='data:blog.pageType == "item"'>
<title><data:blog.pageName/></title>
<b:else/>
<title><data:blog.pageTitle/></title>
</b:if>
<!-- End of Changing the Blogger Title Tag -->

に変更すれば良い。

ブログ移転と検索インデックスの移行

2008-07-10T10:28:00.003+09:00

ブログを移転したが、検索サイトの結果も移転したい気がする。殆どアクセスが無いサイトだけど、結構 Google の検索順位は高かったので、勿体ない。いろいろ調べると 301リダイレクトを行えば良いらしい。

詳細は Google のヘルプ「サイトの移転に関するヒント」に記述があり、他の検索エンジンとかの対処法も同様らしい。

自前で運用してた typo は、Apache 2.0.x + mod_proxy -> mongrel -> Rails 1.2.x なので、色んな所に実装できそうだが、一番簡単な apache の方で対応してみた

対応

Blogger が生成する permalink は記事タイトルの適当に変換したもので、特定の文字列に変更することはどうも出来ないらしい。記事毎に旧ブログと新ブログのURLの対応づけを指定する必要がある。

対応付け毎に 301リダイレクトする設定に加えて、移行済みの記事は railsのアプリサーバに渡さないようにすると、次のようになる。

ProxyPass <旧ブログのURLパス> !
redirect 301 <旧ブログのURLパス> <Bloggerでの対応するURL>

これを、記事毎に用意すれば良い。。。後は力技だわ。

力技

記事を移行しつつ、対応付けを下記の書式で一行毎に記録する。

redirect.conf.in

<旧ブログのURLパス片> <Bloggerでの対応するURLパス>

このファイルを上の設定に変換する perl スクリプトに通して、

cvt.pl

#!/bin/env perl

$dsite = "http://XXXXX.blogspot.com";

while (<>) {
 ($s, $d) = split(/\s+/);
 $surlpath = "/articles$s";
 $durl = "$dsite$d";
 print <<EOM
ProxyPass $surlpath !
redirect 301 $surlpath $durl
EOM
}

出てきた設定を include 命令で読み込むようにすれば良い。

# cvt.pl redirect.conf.in > redirect.conf
# /etc/init.d/httpd configtest
Syntax OK
# /etc/init.d/httpd graceful

この時点で、旧ブログで移行済みの記事を参照すると、Bloggerへ誘導されるようになる。

あとはクローラが認識するまで180日くらいは必要らしい。。。本当に移行できるんかいなぁ。

追記(2008/08/05)

RSS/Atom の移転に関しても、301のレスポンスを返すと参照先を変更してくれるらしい。なので、RSS/Atomに関しても301リダイレクトを返すようにした。。。

typo の markdown を ecto3 で扱う方法

2008-07-09T19:49:00.002+09:00

typo と ecto を組み合わせるとき、 ecto 内の markdown パーサが性能が悪いので、プリビューが上手く表示できないことがある。

「Markdown Extra for ecto」を使えば、対処が可能らしいが、ecto 3.0b49 では上手くいかなかった。パッチの内容は、Perlスクリプトの markdown -> html コンバータを、PHP ベースの変えるものらしい。

ふーむ。

typo は Ruby の RedCloth モジュールの markdown パーサを利用してるので、こっちを使う物を変えれば、上手くいきそうである。

RedCloth インストール

MacOSX 10.5 では、rubygems が使えるので、

# sudo gem install RedCloth

で完了

ecto の markdown フォーマッタの変更

ファイル ecto.app/Contents/PlugIns/Markdown.formatter/Contents/Resources/markdown.perl を名前を変えてバックアップを取り、次のように変える。

#!/usr/bin/ruby

require 'rubygems'
require 'RedCloth'

text = ""
readlines.each { |line|
  line.gsub!(%r{<typo:code>},"<pre><code>")
  line.gsub!(%r{</typo:code>},"</code></pre>")
  text += line
}

doc = RedCloth.new(text)
puts doc.to_html(:markdown)

めでたく、プリビューが上手く表示されるようになりましたっす。

「Writing your own formatter」に従えば、独自のフォーマッタが結構簡単に作れるらしいので、、、余力があれば遊んでみるのも良いかも。

ブログの移転してきたお知らせ

2008-07-09T18:40:00.000+09:00

インターネットは Google 優勢なので Blogger に移行することに決めました。

更新が滞ることが多いので、Web上ではなくブログ投稿アプリを使おうと思ったら、そういうツールとかは、markdownとか「はてな記法」とかは結構サポート度合いが低い。ごちゃごちゃするより、HTMLベースの記法の方が不具合が少ない気がする。

MacOSX でのブログ投稿アプリは有名どころで ecto か MarsEdit か悩んだが、ecto に決めた。

まあ安かったからだが。。。

新しいURLは http://moimoitei.blogspot.com/ になります。順次古い投稿も移していこうかと思います。古いURLは http://blog.moimoitei.jp/ でした。

XFSのファイルシステムがまた壊れた。。。

2008-07-03T11:43:00.000+09:00

何でも無いが、LVM+XFS で運用したファイルシステムが壊れた。。。

強制電源断をしたからだけど、ほとんど書き込みが無いボリュームで修復も出来ないほど壊れるのは何故だ！！

いっそう XFS が嫌いになったっす。

dm とかは write barrier 機能が有効でないのが問題らしいが、、、はぁ。

P4P800-VM でPATA/SATA混合時のLinux 2.6.x 挙動がいい感じ

2008-06-24T14:40:00.001+09:00

二年前に、P4P800-VM でPATA/SATA混合時のLinux 2.6.x 挙動？という記事を書いた。

現状の対応度合いが気になったので、試しに Ubuntu8.04 をインストールしてみた。

。。。

あっさり入ってしまった。。。余分なカーネルオプション(irqpollとか)を付けずにも、起動できるようである。挙動不審な問題(スループットとか)とかも起きないようである。

どうも、2.6.16から2.6.24のどこかで対応が進んだらしい。確認するのに骨が折れるので気にしないことが一番である。

Debian/etch の標準カーネルでは irqpoll が必要であるが、Etch&Halfに含まれるlinux-2.6.24 を使うようにすれば不要である。

要は、ディストリビューションの最新安定版(Debianは除く)を使えば良いのかなぁ？

さて、P4P800-VMは一年以上使っていないし、捨てますか。。。

追記(2008/06/25)

CentOS 5.2 がリリースした記念にインストールしてみたが、見事の途中で「Disabling IRQ #XX」と出力されて、殆ど止まってしまった。。。2.6.18 では直ってないっぽい。

次いでに Fedora 9 とか入れてると変に引っかかること無くインストールできたので、CentOS 6.x くらいまで待たないと完全対応とはいかないのかぁ。

でも、やっぱり P4P800-VM は捨てますか。。。

ブログの移転の予定の予定？

2008-06-03T13:06:00.001+09:00

取り敢えず、そのうちブログを移転します。ただ、半年前から思ってるので半年後になるかもしれん。

どこかは決めていませんが、Blogger かはてなのどっちかにしようかと思案中です。

取り敢えず、無料で、長期期間放置しても(死後も)削除されないようなとこが良い。。。

べつな良さげなところがあれば、そっちにするかも。

Blogger に書いてみるが、、、いいのかなぁ？

ちょっとだけ cpufreqd を使って Dothan の発熱を抑える

2008-05-10T14:38:00.001+09:00

i915GMm-HFS にインストールしてある Debian を etch から lenny にしたところ、勝手にシャットダウンするようになってしまった。

前後のログをみると、

May  8 19:23:22 myhost kernel: ACPI: Critical trip point
May  8 19:23:22 myhost kernel: Critical temperature reached (109 C), shutting down.

温度が異常に高いため保護のためにシャットダウンしてるようである。

どうしたもんだろう？

現状

i915GMm-HFS
Pentium M 770 / Dothan / 2.13G Hz
cpufrequtils を使って周波数制御の設定を行っている。
ondemand governor で負荷に応じて 800M Hz〜2.13G Hz の変動させる。

/etc/default/cpufrequtils

ENABLE="true"
GOVERNOR="ondemand"
MAX_SPEED=2133000
MIN_SPEED=800000

この状況で負荷が高いときにシャットダウンするようになった。

例えば「openssl speed」で長時間の高負荷状態にすると確実に１〜２分以内でシャットダウンする。どうも、シャットダウンの処理主体はLinuxカーネルの drivers/acpi/thermal.c 内の acpi_thermal_critical 関数らしく、正規の動作らしい。

Gentoo 電力管理ガイドを参照すると、ondemand/conservative を使う限り、温度に依存した抑制動作がないので、ちょっとした負荷で頻繁に周波数が上がったり下がったりで発熱して、致命的な温度になるらしい。

筐体の廃熱がうまくいってないのかもしれん。

対応

温度状況もいれて周波数管理するためには cpufreqd を使うのが良さげである。試行錯誤の結果「openssl speed」の実行完了してもシャットダウンしない設定を見つけた。

conversative governor で負荷に応じて 800M Hz〜1.60G Hz の変動させる。
CPUが 65℃以上になったら、800M Hz に制限する。

/etc/cpufreqd.conf

[General]
pidfile=/var/run/cpufreqd.pid
poll_interval=2
verbosity=4
#enable_remote=1
#remote_group=root
[/General]
 
[acpi]
acpid_socket=/var/run/acpid.socket
[/acpi]
 
[sensors_plugin]
sensors_conf=/etc/sensors.conf
[/sensors_plugin]
 
[Profile]
name=Performance High
minfreq=0%
maxfreq=100%
policy=conservative
[/Profile]
 
[Profile]
name=Performance Low
minfreq=0%
maxfreq=75%
policy=conservative
[/Profile]
 
[Profile]
name=Powersave
minfreq=40%
maxfreq=40%
policy=powersave
[/Profile]
 
##
# Basic states
##
[Rule]
name=Normal
cpu_interval=0-100
#profile=Performance High
profile=Performance Low
[/Rule]
 
# CPU Too hot!
[Rule]
name=CPU too Hot
acpi_temperature=65-150
cpu_interval=0-100
profile=Powersave
[/Rule]

cpufreqd に一言

何で、acpi でバッテリとACアダプタの状態が取得できない場合、ACアダプタが刺さって無く、バッテリ容量が０%として認識するんだい！？　

ソースを見る限り変数が適当な値で初期化していないので、偶然０になり、そういう状態になるらしいが。。。

そのうち Ubuntu とかがまた整理してくれるのかなぁ。

Linux でビープ音を消す

2008-05-06T21:25:00.000+09:00

Linux を使ってると大きなビープ音がしてとても恐縮する。最近は対応方法があるらしく pcskpr モジュールを読み込まないようにすれば良いらしい。

/etc/modprobe.d/blacklist

blacklist pcspkr

ビープ音を適当なメロディにするとかはできないらしい。。。でも？

追記(2009/08/02)

最近のカーネルでは、PC-Speaker の制御が pcspkr/snd_pcsp のどちらかで出来るようになっている。なので、両方をブラックリストに追加する必要がある。

blacklist pcspkr
blacklist snd_pcsp

CF-R3 の HDD 交換

2008-04-30T19:50:00.000+09:00

３年半使っていた CF-R3 のHDD から異音が発生して、とうとうOSも起動しなくなってしまった。

Let’snote テンプレ Wiki に従って、交換してみた。

持っているCF-R3は、マイレッツ倶楽部モデルで型番 CF-R3DW4AXP で HDD は特殊仕様でなく5Vで駆動する。何にも考えず 2.5HDD ATA100 を適当に選んで交換できる。120G 容量 HTS541612J9AT00 を選んでみた。

D2D のリカバリなのでHDD が逝かれると、工場出荷状態にリカバリできなくなってしまう。

リカバリ領域を移行するには、壊れる前に作業しなければいけない。

もう起動しない。

男は黙って dd かぁ？

リカバリ領域のバックアップ

取り敢えず適当な Linux の Live CD を確保して、USB-CD/DVD 経由で作業用のLinux システムを確保する。

今回は、KNOPPIXを使った。

で、HDD の最後から 392 シリンダー分がリカバリ領域である。運が良く破損しておらずアクセスできた。

# total=`blockdev --getsz /dev/hda`
# count=`expr 392 \* 16065`
# skip=`expr $total - $count`
# dd if=/dev/hda of=recovery-fat32.img bs=512 skip=$skip count=$count

できたイメージ recover-fat32.img が fat32 としてマウントできれば成功。サイズが3Gもあるので、netcat を使って転送して、別のマシンに保存した。

HDD 交換

交換方法は、動画もあがってるので、そんなに難しいことではない。

リカバリ領域の復活とリカバリ

MS-DOSの起動ディスクにmakebeer.exe/recvmode.exeを仕込んだものを用意する。
用意した起動ディスクを起動。
makebeer.exe 3
makebeer.exe /fat32
再度、Linux の Live CD を起動。
/dev/hda4 が作成されているので、「dd if=recovery-fat32.img of=/dev/hda4 」で書き戻し。
GRUB 起動ディスクを用意し、/dev/hda4 のパーティションブートする。
リカバリメニューに従ってWindowsXPをリカバリ。

本当は「makebeer /copy 」=>「makebeer /remove」=>「recvmode /normal」で、BIOSのリカバリメニューからリカバリできるらしいが、、、うまくいかなかった。

HDD が 4200 ppm -> 5400 ppm に変更されたためか、体感速度が早く感じられる。

また、３年半くらい使えるかなぁ。

Debian で VIA の PadLock を使ってみる

2008-04-25T05:31:00.000+09:00

以前持っていた EPIA-ME6000 が不幸なことに再起不能になってしまった。直ぐにEPIA-EN12000EGを入手してたのだが、当時のLinuxのSATA_VIAドライバは不安定だったので、放ったらかしにしていた。

症状として、立ち上げ直後は問題ないが、それからしばらくするとディスク関連でエラーを吐いてフリーズしてしまい、長時間運用ができない、、、何じゃこれって感じ。

最近(etch/lenny ともに最新版)試したところ sata_via は非常に安定している気がする。

VIA C7 Esther には、ハードウェア処理のAES暗号化、SHA関数、乱数生成といった目玉な機能が実装されている。

なんで、Linux で使いましょう。。。。

参考 VIA PadLock support for Linux

ハードウェア乱数生成

Debian etch/lenny の Linux 2.6.18/2.6.24? ともに十分なサポートがあり、rng-tools を使うと、/dev/random からの乱数生成の帯域が太くなるらしい。

apt でインストール

# apt-get install rng-tools

設定を行い

/etc/default/rng-tools

...
RNGDOPTIONS="--hrng=via"
...

/etc/modules

via_rng

rngd を立ち上げ、動作確認をする。

# /etc/init.d/rng-tools stop
# dd if=/dev/random of=/dev/null bs=512 count=1000 & pid=$!
# sleep 10 ; kill -USR1 $pid ; sleep 1 ; kill $pid
0+0 records in
0+0 records out
0 bytes (0 B) copied, 10.0067 seconds, 0.0 kB/s
# /etc/init.d/rng-tools start
# dd  if=/dev/random of=/dev/null bs=512 count=1000       
0+1000 records in
0+1000 records out
96169 bytes (96 kB) copied, 1.04326 seconds, 92.2 kB/s

/dev/random に十分なエントロピーが供給されているので、ブロックされることは殆ど無くなる。

VIA Padlock for Linux Crypto API

VIA Padlock は Linux 2.6.19 からフルサポートされる。素のDebian etch のままだと 2.4.18 止まりなのだが、最近 etch-proposed-updates にバージョンに etchnhalf が含まれる linux-image が提供され、こいつが最新カーネルバージョンに追随してるっぽい。なので、etch でも 2.6.24 が使えるのでこいつを使う。

# apt-get install linux-image-2.6-686-etchnhalf
# reboot
...
# uname -r
2.6.24-etchnhalf.1-686

VIA Padlock のモジュールを読み込むように設定

/etc/modules

padlock_aes
padlock_sha

リブートして

# grep driver.*padlock /proc/crypto
driver       : sha256-padlock
driver       : sha1-padlock
driver       : cbc-aes-padlock
driver       : ecb-aes-padlock
driver       : aes-padlock

カーネルで使える暗号化処理 AES/SHA が高速化するらしい。IPSec 、dm-crypt、とかが、、、

# dd if=/dev/zero of=/dev/ram1 bs=1024 count=5x1024
5120+0 records in
5120+0 records out
5242880 bytes (5.2 MB) copied, 0.0236812 seconds, 221 MB/s
...
# modprobe padlock_aes
# cryptsetup create -c aes-cbc-essiv:sha256 -d /dev/random ram1 /dev/ram1
# dd if=/dev/zero of=/dev/mapper/ram1 bs=1024 count=5x1024
5120+0 records in
5120+0 records out
5242880 bytes (5.2 MB) copied, 0.142272 seconds, 36.9 MB/s
# cryptsetup remove ram1
# rmmod padlock_aes
...
# modprobe aes_i586
# cryptsetup create -c aes-cbc-essiv:sha256 -d /dev/random ram1 /dev/ram1
# dd if=/dev/zero of=/dev/mapper/ram1 bs=1024 count=5x1024
5120+0 records in
5120+0 records out
5242880 bytes (5.2 MB) copied, 0.902938 seconds, 5.8 MB/s
# cryptsetup remove ram1
# rmmod aes_i586

VIA Padlock を使った方が 6倍くらい速くなるらしい。。。

これでユーザランドで高速化されるかと言うと、Linux Crypto API は、userland にはインタフェースを持っていない。。。パッチは２種類(CryptoDev for Linux,OCF-Linux)あるらしいが、いまだに議論があるらしく、マージされてない。

OpenBSD/FreeBSD だと OpenSSLが CryptoDev を使うようになってるので、何もせずに高速化されるらしい。。。いいなぁ。

VIA Padlock for OpenSSL

Debian etch/lenny ともに、VIA Padlock の engine が有効にして構築されていなので、自前で用意する必要がある。どうも共有ライブラリの形でプラグイン化できないのが駄目らしい。

VIA PadLock support for Linux 内の以下のパッチを当て、パッケージを再構築。

openssl098-padlock-shared-move.diff
openssl098-padlock-shared-makefiles.diff

インストール後、/usr/lib/ssl/engines/libpadlock.so がインストールされる。

# openssl speed -evp aes256            
Doing aes-256-cbc for 3s on 16 size blocks: 1847840 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 64 size blocks: 575493 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 256 size blocks: 154125 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 1024 size blocks: 39230 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 8192 size blocks: 4929 aes-256-cbc's in 3.00s
...
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
aes-256-cbc       9855.15k    12277.18k    13152.00k    13390.51k    13459.46k
# openssl speed -evp aes256 -engine padlock
engine "padlock" set.
Doing aes-256-cbc for 3s on 16 size blocks: 10478263 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 64 size blocks: 8095021 aes-256-cbc's in 2.99s
Doing aes-256-cbc for 3s on 256 size blocks: 4480017 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 1024 size blocks: 1600314 aes-256-cbc's in 3.00s
Doing aes-256-cbc for 3s on 8192 size blocks: 228568 aes-256-cbc's in 3.00s
...
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
aes-256-cbc      55884.07k   173271.35k   382294.78k   546240.51k   624143.02k

via_rng/padlock_aes の効果で、実に約46倍速くなるらしい。。。はや。

OpenSSL を使う奴のほとんどが簡単なパッチを当てる必要があるらしい。そのうち改善されていくのかなぁ。

OpenSSH にパッチを当てて VIA Padlock を有効にした場合、

 ...  ssh/sshd ともにソフトウェアバージョンを利用 ...
# dd if=/dev/zero count=50 bs=1M | ssh -c aes256-cbc localhost "cat >/dev/null"
50+0 records in
50+0 records out
52428800 bytes (52 MB) copied, 11.8916 seconds, 4.4 MB/s
 ...  ssh/sshd ともに padlock engine を利用 ...
# dd if=/dev/zero count=50 bs=1M | ssh -c aes256-cbc localhost "cat >/dev/null"
50+0 records in
50+0 records out
52428800 bytes (52 MB) copied, 7.88281 seconds, 6.7 MB/s

約 50 % の高速化かぁ。。。

さて EPIA-EN12000EG をどう活用しようかなぁ。

Power Mac G5 Quad の内蔵GPUを交換してみて。。。

2008-04-14T20:25:00.000+09:00

手持ちのPowerMac G5 Quad には、三昔前くらいのGPUであるGeForce 6600 が内蔵されている。より新しめのカードに交換すれば、もしかしたらとても快適になるかと思って物色してみた。

PowerMac G5 には普通のPC用やMacPro用のGPUカードはBIOSが異なるためか使えないようである。その上、GPUに対応するカーネル拡張が、無かったり、intel 用のみ、とか選択肢が全くない。(GeForce 8xxxx 用のはIntelバイナリのみってのは、、、）

旧世代のマシン向けの拡張カードがあまりでないのは、Apple の方針なのかなぁ。。。さびしい。

結局、PowerMac G5 の BTO の一つである GeForce 7800 GT を Vintage Computer から購入した。

早くなったのか？

XBench でベンチマークをとってみた。

PowerMac G5 w GeForce 6600

Quartz Graphics Test 180.91 
    Line    142.19  9.47 Klines/sec [50% alpha]
    Rectangle   173.37  51.76 Krects/sec [50% alpha]
    Circle  159.51  13.00 Kcircles/sec [50% alpha]
    Bezier  157.00  3.96 Kbeziers/sec [50% alpha]
    Text    454.80  28.45 Kchars/sec
OpenGL Graphics Test    111.88 
    Spinning Squares    111.88  141.92 frames/sec

PowerMac G5 w GeForce 7800

Quartz Graphics Test 184.46 
    Line    143.23  9.54 Klines/sec [50% alpha]
    Rectangle   179.68  53.64 Krects/sec [50% alpha]
    Circle  163.49  13.33 Kcircles/sec [50% alpha]
    Bezier  160.60  4.05 Kbeziers/sec [50% alpha]
    Text    451.39  28.24 Kchars/sec
OpenGL Graphics Test    111.99 
    Spinning Squares    111.99  142.07 frames/sec

全く変わらない。。。

CINEBENCH R10 でも、OpenGL のベンチマークもとってみた。

PowerMac G5 w GeForce 6600

Shading (OpenGL Standard)          : 1861 CB-GFX

PowerMac G5 w GeForce 7800

Shading (OpenGL Standard)          : 2414 CB-GFX

約３０％くらい速い？のか。。。

どうも、OpenGL のハード処理が早くなるらしい。。。イマイチ効果が分からない。

最後のだめ押し、glclock の OpenGL のベンチマークを取ってみた。

時計の回転が早すぎてチカチカして、結果が正しいかよくわからないが、どうやら GeForce 7800 GT の方が早いらしいのは分かった。でも、イマイチ。

UIの早さも体感の早さは変わらないので、ちょっと損した気がする。ファンレスだったGeForce 6600を使ってたので GeForce 7800 GT のファンの音がちょっとだけ気になる。

静かな方が良いので、GeForce 6600 のほうに軍配が上がる。

で、もとに戻してしまった。

MediaWiki から MoinMoin への移行ツール

2008-03-16T21:40:00.000+09:00

技術のメモ書き用に、自宅内にMediaWiki を立てているのだが、イマイチ使い勝手がよく無さげなので、別の Wiki システムを探ってみた。内部的にUTF-8を使ってて、編集の履歴が見れて、そんなやつが良い。

MoinMoin が結構良さげなので移行してみた。

問題は MediaWiki に書き貯めた文書片を MoinMoin の形式に変換するのは手動では面倒である。

なので、ヘボイ変換ツールでも書いてみた。

ソースコード ~~WikiConverter20080316.zip~~

MediaWiki の書式で変換できるのは一部のみ(リスト、整形済みテキスト、テーブル)である。うまく行かない場合は、ソースコード内の convert.rb を変更する必要がある。というか、自前で変更しないと使い物にはならないかも。

CUIでは一行スクリプトや書捨てスクリプトがよく作られる。そいつのGUI版と考えれば、書捨てGUIもあっても良いと思う。β版でもα版でもなく、こいつはそんなもんだ。

まぁ、Cocoa / CoreData / WebKit 万歳と言う話かなぁ。

Wiki 書式の変換ライブラリってのはないのかぇ。。。。

Safari で REFERER を削除する Javascript

2008-03-15T16:32:00.000+09:00

普通のブラウザでリンクを辿ると、前のページのURIが次のページのリクエストにHTTP_REFERER として通知される。 Firefox / IE / Opera などのブラウザは拡張なりを入れれば、設定としてreferer を送らないことが出来る。また referer を削除するプロクシ経由でアクセスする方法もある。ただ、プロクシとは大げさな気がする。

私が常用している Safari では、ブラウザの設定として、referer を削除する機能はついてない気がする。

だらグル(だらだらGoogleで検索)してたら、良い情報があったので、ちょっと組み立ててみた。

全部のリンクのリファーラを抑制するのでなく、class属性が external になっているリンクのみに限定にしてみた。ソースをちょっとだけ書き換えればリファーラ抑制の条件は変えられる。

cutreferer.js

...
<script type="text/javascript" src="cutreferer.js"></script>
...
<a href="http://external.link" class="external">外部リンク</a>
...

Safari 2/Firefox 2/ IE6 で動作する。ただし Safari 2 のみブラウザ履歴のリストにゴミが残ってしまう。

Lightbox JS の効果を見て、HTMLソースにものすごい埋め込みとかが必要かと思ったが、属性一つだけなのをみて、ちょっと衝撃的だった、、、ので思いついてみた、、、。

参考

Greasemonkey とか GreaseKit 使えるともっと面白いかも

iPhone SDK on PowerMac G5 って動くのかぁ

2008-03-07T16:05:00.000+09:00

当ブログは全く今時の話題を書かない「端っこブログ」なのだが、iPhone SDK ベータを取り上げたい。

iPhone SDK は、Mac OSX 10.5.2 以降の Intel-Mac 上で動く。

はて、PowerPC 上では動か無いのかぁ。

Apple めぇ。

普通にインストールすると、iPhone 関連のパッケージはインストールされない。なので、以下のパケージを手動で追加する。 Xcode3.1があるディレクトリを指定する必要がある。

AspenDocumentation.pkg
AspenHostSideTools.pkg
AspenSDKHeadersAndLibs.pkg
AspenSimulatorPlatform.pkg
AspenSystemComponents.pkg
DeveloperDiskImage.pkg

と、適当にプロジェクトを作ってビルドするとPPCベースのバイナリが普通にできるようである。

シミュレーション用の互換ライブラリ群にはちゃんと PPC 用のコードも含まれている。

$ cd /Developer/Platforms/AspenSimulator.platform
$ cd ./Developer/SDKs/AspenSimulator1.2.sdk
$ cd ./System/Library/Frameworks/UIKit.framework
$ file UIKit
UIKit: Mach-O universal binary with 2 architectures
UIKit (for architecture ppc7400):   Mach-O dynamically linked shared library ppc
UIKit (for architecture i386):  Mach-O dynamically linked shared library i386

なんだろう？正式版では PowerPC でもサポートされるのだろうか？それとも削除されるのだろうか？

なんかまた端っこの話題でしたね。

追記(2008/07/22)

iPhone SDK の最終版が公開されていので、同様に試した。含まれているパッケージ名は Aspen ⇒ iPhone に変更になっているだけで、シミュレーション用の互換ライブラリも ppc 用も含まれている。

大きな違いは！！

Xcode のGUIから下記エラーが出て構築できなかった。。。

No architectures to compile for (ARCHS=ppc, VALID_ARCHS=i386).

どうも、GUIからは VALID_ARCHSが固定値になってるようである。実際、適当な設定をして xcodebuild コマンドをターミナルから直打ちすれば構築はでき、シミュレータでの動作確認ぐらいはできるようである。

Appleは、本格的に PowerPC 上での開発を縮小する意思表示なんだろうなぁ。。。

本当に残念だ。。。。Mac Pro への買い替え時なのかぁ！？

NFS サーバ側でUTF8 NFD ⇔ UTF8 NFC の変換はできるのか？

2008-03-05T17:35:00.000+09:00

MacOSX で Unicode が全面的にサポートされている。その中で一番分からないのは、ファイル名が UTF8 NFD (Normalization Form Decomposition) で正規化されていることである。詳しく言えば NFD をベースにした微妙に異なるルールらしい(1, 2)。その結果なのか知れないが UTF-8-MAC と呼ばれることが多い。

Linux 界隈でサポートされる UTF8 は NFC で正規化されると言われている。ただし、正規化処理が為された結果ではなく、専ら合成済みの文字のみを扱っている結果として、UTF-8 NFC なんだと思う。 Windows とおんなじ理由と思う。

根拠は全くない。

Linux というより上位のフレームワーク／アプリケーション(Gnome,KDE 等)の扱いの問題なんだと思う。

UTF8 の正規化の問題は、Samba や netatalk では対応が進んでおり、運用上問題が出ないレベルまで押さえ込むことができるそうなぁ。

NFS に関しては、どっかで議論されている?だろうが、一般的な運用まで下りてきていない。

現状は、

MacOSX はファイル名を UTF-8-MAC にして、NFSサーバに送っている。
一般的な NFS サーバは、ファイル名の変換を行わずに、ローカルなファイルシステムに送る。
ローカルなファイルシステムも、ファイル名の変換を行わず、ディスクに記録される。
MacOSX が作成したファイル名は UTF-8-MAC (NFD) で正規化されており、UTF8 NFC と異なるバイト列だった場合、Linux のNFSクライアントで不整合が発生する。

ローカルな記録をUTF-8-MAC に変えたり、NFS は諦めたり、MacOSX の対応が進まないか祈ってみたり、四苦八苦である。

NFSの実験

どうしたもんかなぁと思いつつ、ちょっとだけ実験することにした。

NFSサーバに以下の機能があればいいのかなぁ

クライアントからのファイル名をUTF8 NFC に正規化する。
クライアントに応じて、正規化方法を選択して、ファイル名をその正規化をして返す。

NFS のファイル名は変換しても大丈夫なんだろうか？とか疑問だが、一番最低限の実装を作ってみた。

検証するNFSサーバの実装は unfs3 を使う。従って、NFSv3 が対象。
NFS プロトコールのみで、NFS の MOUNT プロトコールは手をつけない。
NFD <=> NFC の変換は、かなの濁音・半濁音に限定する。
クライアントの区別をせずに常に変換する。
NFD => NFC の変換が行われるのは、LOOKUP / CREATE / MKDIR / SYMLINK / MKNOD / REMOVE / RMDIR / RENAME / LINKの引数内のファイル名とSYMLINKの引数内のシンボリックデータ。
NFC => NFD の変換が行われるのは、READDIRの返答内のファイル名。

unfs3-0.9.20.utf8mac-20080305.patch.txt

検証方法

LinuxではカーネルベースのNFSを使いつつ検証が出来するのが通なんだろうなぁ。

サーバ側(fserver)でパッチを当てた unfs3 のバイナリを作っておく。

# UNFSD=/usr/src/unfs3-0.9.20.utf8mac/unfsd   <-- パッチ済みバイナリ
# EXPORTS=/etc/exports_test                   <-- テスト用の exportsファイル
# ${UNFSD} -d -u -p -n 44000 -m 44100 -e ${EXPORTS}

/etc/exports_test

/export/share 192.168.0.23(rw,no_root_squash)

MacOSX 側(192.168.0.23)でマウント

# mkdir /Volumes/unfs
# sudo mount -omountport=44100,port=44000 fserver:/export/share /Volumes/unfs

結び

濁点・半濁音だけだが変換が行われて、MacOSX から普通に扱える。。。

まぁ、いろいろ試したいことが思い浮かぶので、ちまちま実験していくかなぁ。

ブログのテーマを変更してみた

2008-03-02T09:11:00.000+09:00

typo のテーマファイルをちょっと弄くって、可変幅で表示できるようにしてみた。

Safari/Firefox/IE6 で同じ表示にしたつもりだが、所々おかしいかもしれない。

CSS のUA依存の動作が結構多いのはゲンナリする。細かいノウハウを蓄積しないと対応できないが、、、なんだかなぁ。

Typo を 5系列にする

2008-02-27T03:41:00.000+09:00

気がついてみたら、typo 5.0.2 が出ていたので更新してみた。

ほんとに呆気なく出来てしまった。。。

まず rails 1.2.x から rails 2.x への更新

# gem update -y

rails と typo の最新版がgemパッケージがインストールされる。 gem が複数のバージョンを同時に使えるので、ほとんど typo 4 運用中でも実行できる。。。本当かぁ！すげ。

で、typo 4 から typo 5 への更新

$ typo_dir=~/typo                  # 運用中のディレクトリ
$ typo stop ${typo_dir}
$ typo install ${typo_dir}
...
暫く、ファイルのコピーやら削除やら、データベースの更新やらのメッセージ
...
Starting Typo on port XXXX
...

で最後に、管理画面にログインすると、再度データベースを更新する趣旨のボタンがでる。なので、こいつを押して、完了。

操作性は殆ど変わらない。ただ、typo 4 では sitealizer というアクセス解析ツールが含まれていたが、それが無くなってしまった。。。

ついでなので画像ファイルを Flickr へ移行してみたら、Lightbox JS と絡めて簡単使える拡張タグがあり結構 typo のサポートが良い。

他のブログシステムか、他の企業が提供してるブログに乗り換えようかと思ったが、もうちょっと typo を使い続けてみようかなぁ。

Leopard 上の NSTreeController は挙動不審？

2008-02-23T05:22:00.000+09:00

Leopard において NSTreeController の挙動が素直でない現象に出くわした。 Tiger で同じバイナリは素直な動作をするので、バグなのか、仕様の変更なのか。。。さっぱいり分からない。

途中まで Tiger 上で開発して放り投げておいたものを、Leopard 上で再開した途端、地雷原に突っ込みまくっている。。。

でだ、問題は NSTreeController は、childrenKeyPath の先のモデルを、Array として扱うのか、Set として扱うのか？

簡単なサンプルを作ってみた。

~~MoiView.zip~~

モデルに Core Data を使わずにNSMutableDictionary を使い、newObject/newChildObject で単純な初期を行う。このとき children には NSMutableArray のインスタンスを割り当てている。
NSTreeController と NSOutlineView を一般的な binding をしてある。
五つのボタンのそれぞれのアクションに、NSTreeController のadd:/addChild:/addInsert:/addInsertChild:/remove: を接続して、同時に、それぞれのボタンの enabled に canXXX をbindingする。
別のボタンに、NSTreeController に rearrangedObjects を実行するアクションを接続する。
こちの挙動の対処の有無のチェックボックスをつける。

トップレベルに追加(add:)や挿入(insert:)を沢山した後、rearrangedObjects を呼び出しても、項目の順序は変化しない。これは、Tiger でも Leopard でも同じ。

トップレベルよりしたの階層で、追加(add:/addChild:)や、挿入(insert:/insertChild:)を沢山した後、rearrangedObjects を呼び出すと、項目の順序は変化しないはずなのだが、僕のLeopard の環境では変化する。

再現性もある。モデル上では insert:はadd:として、insertChild:はaddChild:として振る舞う。。。

でだ、問題は insertObject:atArrangedObjectIndexPath:でも同じように、モデル上では indexpathで指定された階層の最後尾に追加される。。。

ビューとモデルでは違うのは分かるが、Core Data を使わずに適当なクラスを使っているのだから、childrenKeyPath の先を Array として扱って、挿入位置もモデルに反映してほしいのだが、、、。

~~困った。仕様なのか、バグなのか、環境なのか、分からん。~~ 最初の話だが、childrenKeyPath の先は、Core Data のエンティティを使う場合は Set であり、クラスを使う場合は出来る限りArray であると思うのだが、違ったのか？ ~~まぁ、抜け道はあるから良いのだけども。そのうち、なんか出てくるかぁ。~~

追記 (2008/06/21)

MacOSX 10.5.3 になって直ぐには確認していないので、どの時点で改良されたか分からないが、近々の最新状態で確認したところ、insert系のビューとモデルの操作の奇妙な差異が改善された。

どうもバグだったらしい。

要求条件が「MacOSX 10.5.3 以上」とか見るが、どうもこれらの原因なのかなぁ。。。

よきことかなぁ。

PowerPC 上の Leopard で Virtual PC 7 を動かす

2008-02-22T22:58:00.000+09:00

公式に Virtual PC は Leopard 上では動作保証外になっている。

まぁ、使えないのかと思っていたが、インストールとか起動とかできるようである。Leopard で使うならば、自己責任で、文句言うなということらしい。

動作時に気になるは、VirtualPCNetworing1040.kext というアイコンがVPCの起動に伴ってぽこっと出てきてしまう。

この動作を押さえるためには、/Library/Extensions/VirtualPCNetworking1040.kext/Contents/Info.plist に次のエントリを加えれば良いらしい。

<key>LSUIElement</key>
    <string>1</string>

当分、動くのかなぁ。

Cocoa Binding の canAdd はいつ呼ばれるのか？

2008-02-20T23:11:00.000+09:00

NSArrayController/NSTreeController の canAdd/canInsert が呼ばれるタイミングが、素直ではないような気がする。

仕様なのだろうか？

canRemove や canAddChild/canInsertChild などは、それぞれのコントローラの選択(selection)が変化した毎に呼ばれる。

canAdd/canInsertも同じようなタイミングで呼ばれると思うのだが、呼ばれない、、、何故！

素直な期待を満たす動作にするためには、それぞれの派生コントローラを作って、KVOを使って下記のようにしてみた。

@interface CustomController : NSArrayController {  
}
@end

@implementation CustomController

- (void)awakeFromNib
{
    [self addObserver:self
           forKeyPath:@"selection"
              options:0 context:nil];
}

- (void) observeValueForKeyPath:(NSString *)keyPath
                   ofObject:(id)object
                     change:(NSDictionary *)change
                    context:(void *)context
{
    if ([keyPath isEqualToString:@"selection"]) {
        [self willChangeValueForKey:@"canAdd"];
        [self didChangeValueForKey:@"canAdd"];
        [self willChangeValueForKey:@"canInsert"];
        [self didChangeValueForKey:@"canInsert"];
    }
    [super observeValueForKeyPath:keyPath ofObject:object change:change context:context];
}
@end

setKeys:triggerChangeNotificationsForDependentKey:を使っても同じことが出来ると思うが、同じ動作は実現できなかった、、、canAdd/canInsert は Controller Key だからなのかぁ。そもそも canRemove はどうしてるのだろうかぁ、、、

全く分からん。

気付いてみると 5インチFDD は終焉してたのかぁ

2008-02-19T00:53:00.000+09:00

２年くらい前 TEAC の自販サイトで FD-55GFR の新品で入手可能だったが、今は自販サイト自体無くなっており、完全に入手不能になっていた。

サポート終了日は 2007.6.30 なので、そのちょっと前に在庫が尽きたのだろう。

かなり遅れたが、ご苦労さん、5inch FD。

3.5インチFDDは無くなるのは何時だろう。

MacOSX 10.5.2 で AFP の Kerberos 認証がおかしい？

2008-02-18T06:34:00.000+09:00

更新して 10.5.2 にして以来か分からないが、AFPの共有の認証がうまく機能しなくなってしまった。

パケットをみる限り、AFPクライアントからKerberos認証が行われた形跡がない、、、どうもその前後で NetAuthAgent が落ちているのも気になる。

分からん。
そのうち直るんかいなぁ。

追記 (2008/03/19)

昨日公開された Security Update 2008-002 当ててみたところ、NetAuthAgent が落ちる現象は無くなって、Finderがフリーズ気味の症状は無くなった。

しかし、完全に AFP+Kerberos認証は無効になってしまった。

10.5.1: AFP-Client+Kerberos認証が問題なく機能
10.5.2: AFP-Client+Kerberos認証が機能しない、かつNetAuthAgent が落ちる。Finder がフリーズ気味
10.5.2 + Security Update 2008-002: AFP-Client+Kerberos認証が機能しない。NetAuthAgent は安定。Finder もフリーズもしない

次の更新を乞うご期待！？かぁ、、、。

追記 (2008/05/29)

10.5.3 が出たので、更新したところ、状況は変わらない。。。

もう少し調べたところ

Finderの「サイドバー」の「共有」のエントリからアクセスした場合、Kerberos 認証は行われない。
Finder のメニュー「サーバへ接続」でサーバアドレス「afp://servername」を指定した場合、可能ならば Kerberos認証が行われる。
ゲスト認証ができないサーバに対して、2. の方法でマウントした場合、「サイドバー」からのアクセスとアンマウントの時に、頻繁にFinder がフリーズする。。。
上記の 2. の方法でマウント済みのボリュームがあるサーバの別のボリュームは、1./2. の両方で Kerberos 認証が使われる。

要するに、Finder がAFP共有の一般的なKerberos認証(LKDCでない奴)での接続を想定していない？扱えてない？のが原因らしい。

えっと、Finder のバグ？かなぁ

対処療法としては、ファイルサーバはゲスト認証+Kerberos認証を有効にして、未マウントのサーバに対しては Finderのメニュー「サーバへ接続」を使えば良いらしい。

また次の更新を。。。

Open Directory の設定のまとめ 2008Q1

2008-02-18T05:55:00.000+09:00

Leopard Server をサーバに利用しようと思えば、なんとか出来る。去年だけど、いっぱい書いたのでちょっと纏めてみた。

祝 Leopard Server げっと、、、10日後

認証

NFS/自動マウンタ

netatalk

メールの Null クライアント

Nullクライアントでメールを集める - exim4編

2008-02-18T05:48:00.000+09:00

Debian 標準のMTAは exim4 なので、コイツにも Null クライアントの設定をしてみましょう。あの exim4 の設定ファイルはなんと言うか、マクロ言語をまじめに実装せんでもいいのに、、、

インストール直後は「ローカル配信のみ」になっている。

「スマートホストでメール送信; ローカルメールなし」に変更
mail name/visible domain name に example.com
smarthost にMail Hub のホスト名にleopard.example.com

に変更する。

# debconf-show exim4-config | grep ^*
* exim4/dc_smarthost: leopard.example.com
* exim4/mailname: example.com
* exim4/dc_local_interfaces: 127.0.0.1
* exim4/dc_minimaldns: false
* exim4/dc_other_hostnames:
* exim4/dc_eximconfig_configtype: mail sent by smarthost; no local mail
* exim4/dc_readhost: example.com
* exim4/use_split_config: true

これで、ローカルもリモートも Mail Hub に送られることになる。

EXPOSED_USER を実現？

root ユーザのヘッダ送信者/ヘッダ受信者のみにホスト名を残すには、ちょっとした細工が必要である。

独自 rewrite ルールを付け加える。
「設定ファイルを小さなファイルに分割」に設定
mail name/visible domain name に host.example.com

その独自 rewrite ルールファイルは次の通り

/etc/exim4/conf.d/rewrite/50_exim4-config_nullclient_rewriting

root@+local_domains *           frt
*@+local_domains    $1@example.com  Efrst

、、、ただ、あまりお勧めしない。

詳細は eximの配布元のドキュメントを参照かなぁ。

追記

Open Directory の設定のまとめ 2008Q1

Nullクライアントでメールを集める - postfix編

2007-12-12T22:52:00.000+09:00

これから先はメールサーバを管理しようと思う人ならば、sendmail は捨てて postfix から始めた方がよい。

そのうち新人の管理者が、

「sendmailってなんすか」

「むかしのあれっすね。骨董品ですよ。はぁはぁ」

とか言う時代が来るんだろうなぁ。

気落とさずにpostfixに対して Null クライアントの設定をしよう。

postfix のNullクライアント設定

設定の内容は

smtp 接続はループバックにのみで、リモートアクセスさせない。
ローカルで受ける宛先ドメインを空にする。
ローカル以外宛先のメールを、Mail Hub にリレーする。
アドレスのドメイン部分に対して$mydomain へのマスカレードを行う。
マスカレードの対象は、エンベロープ送信者、ヘッダ送信者、エンベロープ受信者、ヘッダ受信者の全て。

/etc/postfix/main.cf

inet_interfaces = loopback-only
myhostname = host.example.com
mydomain = example.com
myorigin = $myhostname
mydestination =
relayhost = $mydomain

masquerade_classes =  envelope_sender,header_sender,envelope_recipient,header_recipient
masquerade_domains = $mydomain

これで、sendmail の EXPOSED_USERが空の場合と同じになる。

postfix で EXPOSED_USER を実現？

sendmail の EXPOSED_USER と同じことを行うにはどうすればよいのか？

EXPOSED_USER で指定したユーザがマスカレード対象を除外されるのは、ヘッダ送信者／ヘッダ受信者の変換のみのようである。実際の挙動とcf で変換した sendmail.cf をざっと見た限りそう思う。

どこにも一次情報が見当たらない。。。だから嘘かもしれない。

postfix で、masquerade_exceptions にユーザを追加すると、エンベロープ送信者／エンベロープ受信者の変換も除外になるので、ちょっとだけ追加の設定が必要である。

/etc/postfix/main.cf

...
masquerade_exceptions = root
virtual_alias_maps = regexp:/etc/postfix/virtual_regexp

/etc/postfix/virtual_regexp

/^root@.+\.example\.com$/ root@example.com

これで、ヘッダ部分のFrom:/To:でのみ root@host.example.com 形式のまま残るようになる。

ただ、無理して sendmail と同じ動作するようにする必要は無いかも。

追記

存在しないホストでも変換してしまう。

user@host.example.com -> user@example.com
user@ZZZ.example.com -> user@example.com

postfix の masquerade_domains 設定はちょっと外向きのメールサーバには向かないなぁ。。。

追記

Open Directory の設定のまとめ 2008Q1

Nullクライアントでメールを集める - sendmail編

2007-12-12T01:07:00.000+09:00

OpenDirectory で認証を一元管理すると、個別のホストにメールスプールがある必要は無く、一カ所のドメインの Mail Hub に集めるのがよい。このとき、個々のホストのメールサーバの設定は、Null クライアントと呼ばれる。

Leopard Server をドメインの Mail Hub にするには次の設定を必要がある。ただ、実際には GUI ツールの「サーバ管理」で対応する項目を変更する。

DNSサーバで、ドメイン名に対してMXレコードを設定する

example.com IN MX 10 leopard.example.com
ドメイン名を mydestination に追加する

/etc/postfix/main.cf

...
mydomain = example.com
...
mydestination = ... $mydomain
...

今まで認証してきたOSのNullクライアントの設定をしよう。

Sendmail の設定

伝統的にほとんどのシステムのデフォルトになっている。設定ファイル sendmail.cf を直に編集するには骨が折れるので、簡便に設定できる cf (?) のソース設定ファイル sendmail.mc を使うのが要である。

OS	sendmail	cfの場所	OSTYPE	DOMAIN
RedHat 6.2	8.11.6	/usr/lib/sendmail-cf	linux	generic
RedHat 7.2	8.11.6	/usr/share/sendmail-cf	linux	generic
RedHat 7.3	8.12.11.20060308	/usr/share/sendmail-cf	linux	generic
RedHat 8	8.12.8	/usr/share/sendmail-cf	linux	generic
RedHat 9	8.12.11.20060308	/usr/share/sendmail-cf	linux	generic
Fedora Core 1	8.12.11.20060308	/usr/share/sendmail-cf	linux	generic
Fedora Core 2	8.12.11.20060308	/usr/share/sendmail-cf	linux	generic
Fedora Core 3	8.13.1	/usr/share/sendmail-cf	linux	generic
Fedora Core 4	8.13.7	/usr/share/sendmail-cf	linux	generic
Fedora Core 5	8.13.8	/usr/share/sendmail-cf	linux	generic
Fedora Core 6	8.14.1	/usr/share/sendmail-cf	linux	generic
Fedora7	8.14.1	/usr/share/sendmail-cf	linux	generic
Fedora8	8.14.1	/usr/share/sendmail-cf	linux	generic
CentOS 4.x	8.13.1	/usr/share/sendmail-cf	linux	generic
CentOS 5.x	8.13.8	/usr/share/sendmail-cf	linux	generic
FreeBSD 6.2	8.13.8	/usr/share/sendmail/cf	freebsd6	generic
NetBSD 3.1	8.13.5.20060614	/usr/share/sendmail	bsd4.4	generic
Solaris8	8.11.7p3+Sun	/usr/lib/mail	solaris8	solaris-generic
Solaris9	8.13.8+Sun	/usr/lib/mail	solaris8	solaris-generic
Solaris10	8.13.8+Sun	/etc/mail/cf	solaris8	solaris-generic

取り敢えず、今日の時点の最新パッチを当てたり、当てなかったりの状態なので、異なって場合もある。

sendmail.mc の設定

/etc/mail/sendmail.mc

include(`/usr/share/sendmail-cf/m4/cf.m4')
OSTYPE(`linux')
DOMAIN(`generic')
# 上の３行は、システムに応じて変更
FEATURE(`no_default_msa')
FEATURE(`nullclient', `example.com.')
DAEMON_OPTIONS(`Port=smtp,Addr=127.0.0.1, Name=MTA')

Null クライアント設定で、エンベロープ／ヘッダの発信者／受信者ともに example.com ドメインにマスカレードする。ただし、ヘッダの発信者／受信者のrootユーザのみ除外される。 (rootも対象にする場合、generic.m4 ファイル内の EXPOSED_USER を変更すればよい)。かつ、リモートアクセスを受けない。

sendmail.cf の生成

m4 を使って生成する。 Solarisだと companionパッケージのGNU m4を使った方(/{opt,usr}/sfw/bin/gm4)がよい。

# ${M4} /etc/mail/sendmail.mc > /etc/mail/sendmail.cf

sendmail の起動

RedHat/Fedora/CentOS/Solaris8/9の場合

# /etc/init.d/sendmail restart

FreeBSD 6.2

# grep sendmail /etc/rc.conf
sendmail_enable="YES"
# /etc/rc.d/sendmail restart

NetNSD 3.1

# grep sendmail /etc/rc.conf
sendmail=YES
# /etc/rc.d/sendmail restart

Solaris10の場合

# svccfg -s sendmail setprop config/local_only=false
# svcadm refresh sendmail
# svcadm restart sendmail

メールの配送確認

これで、root, 一般ユーザ, 不明ユーザでメールを出して、戻されること無くMail Hub 内で処理されればよい。

# date | mailx -s Test root
# date | mailx -s Test user
# date | mailx -s Test unknown

追記

Open Directory の設定のまとめ 2008Q1

OpenDirectory で自動マウンタのマップ

2007-12-06T22:50:00.000+09:00

自動マウントのマップを提供するのは Open Directory に限らず一般的なLDAPサーバのお話になる。

Open Directory で使うのに留意するのは２点のみである。

利用できる LDAP schema は２種類である。
1. automountMap/auotmount (rfc2307bisに記載があるもの)
2. nisMap/nisObject (rfc2307に定義されている)
エントリの置き場所は、cn=automountMap,<basedn> の下が推奨

今まで、Open Directory で認証できたOSのために、マップ情報を提供してみた。

ただし、amdは除く、、、

前提

Open Directory にユーザの認証情報がある。
ユーザのホームディレクトリは、/home/fileserver/usernameの形式にする。
fileserver はDebian/Linux etch の普通のNFSサーバである。
NFSv3/NFSv4 で共通のエクスポートポイントで、/export/home を公開している。
sec=sys/krb5/krb5i/krb5pのセキュリティモードにも対応してる。

本当は、sec=sys を切り捨てたいが、未だにNFSv3でsec=sysのみでの対応しかできないクライアントがまだまだある。。。

2 に関しては、ホームディレクトリ直上のディレクトリが間接マップだと、MacOSX の Finder が正しくホームディレクトリを扱えない場合があるためで、特にファイルサーバ名でなくグループ名でも構わない。

MacOSX 10.5.x 用

ファイルベースのauto_master/auto_home は既にあり、同時にNIS or LDAP への参照のエントリが書かれている。なので、auto_home にエントリを追加すればよい。

dn: automountMapName=auto_home,cn=automountMap,dc=example,dc=com
objectClass: automountMap
objectClass: top
automountMapName: auto_home

dn: automountKey=fileserver,automountMapName=auto_home,cn=automountMap,dc=example,dc=com
objectClass: automount
objectClass: top
automountInformation: fileserver:/export/home
automountKey: fileserver

Solaris 8〜10 用

Solaris8/9 は NFSv3 で、 Solaris10 は NFSv4 がデフォルトになるが、/etc/default/nfs で変更ができる。サーバ側でNFSv3/NFSv4 両方の対応ができているが、sec=krb5i ありでマウントできるようにしたい。。。なぁ。

そのために、auto_master マップ名をauto_master_solaris別名で参照する設定をしたので、こいつにオプションを付加して対応する。

dn: automountMapName=auto_master_solaris,cn=automountMap,dc=example,dc=com
objectClass: automountMap
objectClass: top
automountMapName: auto_master_solaris

dn: automountKey=/home,automountMapName=auto_master_solaris,cn=automountMap,dc=example,dc=com
objectClass: automount
objectClass: top
automountInformation: auto_home -sec=krb5i
automountKey: /home

Linux autofs 5.x 用

未だに主流にならない autofs 5.x はどこに行く。。。

マップ名は既にauto.master であり別名化しなくてもよい。LDAP schema は automountMap/automount(rfc2307bis) を選択する。(CentOS/Fedora系では/etc/sysconfig/autofs とかで設定)。

/home エントリは、auto_home を再利用し、同時に NFSv4 と sec=krb5i を利用するようにする。

dn: automountMapName=auto.master,cn=automountMap,dc=example,dc=com
objectClass: automountMap
objectClass: top
automountMapName: auto.master

dn: automountKey=/home,automountMapName=auto.master,cn=automountMap,dc=example,dc=com
objectClass: automount
objectClass: top
automountInformation: ldap:auto_home -fstype=nfs4,sec=krb5i
automountKey: /home

Linux autofs 3.x, 4.x 用

未だにこっちの方(CentOS4, etchとか)が多いのか？！

3.x, 4.x と通して共通の設定にするには

LDAP schema は nisMap/nisObject
autmount情報は古い形式(ldap:host:basedn)で書く必要がある。
NFSv3 で、セキュリティフレーバなし。

が必要なので、auto.master/auto.home をnisMap/nisObject として登録する。

dn: nisMapName=auto.master,cn=automountMap,dc=example,dc=com
objectClass: nisMap
objectClass: top
nisMapName: auto.master

dn: nisMapName=auto.master,cn=automountMap,dc=example,dc=com
objectClass: nisObject
objectClass: top
cn: /home
nisMapEntry: ldap:auth.home.moimoitei.jp:nisMapName=auto.home,cn=automountMap,dc=example,dc=com
nisMapName: auto.master

dn: nisMapName=auto.home,cn=automountMap,dc=example,dc=com
objectClass: nisMap
objectClass: top
nisMapName: auto.home

dn: nisMapName=auto.home,cn=automountMap,dc=example,dc=com
objectClass: nisObject
objectClass: top
cn: fileserver
nisMapEntry: fileserver:/export/home
nisMapName: auto.home

ちょっと、無理し過ぎかも。

追記

Open Directory の設定のまとめ 2008Q1

OpenDirectory で Solaris8〜10を認証

2007-12-02T19:32:00.000+09:00

物好きで Solaris8から入手していたので設定してみた。

Solaris 8 + Admin Pack(SEAMのサーバとか？)
Solaris 9
Solaris 10

とりあえず、全部最新パッチを当ててある。

追加パッケージ

Solaris 8 には、標準で SSH が含まれていないので、Freeware for Solarisから入手してインストールする。

Solaris8

# sudo pkgadd -d libgcc-3.4.6-sol8-x86-local
# sudo pkgadd -d zlib-1.2.3-sol8-x86-local
# sudo pkgadd -d libintl-3.4.0-sol8-intel-local
# sudo pkgadd -d libiconv-1.11-sol8-x86-local
# sudo pkgadd -d openssl-0.9.8f-sol8-x86-local
# sudo pkgadd -d openssh-4.7p1-sol8-x86-local

SunFreeware の openssh は GSSAPI が有効になって構築されていない。Admin Pack の SEAM の中の SUNWkr5sv に kerberozied telnetd があるので、とりあえず入れとく。 telnetdはいまさらなので要らないかも。

Solaris9/10 のSSHは、Sun の手によるGSSAPIのサポートが組込まれているので、標準のものを使うようにする。

Kerberos5 設定

Solaris 8-10 は、MIT Kerberos のカスタムバージョンが使われているが、設定ファイルはほぼ同じ。

/etc/krb5/krb5.conf

...
[libdefaults]
    default_realm = EXAMPLE.COM
...
[realms]
    EXAMPLE.COM = {
        kdc = leopardserver.example.com:88
        admin_server = leopardserver.example.com:749
    }
...
[domain_realm]
    .example.com = EXAMPLE.COM
    example.com = EXAMPLE.COM
...

Solaris8-9ではデフォルトで利用できる暗号化タイプが少なく des-cbc-crc:normal に限定したプリンシプルの鍵を作成する。

Solaris8-9 のkadminは利用できる暗号化タイプのみに限定して keytab に保存ができない(ktaddの-eオプションが使えないみたい)ので、OpenDirectory があるマシン上で生成した方がよい。

Solaris8まではKerberozied NFS を利用する場合のNFSクライアント側で使うものは nfsプリンシプルではなくrootプリンシプルなので、こちらを生成する。

# kinit -p diradmin
Authenticating as principal diradmin with password.
Password for diradmin@EXAMPLE.COM:
kadmin:  addprinc -randkey host/solaris8.example.com@EXAMPLE.COM
kadmin:  addprinc -randkey root/solaris8.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/solaris8.keytab -e des-cbc-crc:normal host/solaris8.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/solaris8.keytab -e des-cbc-crc:normal root/solaris8.example.com@EXAMPLE.COM
...
kadmin:  addprinc -randkey host/solaris9.example.com@EXAMPLE.COM
kadmin:  addprinc -randkey nfs/solaris9.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/solaris9.keytab -e des-cbc-crc:normal host/solaris9.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/solaris9.keytab -e des-cbc-crc:normal nfs/solaris9.example.com@EXAMPLE.COM
...
kadmin:  addprinc -randkey host/solaris10.example.com@EXAMPLE.COM
kadmin:  addprinc -randkey nfs/solaris10.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/solaris10.keytab host/solaris10.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/solaris10.keytab nfs/solaris10.example.com@EXAMPLE.COM

それぞれのマシンの /etc/krb5/krb5.keytab にコピーする。

時間の同期がとれてるかは要確認。

LDAP の設定

手動で設定する方法をとる。

XX.XX.XX.XX は Open Directory があるマシンのIPアドレス
auto_master マップに関しては、Solaris限定のマップ auto_master_solaris を参照するように変更する。

Solaris8

# ldapclient -v -i \
-d example.com \
-b "dc=example,dc=com" \
-a none \
-o 60 \
-s one \
-S passwd:cn=users,?one \
-S group:cn=groups,?one \
-S automount:cn=automountMap,?one \
-S auto_master:automountMapName=auto_master_solaris,cn=automountMap,?one \
XX.XX.XX.XX

Solaris9-10

# ldapclient -v manual \
-a domainName=example.com \
-a defaultSearchBase="dc=example,dc=com" \
-a defaultServerList=XX.XX.XX.XX \
-a credentialLevel=anonymous \
-a authenticationMethod=none \
-a bindTimeLimit=60 \
-a searchTimeLimit=60 \
-a defaultSearchScope=one \
-a serviceSearchDescriptor=passwd:cn=users,?one \
-a serviceSearchDescriptor=group:cn=groups,?one \
-a serviceSearchDescriptor=automount:cn=automountMap,?one \
-a serviceSearchDescriptor=auto_master:automountMapName=auto_master_solaris,cn=automountMap,?one

ここまでやると nsswitch.conf のほとんどのエントリが ldap を見るようになる。でも、対応するレコード群がないので困ったモード全開になってしまう。

NSSの設定

Solaris 8-10

/etc/nsswitch.conf

...
passwd:     files ldap
group:      files ldap
...
hosts:      files dns
...
automount:  files ldap
...
<それ以外のエントリに含まれる ldap は削除>
...

これで Open Directory 上のユーザ情報が見えれば良し。

PAMの設定

ユーザのパスワードのタイプが「暗号化パスワード」のみの運用では、何もする必要が無さそうである。。。ここら辺事情はどうも分からん。

Solairs の PAM は１つのファイルに全部の設定が列挙されている。必要なサービスで変更が必要であるが、雑多なのでloginとother に限って設定例として上げる。

Solaris8-10

/etc/pam.conf

...
login   auth sufficient         pam_krb5.so.1 use_first_pass
login   auth required           pam_unix_auth.so.1
...
other   auth sufficient         pam_krb5.so.1 use_first_pass
other   auth required           pam_unix_auth.so.1
...
login   account required        pam_unix_account.so.1
login   account optional         pam_krb5.so.1
...
other   account required        pam_unix_account.so.1
other   account optional         pam_krb5.so.1
...
other   session required         pam_unix_session.so.1
other   session optional          pam_krb5.so.1
...

取り敢えず、pam_unix_* 前後ののそれぞれに pam_krb5 を入れ込むようにする。。。でいいと思う。パスワード変更はいまいち分からんので放っとく。

GSSやらnfssecやらの設定

Kerberozied NFS が利用できるように、

/etc/nfssec.conf の krb5/krb5i/krb5p のコメントアウト部分を外す。
/etc/gss/mech の kerberos_v5 のコメントアウト部分を外す。
/etc/gss/gsscred.conf で、files 指定にする。
何のためか分からんが gsscred -m kerberos_v5 -a を実行しとく。

Solaris10 が使うNFSのバージョンが気になる場合は /etc/default/nfs で変更する。

以上。

何となく、認証できたり、ホームディレクトリがautomountしたり、、、だなぁ。

$ telnet -f solaris8
Trying 172.30.2.23...
Connected to solaris8.example.com.
Escape character is '^]'.
[ Kerberos V5 accepts you as ``user@EXAMPLE.COM'' ]
[ Kerberos V5 accepted forwarded credentials ]
Last login: Sun Dec  2 22:22:03 from xx.xx.xx.xx
% klist
チケットキャッシュ: /tmp/krb5cc_5000
デフォルトプリンシパル: user@EXAMPLE.COM

有効開始時間                       期限切れ                       サービスプリンシパル
Sun Dec 02 22:22:26 2007  Mon Dec 03 07:21:28 2007  krbtgt/EXAMPLE.COM@EXAMPLE.COM
        更新時間(迄) Sun Dec 09 21:21:28 2007
Sun Dec 02 22:22:26 2007  Mon Dec 03 07:21:28 2007  nfs/fileserver.exmaple.com@EXAMPLE.COM
        更新時間(迄) Sun Dec 09 21:21:28 2007
% /sbin/mount
...
/home/fileserver on fileserver:/export/home remote/read/write/setuid/sec=krb5i/dev=2f80006 on Sun Dec  2 22:16:36 2007
....
$ ssh solaris9
Warning: No xauth data; using fake authentication data for X11 forwarding.
Last login: Sun Dec  2 21:45:30 2007 from xx.xx.xx.xx
Sun Microsystems Inc.   SunOS 5.9       Generic January 2003
....
$ ssh solairs10
....

あぁ、後でautomount 用のレコードもちょっと残しておこう。

追記

Open Directory の設定のまとめ 2008Q1

auto_master と auto.master の違い

2007-11-29T13:14:00.000+09:00

auto.master / auto_master など、アンダーライン’_’とドット’.’だけ異なるautomount のマップ名が表記されることがある。

Linux の autofs では、ドットの名前にこだわったり、Solaris とかのドキュメントを読むとアンダーラインの名前だったり、どんな違いがあるのだろうか？

又聞きの話だと、NISからNIS+の移行時に、NIS+ではドット文字が特殊な意味を持つので、auto.masterからauto_masterに変更になったらしい。(例,1,2)

Linux ではNIS+サーバが実装されなかったのもあり、’.’->’_’の変更が行われずにそのままになったらしい。

Linux の automount の情報は他とは微妙に違うので、別々にできるのも、そのままになっている理由かもしれない。

OpenDirectory で FreeBSD/NetBSDを認証

2007-11-28T16:59:00.000+09:00

なんかシリーズ化して申し訳ないが、とりあえず設定してみた。

FreeBSD 6.2-Release + ports (portsnap使って最新？)
NetBSD 3.1 + pkgsrc-2007Q3

OpenBSD はPAMでは無くBSD_AUTH とかいう仕組みを使っており、かつ NSS に当たるものが見当たらないので、ちょっと諦めた。

ただ、３つともにはKerberos 5 認証は組み込まれている。。。不思議だ。

追加パッケージ

FreeBSD 6.2-Release

# cd /usr/ports/net/nss_ldap
# make install clean
...
# cd /usr/ports/security/pam_ldap
# make install clean
...

NetBSD 3.1

# cd /usr/pkgsrc/databases/nss_ldap
# make install clean
...
# cd /usr/pkgsrc/security/pam-ldap
# make install clean
...

Kerberos5 設定

FreeBSD/NetBSDともに KTH Heimdal Kerberos 5 が使われているのが、設定ファイルに関してはほぼ流用できる。

/etc/krb5.conf

...
[libdefaults]
    default_realm = EXAMPLE.COM
...
[realms]
    HOME.MOIMOITEI.JP = {
        kdc = leopardserver.example.com:88
    }
...
[domain_realm]
    .example.com = EXAMPLE.COM
    example.com = EXAMPLE.COM

Open Directoryに使われているのは MIT Kerberos なので FreeBSD/NetBSD 上の kadmin は使えない。適当なマシンで keytab を作成してコピーする。

# kinit -p diradmin
Authenticating as principal diradmin with password.
Password for diradmin@EXAMPLE.COM:
kadmin:  addprinc -randkey host/freebsd.example.com@EXAMPLE.COM
kadmin:  addprinc -randkey host/netbsd.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/freebsd.keytab host/freebsd.example.com@EXAMPLE.COM
kadmin:  ktadd -k /tmp/netbsd.keytab host/netbsd.example.com@EXAMPLE.COM
...
/tmp/freebsd.keytab, /tmp/netbsd.keytab をそれぞれのマシンの/etc/krb5.keytabにコピー
...
freebsd# chmod 600 /etc/krb5.keytab
freebsd# ktutil list
FILE:/etc/krb5.keytab:

Vno  Type              Principal                                      
  3  des3-cbc-sha1     host/freebsd.example.com@EXAMPLE.COM
  3  arcfour-hmac-md5  host/freebsd.example.com@EXAMPLE.COM
  3  des-cbc-crc       host/freebsd.example.com@EXAMPLE.COM

時間の同期がとれてるかは要確認。

LDAP の設定

LDAP用のPAM/NSS モジュールは、Linux でよく使われている PADL Software Pty Ltd のものなので、完全に同じ設定ファイルが使える。(参照OpenDirectory で Debian系を認証の/etc/ldap.conf)

FreeBSD 6.2-Release

# scp ubutnu71s:/etc/ldap.conf /tmp/ldap.conf
# cp /tmp/ldap.conf /usr/local/etc/ldap.conf
# cp /tmp/ldap.conf /usr/local/etc/nss_ldap.conf

NetBSD 3.1

# scp ubutnu71s:/etc/ldap.conf /tmp/ldap.conf
# cp /tmp/ldap.conf /usr/pkg/etc/pam_ldap.conf
# cp /tmp/ldap.conf /usr/pkg/etc/nss_ldap.conf

NSSの設定

FreeBSD 6.2-Release

/etc/nsswitch.conf

group: files ldap
hosts: files dns
networks: files
passwd: files ldap
shells: files

NetBSD 3.1

/etc/nsswitch.conf

group:          files ldap
hosts:          files dns
netgroup:       files
networks:       files
passwd:         files ldap
shells:         files

これで Open Directory 上のユーザ情報が見えれば良し。

PAM の設定

ユーザのパスワードのタイプが「Open Directory」でのみの運用であれば、/etc/pam.d/system の pam_krb5 をコメントアウトを外してやれば良い。

「暗号化パスワード」も使う場合は pam_ldap を追加する。

FreeBSD 6.2-Release

/etc/pam.d/system

# auth
auth            sufficient      pam_opie.so             no_warn no_fake_prompts
auth            requisite       pam_opieaccess.so       no_warn allow_local
auth            sufficient      pam_krb5.so             no_warn try_first_pass
auth            sufficient      /usr/local/lib/pam_ldap.so no_warn try_first_pass
#auth           sufficient      pam_ssh.so              no_warn try_first_pass
auth            required        pam_unix.so             no_warn try_first_pass nullok

# account
account         required        pam_krb5.so
account         required        pam_login_access.so
account         required        pam_unix.so

# session
#session        optional        pam_ssh.so
session         required        pam_lastlog.so          no_fail

# password
password        sufficient      pam_krb5.so             no_warn try_first_pass
password        sufficient      /usr/local/lib/pam_ldap.so no_warn try_first_pass
password        required        pam_unix.so             no_warn try_first_pass

NetBSD 3.1

/etc/pam.d/system

# auth
auth            sufficient      pam_krb5.so             no_warn try_first_pass
auth            sufficient      /usr/pkg/lib/security/pam_ldap.so no_warn try_first_pass
auth            required        pam_unix.so             no_warn try_first_pass nullok

# account
account         required        pam_krb5.so
account         required        pam_unix.so

# session
session         required        pam_lastlog.so          no_fail no_nested

# password
password        sufficient      pam_krb5.so             no_warn try_first_pass
password        sufficient      /usr/pkg/lib/security/pam_ldap.so no_warn try_first_pass
password        required        pam_unix.so             no_warn try_first_pass

ただし、両方のOSともに /etc/pam.d/sshd は上記に設定をincludeしていないので、同様な変更が必要。

try_first_pass よりも use_first_pass を混ぜる方が好みだが、、、BSD 系はこうなんだろうなぁ。

accountタスクにpam_ldapを使ったエントリを加えると、何故かパスワードを変えろとかプロンプトが出るんだが、なんか設定が足らんかも。。。

amd の設定

FreeBSD/NetBSD ともに amd は標準の配布に含まれているが、ldap マップタイプが使えるようには構築されていない。また、amd の ldap 実装で使われる ldap schema は Open Directory には含まれていない。なので、素直にファイルベースのものを使う。。。

そのうちAutoFS on FreeBSD 6が入ってくるのかなぁ。。。

FreeBSD 6.2-Release

/etc/rc.conf

...
rpcbind_enable="YES"
amd_enable="YES"
amd_flags="-F /etc/amd.conf"
...

NetBSD 3.1

/etc/rc.conf

...
rpcbind=YES
amd=YES
...

FreeBSD 6.2-Release/NetBSD3.1 両方

/etc/amd.conf

[ global ]
browsable_dirs = no
restart_mounts = yes
unmount_on_exit = yes
log_file = syslog
#log_options = all
auto_dir = /amd

map_type = file
mount_type = nfs
search_path = /etc

dismount_interval = 60

[ /home ]
map_name = amd.home

/etc/amd.home

/defaults       opts:=rw

fileserver        type:=nfs;rhost:=${key};rfs:=/export/home

/amd ディレクトリが無ければ作成。

追記

Open Directory の設定のまとめ 2008Q1

FreeBSD でコケる。でも立ち上がる。

2007-11-26T22:35:00.000+09:00

向学のために VMware 上に FreeBSDをインストールしてみていたが、amd の設定で不明なエラーが出て詰まっていた。

# /etc/rc.d/amd start
# amq
amq: localhost: RPC: Port mapper failure - RPC: Unable to send
# dmesg
...
nfs send error 49 for server pid473@freebsd:/home
nfs server pid473@freebsd:/home: not responding
...

Google先生に聞くと、そんな例が出てくるが、結局うやむやに解消されている、、、。

ふと気付いた。

ホスト名を指定すると、amqがマトモな返事を返してくれる！

# amq -h freebsd
/      root    "root"         freebsd:(pid473)
/home  toplvl  /etc/amd.home  /home

熟考の結果、ループバックインタフェースにIPv4のアドレス127.0.0.1が付いていなかった。。。

# ifconfig lo0
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
    inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
    inet6 ::1 prefixlen 128

原因はインストール直後のネットワーク設定をテキトウに書いたため。

/etc/rc.conf

...
network_interfaces="lo0 lnc0"
...

設定を変更して、再起動。。。ちゃんと動く。。。ばかぁ

Ubuntuサーバー版って

2007-11-26T16:08:00.000+09:00

Ubuntuサーバー版って Web 系とかの個々のノードサーバ用なんだ。。。

OpenDirectory で Debian系を認証

2007-11-26T14:05:00.000+09:00

Debian系は認証設定のツール群が充実していない。結局は設定ファイルを直に編集するのが近道になる。Debian Policy Manualを見る限り、ローカルユーザとNISなりLDAPなり外部由来ユーザの区別が無い。。。何だが X っぽい。

Ubuntu 7.10 リリース記念なので、こいつの Server 版を、Leopard Server にぶら下げてみた。

参考 OpenDirectory で Feodra/CentOSを認証

追加パッケージ

# apt-get install libnss-ldap libpam-ldap
# apt-get install libpam-krb5 krb5-user
# apt-get install libpam-cracklib
# apt-get install portmap nfs-common autofs-ldap

Kerberos 5 設定

/etc/krb5.conf

...
[libdefaults]
    default_realm = EXAMPLE.COM
...
[realms]
    HOME.MOIMOITEI.JP = {
        kdc = leopardserver.example.com:88
        admin_server = leopardserver.example.com:749
    }
...
[domain_realm]
    .example.com = EXAMPLE.COM
    example.com = EXAMPLE.COM
...

これでKerberos5関連のコマンドが有効に機能するので確認するついでに、host/nfsプリンシパルを作成しとく。

# kinit -p diradmin
Authenticating as principal diradmin with password.
Password for diradmin@EXAMPLE.COM:
kadmin:  addprinc -randkey host/ubuntu71s.example.com@EXAMPLE.COM
kadmin:  addprinc -randkey nfs/ubuntu71s.example.com@EXAMPLE.COM
kadmin:  ktadd host/ubuntu71s.example.com@EXAMPLE.COM
kadmin:  ktadd -e des-cbc-crc:normal nfs/ubuntu71s.example.com@EXAMPLE.COM
# klist -k -e
keytab name: FILE:/etc/krb5.keytab
KVNO Principal
---- --------------------------------------------------------------------------
   3 host/ubuntu71s.example.com@EXAMPLE.COM (Triple DES cbc mode with HMAC/sha1)
   3 host/ubuntu71s.example.com@EXAMPLE.COM (ArcFour with HMAC/md5)
   3 host/ubuntu71s.example.com@EXAMPLE.COM (DES cbc mode with CRC-32)
   3 nfs/ubuntu71s.example.com@EXAMPLE.COM (DES cbc mode with CRC-32)

うまく行かない場合、ネットワーク設定や時間同期を見直す。

LDAP 設定

Debian/etch の libnss-ldap/libpam-ldapの設定ファイルは、別々になっているが、特に分ける必要がないので、シンボリックリンクを張っとく。

# ln -sf /etc/ldap.conf /etc/libnss-ldap.conf
# ln -sf /etc/ldap.conf /etc/pam_ldap.conf

ldap の設定では、ホスト名ではなくIPアドレスを直に設定する。 (XX.XX.XX.XXがleopardserverのアドレス)

/etc/ldap.conf

host XX.XX.XX.XX
uri ldap://XX.XX.XX.XX/
base dc=example,dc=com
ldap_version 3
port 389
#bind_policy [hard|soft]
bind_policy soft

#binddn cn=proxyuser,??,dc=example,dc=com
#bindpw secret
#rootbinddn ???

ssl no
#ssl [no|on|start_tls]
#tls_cacertfile /etc/openldap/cacert
#tls_cacertdir /etc/openldap/cacerts
#tls_checkpeer yes
#tls_ciphers [SSLv2|SSLv3|TLSv1]
#tls_cert mycert
#tls_key mykey

timelimit 60
bind_timelimit 60
idle_timelimit 300

####
scope one

nss_schema rfc2307
nss_base_passwd cn=users,?one
nss_base_shadow cn=users,?one
nss_base_group  cn=groups,?one
nss_base_hosts  cn=machines,?one

pam_password exop
#pam_filter objectclass=account
pam_login_attribute uid
pam_check_host_attr no
pam_check_service_attr no

NSSの設定

/etc/nsswitch.conf

passwd:         files ldap
group:          files ldap
shadow:         files ldap

hosts:          files dns
networks:       files

protocols:      files
services:       files
ethers:         files
rpc:            files

netgroup:       ldap

automount:  files ldap

これで Open Directory 上のユーザ情報が見えれば良し。

PAMの設定

pam の設定は管理者の数だけ書き方があるのだが、2点を留意して設定する。

Linux-PAM の独自の制御フィールド構文を使わない。
Debian 系の独自パッチにあまり依存しない。(特に、@include文ってなに？)

管理の簡便性のため、/etc/pam.d/common-* の設定ファイルは /etc/pam.d/system に纏めておく。

# echo "auth include system" > /etc/pam.d/common-auth
# echo "account include system" > /etc/pam.d/common-account
# echo "password include system" > /etc/pam.d/common-password
# echo "session include system" > /etc/pam.d/common-session

/etc/pam.d/system

#
# /etc/pam.d/system - authentication settings common to all services
#

# account
account sufficient  pam_unix.so
account sufficient  pam_krb5.so
account sufficient  pam_ldap.so
account required    pam_deny.so

# auth
auth    sufficient  pam_unix.so nullok_secure
auth    sufficient  pam_krb5.so use_first_pass
auth    sufficient  pam_ldap.so use_first_pass
auth    required    pam_deny.so

# password
password required   pam_cracklib.so retry=3 minlen=6 difok=3
password sufficient pam_unix.so use_authtok nullok md5
password sufficient pam_krb5.so use_authtok
password sufficient pam_ldap.so use_authtok
password required   pam_deny.so

# session
session required    pam_unix.so
session optional    pam_krb5.so
session optional    pam_ldap.so

ただし、他のサービスでのcommon-auth/common-account/common-password の取り込み位置がそれぞれのauth/account/passwordタスクエントリの最後になるように調節する必要がある。

autofs の設定

Debian etch / Ubuntu 7.10 は、まだautofs ver 4.x 系なので、rfc2307bisで定義されている automountMap/automountオブジェクトクラスは使えない。従って、nisMap/nisObject オブジェクトクラスのレコードを Open Directory 上に登録しておく必要がある。

/etc/default/autofs

...
LDAPURI=ldap://XX.XX.XX.XX
...
LDAPBASE="dc=example,dc=com"
...

追記

Open Directory の設定のまとめ 2008Q1

年越しそばと初詣は絶対に欠かせない

Ant を使って Android アプリを構築する

build.xml の作成

パスワードの自動入力

リリース apk パッケージのファイルのカスタマイズ

まとめ

参照

Cocoa Emacs 23 構築 (2011/06版)

MacOSX で Zen Touch 2 (Android2.2)を開発端末にしてみる

追記 (2011/11/06)

iOS の View Controller の lifecycle の図

Android の Activity のlifecycleの図

Google提供の python ライブラリで Google Reader API を使ってみた

インストール

Google Reader 用の下準備と認証

未読件数を取得

すべてのラベルを取得

ラベルを指定して取得

未読を既読に変更

新しいフィードを登録

購読しているフィードを解除

参考

polipo + MacOSX で使う

Mail.app の備忘録から Evernote に移行する

参考URL

Google Chrome が吐き出すログをちょっとだけ片付ける

追記

MacOSXでRAMディスク上にブラウザのキャッシュを割り当てる

追記 (2010/11/06)

追記 (2010/12/23)

dotfiles を github に上げてみた

Squeeze に移行してみる

追記 (2011/02/12)

Linux SCSI Target Framework を使う

追記 (2010/09/06)

日本語 texi から栞付きPDFを生成する

texinfo.tex の日本語化

使い方

まとめ

Cocoa Emacs のフレームをSpaces のワークスペースの上下左右に飛ばす。

Quartz のなんか

Emacs.appの改造

まとめ

追記 (2010/06/16)

Emacs で文法チェック

Quick Start

警告エラー行の表示のカスタマイズ

check-syntaxターゲットルール

Makefileが無くてもC/C++の文法チェック

まとめ

追記 (2010/05/24)

追記 (2010/05/25)

追記 (2010/05/27)

Emacs Refcard 日本語版

まとめ

Cocoa Emacs が落ちる

Emacs23 の フォント設定

まとめ

追加 (2010/11/03)

NTEmacs 23.1.Xを使ってみる

設定

Homeディレクトリの指定

Cygwin 1.7と組み合わせる設定

IMEの設定 (04ime.el)

言語設定 (05lang.el)

VCS系の設定

まとめ

Cocoa Emacs 64bit版を作ってみる

ソースを取ってくる

パッチをあてる

構築する

定期的追っかける

追記 (2010/05/06)

追記 (2010/05/12)

libvirtd を終了時にGuestOSを保存する方法

VIA EPIA EN のその後

メモリのフリーページの調節

NIC ドライバの変更

まとめ

Blogger の「続きを読む」機能

Emacs23 のフォント設定