やってみました。
VMじゃないよ。実機です。
技術野郎じゃない方にも分かるように書くと、

• #はrootという管理者のこと
• rmはremove、削除コマンド
• -rf はディレクトリも強制的に消す
• / は一番根っこのディレクトリ

です。
OSは確かubuntuの10か11だったと思います。

気になる結果は…

マシン名はarigato(笑)

TF-IDFを使ってキーワードを選んでみた。

わけちの場合、以下になるのかな。
tf = ツイートの中のキーワード数(1ツイートに何度も同じ単語があることは少ないのでほとんど1でしょうね)
df = 今まで学習してきた全ツイート数のうち、キーワードを含むツイート数
N = 今まで学習してきた全ツイート数
 
単語の学習回数は何かに使うかもと取っておいたので、ちょっと誤差(1ツイートにキーワードが複数回あった場合)はあるだろうけどdfに使えそう。
学習したツイート数は覚えていなかったんだけど、1回の返信でどれが一番大きい値になるかを調べるだけなので適当な定数でいいだろう。

結果

過去のわけちのツイート＋リプライを食わせてみた。名詞しか対象にしていません。
★が一番値が大きい単語でキーワードとして使われます。

今日は焼酎に限る
tfidf=3.367295829986474 keyword(今日)
tfidf=6.8679744089702925 keyword(焼酎)★

何でこのテーブルゲームだけで下半身露出でしか聞いてはアルコール切れた。怪しい単語を覚え始めたなｗ
tfidf=7.181591944611865 keyword(テーブル)
tfidf=4.31748811353631 keyword(ゲーム)
tfidf=9.721125994942152 keyword(下半身)★
tfidf=6.675823221634848 keyword(露出)
tfidf=7.9291264873067995 keyword(アルコール)
tfidf=7.751475318021456 keyword(単語)

アコギ購入！何買ったの？
tfidf=9.721125994942152 keyword(アコギ)★
tfidf=6.118097198041348 keyword(購入)
tfidf=3.9512437185814275 keyword(何)

甲子園、観ます！気が早いな
tfidf=8.377241230988792 keyword(甲子園)★
tfidf=4.276666119016055 keyword(気)

昇格するぞ！わけちのsudo大作戦
tfidf=10.819778284410283 keyword(昇格)
tfidf=7.641564441260972 keyword(ちの)
tfidf=11.512925464970229 keyword(sudo)★

FF14って何でした？…そう言ってやるなよ＞＜　新生FF14に期待しようず。
tfidf=14.285654802323242 keyword(FF)★
tfidf=11.911674738929662 keyword(14)
tfidf=3.9512437185814275 keyword(何)
tfidf=9.114930187171524 keyword(新生)
tfidf=14.285654802323242 keyword(FF)★
tfidf=11.911674738929662 keyword(14)
tfidf=6.329720905522696 keyword(期待)

上の例だと100点だ！！

連結コスト(累積コスト)

MeCabはその形態素まで掛かったコスト、累積コストを返してくれます。
そこにいたるまでにかかったコストで、単語そのもののコストではありませんでした。
以前、MeCabのパラメータに関して調べたのに、ちゃんと理解していませんでした。
コストが低いほどよく使われる形態素。
コストが高い＝あまり使われない連鎖なので、キーワードとしてはダメな気がする…。
これを使うぐらいなら、単語の頻度が高いものを使うほう(現状)がまだ良さそうだ。
mwSoftさんの日本テレビ東京で学ぶMeCabのコスト計算がとても参考になりました。

TF-IDF

例のごとくgoogleると、wikipediaがトップに来て、マルコフ連鎖の計算式の意味が全くわからなかったの苦い記憶が甦ったのですが、なんとか僕でもおぼろげに理解できました(今見ると流石にちょっとわかるぞ！)。
僕のあんまりな感じの日本語で云々書くよりも、[を]形態素解析と検索APIとTF-IDFでキーワード抽出が凄く分かりやすい。
Twitter botの場合、N(Total number of documents)は学習したツイートの数かな？
現在の作りだと、正確なN、TF、IDFの値は求められないけど、近い値は求められそう。
これは試してみたい。

会社にある技術書はよく読むんだけど、この手のは自分で買って勉強しないから、よろしく無いな…。「入門 自然言語処理」が欲しいんだけど、高いんだもの…。

以上が僕の冬休みの宿題の結果でしたorz
他の大きなイベントというと釣りに連れてって貰ったくらいで、初詣や挨拶にもいかなかった。
あとは自炊して、お酒(しかも通販)飲んでたくらい…というダメ人間っぷりでしたが、しっかり休めた気がする。

迷い子を増やすだけかもしれないけど、僕の作業内容を書いておきましょう。
unixの基礎が分からないと、難しいかもしらん。

root化

何をするにも、まずはroot化が必要です。

準備

au IS01 rooter

au IS01 rooter アプリ本体(IS01root_002.apk)をインストールします。
このアプリはmarketにはありません。

Superuser

ChainsDDさん作。marketにもあるアプリなんですが、最新バージョンはうまく動きませんでした。su-2.3.6.1-cd-signedをインストールします。

adbの用意

ちょっと難しかったので、書いておきます。まずはjavaのインストール。

# apt-get install openjdk-6-jdk
# java -version
java version "1.6.0_18"
OpenJDK Runtime Environment (IcedTea6 1.8.3) (6b18-1.8.3-0ubuntu1~8.04.2)
OpenJDK Client VM (build 16.0-b13, mixed mode, sharing)

# wget http://dl.google.com/android/android-sdk_r15-linux.tgz
# tar xvzf android-sdk_r15-linux.tgz
# cd android-sdk-linux/tools/
# ./android update sdk -u
(長時間掛かります)

platform-toolsの下にadbが作られます。
パスを通して置くのがいいでしょう。

VirtualBoxからUSBでつないだIS01が見えるようにするには、デバイス＞USB＞IS01を選択する必要があります。

# adb devices
List of devices attached
SSHEY013198	device

devicesで認識していることを確認。

root取得

au IS01 rooterを起動し、指示にしたがって進めていきます。
step1ではエラーが出ますが、それで正常だそうです。
指示に従ってstep2, step3を実行。
動作確認。

adb shell
su
#

#はroot(管理者権限、何でもできる)のことですね。
参考:mobilehackerz

文鎮化対策

バックアップの作成とリカバリ領域を作成します。
ちゃんと書こうかと思ったけど、遙かデジタリアへ:IS01のバックアップとrecovery_kit導入を見たほうが、僕が書くよりわかりやすそうだったので割愛。
僕は素に戻せるように、カスタムカーネルではなく、バックアップしたboot.imgをリカバリ領域に作成しました。
文鎮化してもいいって人も、後々recovery_kitは必要になりそうなので、やったほうが無難。

それにしてもrecovery_kitのメニューに行くタイミングがシビアすぎます…

Android2.3化

やっとここまで来ました。あともう少しです。
ここまでの説明がsourceforgeにないからみんな迷うんですよ…ｗ

Android 2.3 (Gingerbread) for SHARP IS01をダウンロードします。
2011/11現在、シェルスクリプトに誤りがある(と思う)ので、注意。
つまづいたらforumを覗いてみるいいです。

権限が飛んだりするのでunix環境(※)でやるのが一番ですが、面倒過ぎる。
僕は、windowsにadbが入っていたので、cygwinでやりました。おすすめはしません。
adb(android SDK)にパスを通して置くこと。
※例えば、virtual boxをにubuntuを入れて、android sdkを入れて、adbにパスを通して…とか。

以下に修正したシェルスクリプト(#kaibaの後が僕の修正)をのせておきます。
権限が飛んでしまったようなので、chmodしています。
シェルスクリプトを叩いてもいいですが、途中でエラーが起きても止まらないので、一つ一つ手で叩くのをおすすめします。

#!/bin/bash
adb kill-server
adb start-server
adb shell mount_data
adb shell mount_system

adb shell busybox rm -rf /data/data_ginger
adb shell busybox rm -rf /data/system_ginger

adb shell busybox rm -rf /data/android/gingerbread

adb shell busybox mkdir -p /data/android/gingerbread/system
adb shell busybox chown 1000.1000 /data/android/
adb shell busybox chown 1000.1000 /data/android/gingerbread
adb shell busybox cp -Rp /system2/lib /data/android/gingerbread/system/lib
adb shell busybox cp -Rp /system2/bin /data/android/gingerbread/system/bin
adb shell busybox cp -Rp /system2/etc /data/android/gingerbread/system/etc
adb shell busybox cp -Rp /system2/usr /data/android/gingerbread/system/usr

adb shell busybox mkdir -p /data/android/gingerbread/data
adb shell busybox cp -Rp /data/misc /data/android/gingerbread/data

#adb push system/ /data/android/gingerbread/system/
#kaiba
adb push system /data/android/gingerbread/system

adb push app/gapps-gb-20110120-signed/system /data/android/gingerbread/system
#adb push app/app/ /data/android/gingerbread/system/app
#kaiba
adb push app/app /data/android/gingerbread/system/app

adb push busybox /data/android/gingerbread/system/bin/busybox
adb shell busybox chmod 777 /data/android/gingerbread/system/bin/busybox

adb shell toolbox setprop persist.sys.timezone Asia/Tokyo

#kaiba
adb shell busybox chmod 755 /data/android/gingerbread/system/bin/*

adb push GBkernel.img /data/recovery/GBkernel.img
adb shell 'flash_image recovery /data/recovery/GBkernel.img'
adb reboot recovery

起動！

IS01 series
↓
recovery_kit
↓
暗転
↓
IS01 series
↓
ANDROID_ (首を左に傾けながら)
↓
ANDROIDロゴ (首を左に傾けながら)
↓
起動 (首を左に傾けながら)

となれば大成功。

やったね〜。

しかし…

(追記:2011/12/10 unix環境でやったらうまくいきました)
いざ、wifiに繋ごうと、アクセスポイントのパスワードを入力してもDHCPからのIPアドレスの取得でループしてしまう…。
wifiに繋げないIS01など、やはりメガネケースだ…。
(cygwin使ったのがよくなかった…?)
今後に淡く期待すると共に、僕も勉強がてら(勉強になるかわからんが…)見てみようかな。

しかしその2

Android1.6ではインストールできなかったあれやこれやをインストールするぞ！と、ストアに駆けこんで見ると…

お使いの端末はこのアイテムに対応していません。
orz
apkを別途持ってきてインストールすると「インストールされていません」とか言われてインストール出来ない！
adb install でも Failure [INSTALL_FAILED_MISSING_FEATURE]。
orz

感想

2.3のIS01を触ってみると、起動直後は縦横逆になっちゃったりするけど、意外とスムーズに動く。
今やAndroid端末は両手足で数えられない位たくさんありますが、IS01みたいにコテコテにカスタマイズしたものよりも、Androidそのまんまでいいから速やかに最新のOSにアップデートできて、最新のアプリをインストールできることの方が重要なんじゃないかな？
でも「アップデートってなんですか？」って人も沢山いるんですよね…。

• 業務(＝営利目的)
• ソースコードを公開できない
• 著作権表示は可
• ライブラリ自体には改変を加えない

なソフトウェアで、どうすれば使用できるのか、です。
ウェブアプリやスマフォアプリでどうすれば使用できるのか？　です。
ライセンスの中身にまではあまり触れません。

備考、不明点

実行出来る状態は配布には当たらないが、納品は配布に当たる？

※この記事はライセンスに詳しくない僕が調べながら書いています。鵜呑みにしないように。
※間違いがあれば是非ご指摘ください！

GNU General Public License(GPL)

このライセンスのライブラリを使用したプログラムもGPLでないといけない。
GPLとして、ソースコードを公開しないとダメ。
超有名なライブラリだし、使っても平気でしょ！　なんて気楽な気持ちで使うと、ソースコードを公開しろ！と大騒ぎになったりする。
icoのソースコード見たいです。

GNU Lesser General Public License(LGPL)

リンクされることを許容するところが、GPLに比べてLesser.

Affero General Public License(AGPL)

GPLベース。
Webアプリとして実行出来る状態は配布に当たらないが、それを禁じるためのもので、ネットワークユーザーに対して、完全なソースコードを提供可能にしておくことを要求する。

BSD License

ライブラリの著作権表示および本許諾表示を残せば、ソースコードを公開せずに使える。

MIT License

BSD似。
ライブラリの著作権表示および本許諾表示を残せば、ソースコードを公開せずに使える。

Apache License2

Apache Licenseのコードが使われていることを知らせる文言を表示すれば、ソースコードを公開せずに使える。

CreativeCommons

あまりソフトウェアで使われているのはみない?
本家の解説が凄く分かりやすい。

BY

原作者のクレジット(名前、タイトル、URL)を表示を義務付ける。

SA

改変した場合には元の作品と同じCCライセンスを義務付け、公開されている必要がある。

NC

非営利の使用のみ

ND

改変禁止。

WTFPL (Do What The Fuck You Want To Public License)

勝手にしやがれ！

Public Domain

著作権が消失した状態にあるもの。
ライセンスじゃないけど…。

以下のエラー。
UnsatisfiedLinkErrorなんて初めて見た。
なんだか色々言われているけど、メモリ不足？
ReservedCodeCacheSizeを増やせばいいのかな？

OpenJDK Client VM warning: CodeCache is full. Compiler has been disabled.
OpenJDK Client VM warning: Try increasing the code cache size using -XX:ReservedCodeCacheSize=
Failed to instantiate [ch.qos.logback.classic.LoggerContext]
Reported exception:
java.lang.UnsatisfiedLinkError: /usr/lib/jvm/java-6-openjdk/jre/lib/i386/libnet.so: /usr/lib/jvm/java-6-openjdk/jre/lib/i386/libnet.so: failed to map segment from shared object: Cannot allocate memory
        at java.lang.ClassLoader$NativeLibrary.load(Native Method)
        at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1750)
        at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1667)
        at java.lang.Runtime.loadLibrary0(Runtime.java:840)
        at java.lang.System.loadLibrary(System.java:1047)
        at sun.security.action.LoadLibraryAction.run(LoadLibraryAction.java:67)
        at sun.security.action.LoadLibraryAction.run(LoadLibraryAction.java:47)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.InetAddress.<clinit>(InetAddress.java:234)
        at ch.qos.logback.core.util.ContextUtil.getLocalHostName(ContextUtil.java:30)
        at ch.qos.logback.core.util.ContextUtil.addHostNameAsProperty(ContextUtil.java:39)
        at ch.qos.logback.classic.joran.action.ConfigurationAction.begin(ConfigurationAction.java:47)
        at ch.qos.logback.core.joran.spi.Interpreter.callBeginAction(Interpreter.java:273)
        at ch.qos.logback.core.joran.spi.Interpreter.startElement(Interpreter.java:145)
        at ch.qos.logback.core.joran.spi.Interpreter.startElement(Interpreter.java:127)
        at ch.qos.logback.core.joran.spi.EventPlayer.play(EventPlayer.java:40)
        at ch.qos.logback.core.joran.spi.Interpreter.play(Interpreter.java:332)
        at ch.qos.logback.core.joran.GenericConfigurator.doConfigure(GenericConfigurator.java:126)
        at ch.qos.logback.core.joran.GenericConfigurator.doConfigure(GenericConfigurator.java:93)
        at ch.qos.logback.core.joran.GenericConfigurator.doConfigure(GenericConfigurator.java:52)
        at ch.qos.logback.classic.util.ContextInitializer.configureByResource(ContextInitializer.java:77)
        at ch.qos.logback.classic.util.ContextInitializer.autoConfig(ContextInitializer.java:150)
        at org.slf4j.impl.StaticLoggerBinder.init(StaticLoggerBinder.java:85)
        at org.slf4j.impl.StaticLoggerBinder.<clinit>(StaticLoggerBinder.java:55)
        at org.slf4j.LoggerFactory.bind(LoggerFactory.java:121)
        at org.slf4j.LoggerFactory.performInitialization(LoggerFactory.java:111)
        at org.slf4j.LoggerFactory.getILoggerFactory(LoggerFactory.java:268)
        at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:241)
        at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:254)
        at com.pokosho.bot.AbstractBot.<clinit>(AbstractBot.java:32)
com.pokosho.PokoshoException: java.lang.IllegalArgumentException: Tokenizer Class: net.java.sen.ja.JapaneseTokenizer is invalid.
        at com.pokosho.bot.AbstractBot.<init>(AbstractBot.java:54)
        at com.pokosho.bot.twitter.TwitterBot.<init>(TwitterBot.java:59)
        at com.pokosho.bot.twitter.TwitterBot.main(TwitterBot.java:301)
Caused by: java.lang.IllegalArgumentException: Tokenizer Class: net.java.sen.ja.JapaneseTokenizer is invalid.
        at net.java.sen.StringTagger.init(StringTagger.java:158)
        at net.java.sen.StringTagger.<init>(StringTagger.java:95)
        at net.java.sen.StringTagger.getInstance(StringTagger.java:133)
        at net.java.sen.StringTagger.getInstance(StringTagger.java:100)
        at com.pokosho.bot.AbstractBot.<init>(AbstractBot.java:52)
        ... 2 more
OpenJDK Client VM warning: Attempt to allocate stack guard pages failed.

同じくお困りの方を見つけた。真似る。

root@pokosho:~# cat /proc/meminfo
MemTotal:       786432 kB
MemFree:        521992 kB

root@pokosho:~# sysctl kernel.shmmax
kernel.shmmax = 33554432

# vi /etc/sysctl.conf
kernel.shmmax = 134217728

root@pokosho:~# sysctl kernel.shmmax
kernel.shmmax = 134217728

run!

Error occurred during initialization of VM
Could not reserve enough space for object heap
Could not create the Java virtual machine.

orz

-Xmx128m

にして、無事動きました、とさ。

急に動かなくなったのは、単語の量が増えてきたからかな？
次同じ事態になったらお掃除を考えねばならないかもしれないな。

上記以上にわかりやすい説明を書ける自信が無いので、やったことをつらつらと書く。

DB

こんなテーブルで大丈夫か？
wordが単語のテーブルで、chainが連鎖のテーブル。

学習

夏目漱石先生のBL小説「こころ」を学習させようと思っていたのですが、想像以上に時間が掛かったので、以下を学習。

• 吉野屋コピペ
• ルイズコピペ
• 別れたいコピペ

テラカオスｗ

結果

• ハースーハー！スーハー！あぁああああああああああ！！！はぁあああああああ…小説もアニメ2期決まってこったいだけちゃうんかと思ったら、１５０円だよ、ボケが。これが、大恥かくでしょうう！ルイズたんかわいかった時の俺から店員に来て欲しい・・
• からその席空けろと次からその席空けろと信号待ちで並ばれたよケティ！！！あ、コミックのルイズぅぅぅうがｗｗ
• バーベキューとかで迎えにこられた時なんか垂れ幕下がっててったら・・・もうね、近所のかとかもアニメもいるし。一家４人で吉野家か。これ。これ。ボケがいる！あぁぁぁあ、コミック2巻のルイズへ届け！
• だけなんっ！髪髪髪モフモフ！カリカリモフモフ…きゅいやっほぉおおおおお！モフモフしたいお！！
• でノコノコついてっ！！！僕を見たらなんかやめ…きゅんきしょーな。一家４人で来るわけじゃない。
• ああああああああ…世の中まだまだ捨てた時の想いよケティ！！
• ゅい！！コミックなんて現実じゃないんです！
• ！！う！！！
• だと信号待ちで、よく見たら、隣の奴といつ喧嘩が、大恥かくでしょう！！ちきゅいやっほぉおおお！！僕に話しかけてるぞー、だ。そん代わり肉が少なめ。これ。問い詰めたいのか書いて良かったいだけちゃうんかと。小１５０円やるからその席空けろと。もう見てらんないやっほぉおおおおおめでてもおかしくない、だ。おめでてー、とかで迎えにこられた時なんか垂れ幕下がっててーなんです！

テラカオスｗ
まだまだお馬鹿だな。
ようやくbot界のスタートラインに立ったってとこですかね…。

その他、感想

言語はJava、DBはMySQL、ORマッパにActiveObjects、形態素解析にSenを使いました。
ついでにサクッ！と使えそうなDBを覚えてみよう！　と思ってHSQLDB(とH2)を試してみたんだけど、MySQL育ちの僕には、SQLの構文の違いがきつかった…。
ORマッパのHibernateもCoC(テーブル定義に従ってコードを書くことでテーブル設定のファイルが要らない)らしいので、使ってみたい。

準備

• sen
• ipadic → dic/ipadic-2.7.0.tar.gz に設置。
• ant
• cygwin(or perl?)
• java

設定

やることは一つ。
入力はeuc-jp、出力はutf-8。

conf/sen.xml, conf/sen-processor.xml

<charset>utf-8</charset>

dic/dictionary.properties

dic.charset=EUC_JP
sen.charset=utf-8

dic/build.xml

<property name=”ipadic.version” value=”2.7.0″/>

build

ant -Dperl.bin=/usr/bin/perl

テストコード

うまく張れなかったので省略。

結果

東京に行ったら東京特許許可局に行きたい。

東京(名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー)
に(助詞,格助詞,一般,*,*,*,に,ニ,ニ)
行く(動詞,自立,*,*,五段・カ行促音便,連用タ接続,行く,イッ,イッ)
た(助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ)
東京(名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー)
特許(名詞,サ変接続,*,*,*,*,特許,トッキョ,トッキョ)
許可(名詞,サ変接続,*,*,*,*,許可,キョカ,キョカ)
局(名詞,接尾,一般,*,*,*,局,キョク,キョク)
に(助詞,格助詞,一般,*,*,*,に,ニ,ニ)
行く(動詞,自立,*,*,五段・カ行促音便,連用形,行く,イキ,イキ)
たい(助動詞,*,*,*,特殊・タイ,基本形,たい,タイ,タイ)
。(記号,句点,*,*,*,*,。,。,。)

入らない件について…

…というおきまりの冗談はここまでにして、IS01を買いました。
うーむ、高解像度だ。モックみたいだ。

新規0円 + 事務手数料。4GBのmicroSDも付いてきた。
早速SIMは抜き去り保証書と一緒にしまっておいたので、8円/月 x 24 = 192円コースが始まった。

Androidアプリを作るぞー！
その前に、僕はiPhoneアプリを作ってAppStoreに出したい。
毎晩ちびちび進めています。
今は調べ物の段階なので、得意なjavaで実験中。

ところで、こんな値段で大丈夫か？
本当に大丈夫か？
いや、大丈夫な訳がない。
ちゃんとした値段で頼む。