pomu0325

Titanium Salesforce module(SalesForce Toolkit for Appcelerator)の使い方 (2)

2011-12-18T01:05:00.004+09:00

前回のサンプルアプリをちょっと時間が経ってから動かしてみると、

[ERROR] In the error handler looking for a 401, and have a 401

[ERROR] Handleing the 401 error...

とかエラーが出てしまい動きません…

force.comからOAuth2で取得したaccess tokenには有効期限があるのでrefresh tokenを使って再度取得する必要があるのですが…そこが動作していないようです。
※force.comのOAuthについて詳しくはこちらで

エラーのコールバックも呼んでくれないので有効期限切れたかどうかも検出できず…

なんとかhackできないかと、こんな感じでモジュールの中身をダンプしてみます。

var FDC = require('com.salesforce');
for (var i in FDC.ForceOAuth) {
 Ti.API.debug(i + ':' + FDC.ForceOAuth[i]);
}

最終的にREST APIの呼び出しはここに来るようです。

[DEBUG] makeRestCall:function (path, callback, error, method, payload, retry) {var restUrl=Ti.Network.decodeURIComponent(fa.instanceUrl)+'/services/data'+path;var xhr=Ti.Network.createHTTPClient();xhr.onload=function(){Ti.API.info("REST Response: "+this.responseText);var data="";if(this.responseText){data=this.responseText;}

callback(data);};xhr.onerror=function(e){Ti.API.error("XHR, error handler..."+"\nDbDotCom.REST.OAuth.refreshToken: "+fa.refreshToken+"\nretry: "+retry+"\n e: "+e.error+"\nXHR status: "+this.status);if(!fa.refreshToken||retry){error(e.error);}else{Ti.API.error("In the error handler looking for a 401, and have a "+xhr.status);if(xhr.status===401){Ti.API.error("Handleing the 401 error...");exports.refreshAccessToken(function(oauthResponse){Ti.API.error("Refresh response... "+oauthResponse);fa.makeRestCall(path,callback,error,method,payload,true);},error);}else{Ti.API.error("Not a 401 error, re-throwing...");error(e);}}};if(fa.usePostBin===true){restUrl="http://www.postbin.org/135onm5";}

xhr.open(method||"GET",restUrl,true)

Ti.API.info("Rest url: "+restUrl);xhr.setRequestHeader("Authorization","OAuth "+Ti.Network.decodeURIComponent(fa.accessToken));xhr.setRequestHeader("Content-Type","application/json");xhr.send(payload);}

出てるログから、exports.refreshAccessToken()の呼び出しの中でエラーが起きてコールバックまで戻って来ないようです。

よく考えたら、OAuth2のrefresh tokenによるaccess token再取得時にはclient secretが必要なはずなのに、モジュールのパラメータなどでどこにもセットしていないのでrefreshできるわけないですね… 未実装なんでしょうか？

ダンプしたソースを参考に、こんな感じでhackしてみました。
※モジュール内で定義されてるobjectのプロパティは動的に書き換えられない？＆スコープ的にアクセスできない変数があったので結構無理矢理

使い方は、requireした後にこのファイルをincludeしてパッチを当て、ForceOAuthの代わりにForceOAuth2を使うようにします。ForceOAuth2.openのパラメータにはclient idとclient secretを渡す様にします。

var FDC = require('com.salesforce');
Ti.include('fdc-patch.js');
FDC.ForceOAuth2.open('CLIENT_ID', 'CLIENT_SECRET');

パッチしたポイントは2つ。refreshAccessTokenをclient secretを使用して動作する様にしたのと、REST APIのパスの固定部分に /data が含まれていたのを /apexrest が呼べる様に /services までとしたこと。

Winter '12でリリースされたApex RESTを使って公開したAPIのURLは、$instance_url/services/apexrest/... となるので、FDC.ForceOAuth2.makeRestCall('/apexrest/myapi', callback) の様な感じで使える様になります。

marketplaceのモジュールのページには、"This toolkit is maintained by the community and sponsored by salesforce.com. Salesforce.com does not officially support this product."とか書いてあるんですが、パッチとか提供したい場合どこに連絡すればいいんでしょうか… githubとかにソース上がってればforkするのに…

この記事はForce.com Advent Calendar 2011に参加しています。

Titanium Salesforce module(SalesForce Toolkit for Appcelerator)の使い方

2011-12-08T02:31:00.000+09:00

最近、Titanium Mobileでforce.comのREST APIを使用したiPhoneアプリを作ってます。

Titanium Mobileについての基本的な知識やTitanium Studioの使い方はある程度知ってる前提で書いているので、Titaniumについて知りたい方は「Titanium Mobileで作る！ iPhone／Androidアプリ」などを参考にどうぞ。

Titaniumにはmarketplaceがあり、ソフトウェア部品としてのモジュールや、アプリのテンプレートなどをダウンロードできます（有償のもアリ）。
うまいこと目的に合ったモジュールを見つけて利用すれば開発スピードは向上する…はず…

Salesforce用のモジュールも用意されているので、今回の開発にはこれを利用しました。が、ドキュメントが大して無かったりで取っ掛かり苦労したのでメモとして残しておきます。

今回は、モジュールを使うまでの準備と、サンプルコードの実行まで。

まずはモジュールのダウンロードと設定

marketplaceへログイン後、https://marketplace.appcelerator.com/apps/836からSalesforce用モジュールをダウンロードすることができます。

ダウンロードしたzipを解凍すると、

com.salesforce-iphone-1.0.zip
documentation/
example/
screenshots/

の4つが入ってるはず。

Titanium Studioで新規プロジェクトを作り、プロジェクトのルートディレクトリへ上記com.salesforce-iphone-1.0.zipをコピーします。

とりあえず1回▶ボタンを押してビルドすると、zipファイルが消え、modulesフォルダが展開されます。

iPhoneシミュレータが起動しますが一旦閉じます。

tiapp.xmlの一番下、<modules/>となっているところを

<modules>
  <module version="1.0">com.salesforce</module>
</modules>

に書き換えます。これ結構忘れる。Titanium Studioが自動でやってくれるといいのに。

これでモジュールを使う準備は完了です。

consumer key/secretの準備

force.comへの認証はOAuth 2.0を使用するのでconsumer key/secretの取得が必要です。

force.com環境にログインし、設定メニューから　開発 > リモートアクセスを選択します。
コールバックURLは使わないので適当に。必須項目を適当に埋めて下さい。

保存すると、コンシューマ鍵が表示されるのでこれを使用します。
コンシューマの秘密(consumer secret)は今回は使いませんが後で使います。
※コンシューマの秘密、とか翻訳が面白いですねw

サンプルコードの実行

ダウンロードしたzipに入っていた、example/app.jsをResources/app.jsに上書きコピーします。

実はexampleで付いてくるapp.jsこのままだとバグってるので…、コールバックメソッドの先頭に
e = JSON.parse(e);
を入れてやります。
上記追加済みのapp.jsはgistに上げました。
※コールバックメソッドに戻ってくるのはJSON文字列なのにそのままobjectとして使おうとしてる…

app.jsの下の方、FDC.ForceOAuth.openの引数に先ほど発行したコンシューマ鍵を渡します。

実行してみます。
※エラーが出る場合は、buildディレクトリに古いのが残ってて差分ビルドがうまくいかない？ことがあるので Project > Clean すると治ると思います。

Salesforceへのログイン画面が出て、ログインして許可ボタンを押すと、こんな画面になります。

Query User〜Describe User辺りのボタンを押すとそれぞれREST APIがコールされて結果がTableViewで表示されます。
レスポンスJSONの内容はコンソールにも出力されるのでこれを参考にしてJSON.parseした結果を自由に扱えますね。

Create Record以下のボタンはカスタムオブジェクトを先に作っておかないとエラーになりますので気になる人はサンプルコードを参考に作ってみると試せるかも。

実はApex RESTで公開したAPIが呼べなかったり、OAuth Tokenの有効期限が切れてしまうとエラーになったりと穴があるのですが…この辺りの対策は次回書く予定です（どうやらAdvent Calendarが2周目も回ってくる様なので…）。

この記事はForce.com Advent Calendar 2011に参加しています。

foursquare global hackathon @ Tokyo

2011-09-20T08:47:00.003+09:00

NYC, SF, Paris, Tokyoで同時開催のfoursquare global hackathon、東京会場のオーガナイザ兼参加者として9/17-18の2日間約42時間ぶっつづけで楽しんできました。

東京会場では参加者15名、応募作品9と他会場と比べて少ない数字でしたが、みんなでワイワイおやつ食べたり深夜居残り組はみんなで銭湯行ったり、いい雰囲気でした。
NYC,SF,Parisの中継映像をスクリーンに映して、音声無しながらもParisがエッフェル塔切り抜いたのカメラの前に貼って遊んでたのに東京タワーで対抗？してみたりw
Togetterまとめ

いきなりですが東京会場内での作品の投票結果発表！
日本時間9/23の正午まで、http://fshackathon.appspot.com/で一般投票が行われているので気に入った作品にぜひ投票をお願いします（何作品でも投票できます）！

1位（会場得票数4）： photosquare
作者：中継カメラ設置等いろいろ手伝ってくれた@koogawaさん
内容：近くのvenueに投稿されてる写真をスライドショー表示してくれるiPhone/iPad用アプリ。アプリ審査があるのでまだダウンロードできませんが、http://twitvideo.jp/06TpCから映像見ることができます。
投票する

2位（会場得票数3）：The Journalist
作者：今回素晴らしい会場を提供してくださったGaiaXの@aomushi510さんと、直前に@aomushi510さんに誘われて急遽参加のTomoyuki Hisadaさんのチーム
内容：4sqのチェックイン履歴を使用して、自分の行った場所の記事を投稿できる、ソーシャルニュース的なサービス。新聞的なデザインや、細かいところの動きがよくできていて完成度高くてびっくり！
http://journalist.azu.sh/で見れる…はずが残念ながら今エラー出てます…
投票する

同着2位（会場得票数3）：4sqlist(仮)
作者：pomu0325（すいません自分です。）
内容：サブベニュー（駅のホームとか、モール内の店舗とか）をグループ化して探しやすくするiPhone/iPad用WEBアプリ。時間が無くて最低限の機能しか作り込めませんでした… 同じアイデアで作り始めた@ikawamotoさんとは違い、手動でサブベニューの情報を編集するアプローチです。http://4sqlist.appspot.com/
投票する

以下、順不動での掲載です。

チーム名：curly
作者：@takochuuさん、@sunny_510さんのチーム
内容：venue毎に、そこにチェックインした人のつぶやきが見えたりランキングが見れたりするサービス。デザインもよくまとまってましたが、公開はまだ…かな？
投票する

Packed Venues
作者：大阪から来てくれた@ikawamotoさん
内容：住所が同じベニューをまとめて表示するiPhoneアプリ。動かしているところの動画はこちら。住所表記のブレが解決できれば自動でまとめられるアプローチの方がいいですね！
投票する

Squarecount
作者：meetup主催等いつも手伝ってくれてる@jayjpn
内容：4sqへのチェックイン回数を表示するだけw。エンジニアじゃないのに締め切りぎりぎりまで頑張ってました。http://squarecount.appspot.com/index.html
投票する

4sq Scouter
作者：自分と同じく携帯用4sq「じゃぽすく」を作っている@jpfoursquareさん
内容：スカウターと言ったらおなじみ、例のアレ風に「強さ」を数値化して表示してくれます。数値には、「複雑な足し算」が使用されているとのことですw http://scouter.jpfoursquare.com/から試せます。
投票する

fourSquare PopUp Utility
作者：The Journalistもチームメンバーで作っているTomoyuki Hisadaさん
内容：4sqのユーザやvenueの情報をマウスオーバーで表示してくれるjsライブラリ。ページ内のfoursquareへのリンクを自動で変換してくれるみたいです。twitter anywhereの4sq版、と言えば分かる人には分かる。使い方等
投票する

Complete Japanese fried chicken delis in MusashiKoyama
作者：@Suger1008 さん
内容：むさこ（武蔵小山）の唐揚げ屋さんを制覇！むさこ愛にあふれるスマートフォン用アプリをTitanium Mobileで作られていました。公開はまだですが解説等はこちら。
投票する

応募があったのは以上9作品ですが、他にも時間が足りなかったり、既に作っているものを4sq対応したりと各自ガリガリがんばっていました。

最後に、深夜含め2日連続と無理な条件にも関わらずすてきな会場を提供してくださった、ガイアックスさん、本当にありがとうございました！！！
ハッカソンなどのイベントでよく会場提供をしているそうなので、またお邪魔させていただきます！

[Lift] 画像ファイルにjsessionidを付けない

2011-03-29T19:34:00.001+09:00

takedasoftさんがUrl Rewrite Filterを使った方法を書いてましたが、Boot.scalaでLiftRule.urlDecorateにルール追加するだけで簡単にできたのでメモ。

val ImgPtn = """(.*\.(?:png|gif|jpg));jsessionid=.+""".r
LiftRules.urlDecorate.append {
  case ImgPtn(url) => url
}

※Lift 2.2からデフォルトではjsessionid付かなくなったのはここに書いてある通りです。

[Scala] sbt jetty-runでhttpsを使用したい

2011-03-22T13:55:00.000+09:00

方法1: カスタムjetty.xmlを使う

sbt標準だとjetty.xmlを1から書けばOK。

override def jettyConfiguration = new CustomJettyConfiguration {
  override def jettyConfigurationXML = List("/path/to/jetty.xml")
}

この方法だとjetty.xmlにConnectorとかHandlerとか全部自分で書かないといけないので面倒…
参考：jetty.xmlのリファレンス

方法2: sbtにちょっと手を入れてjetty設定用のhookを使う

sbtのソースをcheckoutしてhookが設定できるようにする

参考：Build - simple-build-tool -

sbtのソースをcheckout

$ git clone git://github.com/harrah/xsbt.git
$ cd xsbt

変更したのは下の2行だけ。jetty-runが呼ばれてデフォルトのhttpポートのConnectorの設定直後にcallbackで設定した関数が呼ばれるようにする。

diff --git a/sbt/src/main/scala/sbt/WebApp.scala b/sbt/src/main/scala/sbt/WebApp.scala
index f5a3d09..997294e 100644
--- a/sbt/src/main/scala/sbt/WebApp.scala
+++ b/sbt/src/main/scala/sbt/WebApp.scala
@@ -105,6 +105,8 @@ trait DefaultJettyConfiguration extends JettyConfiguration
        def parentLoader: ClassLoader
        def jettyEnv: Option[File]
        def webDefaultXml: Option[File]
+
+       def callback: Option[AnyRef => Any] = None
 }
 abstract class CustomJettyConfiguration extends JettyConfiguration
 {
diff --git a/sbt/src/main/scala/sbt/jetty/LazyJettyRun.scala.templ b/sbt/src/main/scala/sbt/jetty/LazyJettyRun.scala.templ
index 263afa6..4ca4b0e 100644
--- a/sbt/src/main/scala/sbt/jetty/LazyJettyRun.scala.templ
+++ b/sbt/src/main/scala/sbt/jetty/LazyJettyRun.scala.templ
@@ -54,6 +54,7 @@ private object LazyJettyRun${jetty.version} extends JettyRun
                                case c: DefaultJettyConfiguration =>
                                        import c._
                                        configureDefaultConnector(server, port)
+                                       c.callback.foreach(_(server))
                                        val webapp = new WebAppContext(war.absolutePath, contextPath)
                                        webDefaultXml.foreach{webDefaultXml:File => webapp.setDefaultsDescriptor(webDefaultXml.toString)}

sbtのビルド

$ sbt update generate-loader-compat proguard "project Simple Build Tool" publish-local

※generate-loader-compatしないとjetty6用のクラスが一部生成されなかった。(jettyは6->7でパッケージ名が変わったので、sbtのソースではテンプレート化して6,7,7.2用のscalaソースが吐かれるようになってる）

ssl用証明書の準備

JDKのkeytoolを使用。とりあえずオレオレ証明書で。

$ keytool -keystore src/test/resources/keystore -alias jetty -genkey -keyalg RSA
$ keytool -selfcert -validity 1024 -keystore src/test/resources/keystore -alias jetty

※keystoreのパスワードを聞かれるので入力します

sbt プロジェクト側の準備

build.propertiesの sbt.version=0.7.5.RC0 にしてsbt実行、先に標準の0.7.5.RC0を入れておく。

ビルドしたsbt/target/scala_2.7.7/sbt_2.7.7-0.7.5.RC0.jar をプロジェクトのproject/boot/scala-2.7.7/org.scala-tools.sbt/sbt/0.7.5.RC0/sbt_2.7.7-0.7.5.RC0.jar に上書き。

project/build/MyProject.scala の設定。callbackでjettyのServerインスタンスにSslSocketConnectorを追加。ClassLoaderが違うので普通に書くとClassCastExceptionが発生するのでリフレクションで。

  override def jettyConfiguration: JettyConfiguration =
    new DefaultJettyConfiguration {
      def classpath = jettyRunClasspath
      def jettyClasspath = MyProject.this.jettyClasspath
      def war = jettyWebappPath
      def contextPath = jettyContextPath
      def classpathName = "test"
      def parentLoader = buildScalaInstance.loader
      def scanDirectories = Path.getFiles(MyProject.this.scanDirectories).toSeq
      def scanInterval = MyProject.this.scanInterval
      def port = jettyPort
      def log = MyProject.this.log
      def jettyEnv = jettyEnvXml
      def webDefaultXml = jettyWebDefaultXml
      override def callback = Some((server: AnyRef) =>  {
        val cl = server.getClass.getClassLoader
        val ssl = cl.loadClass("org.mortbay.jetty.security.SslSocketConnector").newInstance.asInstanceOf[{
          def setPort(p: Int): Unit
          def setMaxIdleTime(t: Int): Unit
          def setKeystore(s: String): Unit
          def setPassword(s: String): Unit
          def setKeyPassword(s: String): Unit
          def setTruststore(s: String): Unit
          def setTrustPassword(s: String): Unit
        }]
        val addConnector: java.lang.reflect.Method = server.getClass.getMethod("addConnector", cl.loadClass("org.mortbay.jetty.Connector"))

        ssl.setPort(8443)
        ssl.setMaxIdleTime(30000)
        ssl.setKeystore(info.projectPath + "/src/test/resources/keystore")
        ssl.setPassword("password")
        ssl.setKeyPassword("password")
        ssl.setTruststore(info.projectPath + "/src/test/resources/keystore")
        ssl.setTrustPassword("password")
        addConnector.invoke(server, ssl)
      })
  }

※上記はjetty6の場合で、jetty7の場合はパッケージ・クラス名がちょっと違います。

これで、jetty-runで8080でhttp、8443でhttpsが起動します。

[Scala][sbt]DefaultWebProjectでwarではなくjarも作りたい

2011-02-09T18:55:00.000+09:00

DefaultWebProjectだとsbt packageタスクでwarが作られますが、jarも作りたい時があった場合、こんな感じで。

lazy val jar = packageTask(packagePaths, jarPath, packageOptions).dependsOn(compile) describedAs "Creates a jar file."

sbt jarでjarファイルが作られます。

[GAE] bulkloaderをGAE/Jで使う

2011-02-07T21:19:00.010+09:00

python版appengine-sdkを使ってcsvファイルからデータをDatastoreにロードすることができます。

準備

python版appengine-sdkをインストールする

web.xmlにremote_api用のServletの設定を書く

<servlet>
  <servlet-name>remoteapi</servlet-name>
  <servlet-class>com.google.apphosting.utils.remoteapi.RemoteApiServlet</servlet-class>
</servlet>
<servlet-mapping>
  <servlet-name>remoteapi</servlet-name>
  <url-pattern>/remote_api</url-pattern>
</servlet-mapping>

security-constraintも追加しておいた方が良さげ。

<security-constraint>
  <web-resource-collection>
    <url-pattern>/remote_api</url-pattern>
  </web-resource-collection>
  <auth-constraint>
    <role-name>admin</role-name>
  </auth-constraint>
</security-constraint>

ロード設定用のyamlファイルを書く

python_preamble:
- import: base64
- import: re
- import: google.appengine.ext.bulkload.transform
- import: google.appengine.ext.bulkload.bulkloader_wizard
- import: google.appengine.api.datastore
- import: google.appengine.api.users

transformers:

- kind: Scores
  connector: csv

  connector_options:
    encoding: ms932

  property_map:
    - property: __key__
      external_name: id
      import_transform: int

    - property: name
      external_name: name

    - property: score
      external_name: score
      import_transform: transform.none_if_empty(float)

キーにidではなく文字列(name)を使用する場合は、import_transform: intは不要。

import_transformに他に指定できる例
日付: transform.import_date_time('%Y/%m/%d %H:%M')
固定値: import_transform: lambda x:1
数値変換: import_transform: lambda x:int(x)*100
※lambdaは引数の:の後にスペースを空けるとダメな様です

ロード用CSV

id,name,score
1,Alice,5.0
2,Bob,2.5
3,Caroline,

ロード用コマンド

appcfg.py upload_data --filename=test.csv --config_file=test.yml --url=http://{appid}.appspot.com/remote_api --application={appid} --kind=Scores -v

※{appid}はアプリケーションIDに置き換える

security-constraintの設定をしている場合、毎回管理者アドレス／パスワードの入力が必要です。
ローカルのdev_appserverだとエラーが出て動きませんでした…

こんな感じに反映されます。

※1万件だと約500秒（8分ちょっと）くらいかかりました（CPU Timeを無料Quotaの10%ほど消費します）

その他注意点

slim3を使っている場合、filterの設定があると、"ProtocolBufferDecodeError: corrupted"の様なエラーが出てしまうので一時的にコメントアウトして回避しました。（※他にいい方法があれば教えて下さい…

2/11追記: bulkload用にfilterをコメントアウトしたversionをデプロイしておいて、--url=http://latest.bulkload.{appid}.appspot.com/remote_api みたいに指定するといいかも

3/22追記：slim3ではなくscenic3の方の設定でした。matcherで/remote_apiを除外したらOK。

参考: Ikai Lan says / Using the bulkloader with Java App Engine

[Blogger] スマートフォン用テンプレートを有効にする

2011-01-15T11:02:00.001+09:00

いつの間にかβ版としてスマートフォン用テンプレートの機能が追加されてたので有効にしてみた。

draft.blogger.com の方からログインするとβ版機能が使えます。

有効にするには、設定＞メールとモバイル＞モバイルテンプレートを表示するではいを選ぶだけ。スマートフォンの場合は自動でリダイレクトしてくれるようです。

ガラケーからもurlの最後に?m=1を付けるとモバイル用テンプレートで表示してくれましたが、ページ遷移にjavascriptが使われているようで残念ながら記事一覧以降進めませんでした…。

[Lift] Liftで処理したくないリクエストの設定

2011-01-12T16:04:00.004+09:00

web.xmlで全てのリクエストがLiftで処理されるようになっているので、Lift以外のサーブレット等で処理したい場合に困ります…

<filter-mapping>
  <filter-name>LiftFilter</filter-name>
  <url-pattern>/*</url-pattern>
</filter-mapping>

Boot.scalaのdef bootにこんな感じで書けばOK。

LiftRules.passNotFoundToChain = true
LiftRules.liftRequest.append {
  case Req("_ah" :: _, _, _) => false
  case Req("remote_api" :: _, _, _) => false
}

※filter-mappingで除外ルールが書ければいいんだけど…

[Scala] sbt-appengineなプロジェクトをIntelliJ IDEAでデバッグ

2011-01-01T18:50:00.005+09:00

@teaplanetさんにヒントいただいてIDEAのsbt consoleでdev-appserver-startできるようになったので、IDEA上でブレークポイントで止めたりできるように設定してみた。

class MyProject(info: ProjectInfo) extends AppengineProject(info) {
  //... 中略
  //APPENGINE_SDK_HOME設定の代わり
  override val appengineSdkPath = Path.fromFile("/Users/pomu0325/dev/appengine-java-sdk-1.4.0")  
  
  //dev-appserver-startの際のJVMオプション
  override val devAppserverJvmOptions = List("-Xdebug", "-Xrunjdwp:transport=dt_socket,server=y,address=2011,suspend=y") ++ super.devAppserverJvmOptions 
}

この設定でsbt consoleからdev-appserver-startするとリモートデバッガで接続できる状態で起動するので、後はIDEAからデバッガ接続する。

IDEAのメニューからRun -> Edit Configurations -> [+] -> Remote を選んで、Nameは適当に、PortにdevAppserverJvmOptionsのaddress=xxxxで指定したポートを入れる(↑の例だと2011。適当に開いてるポート設定すればOK)。

設定したら、Run -> Debug... で選んでデバッグ開始するとdev-appserverのJVMにアタッチされてブレークポイントで止まってくれる。

※Before launchの"Run sbt action"でdev-appserver-startが指定できればsbt consoleからいちいちdev-appserver-startしなくても一発で起動できそうだけど一覧に出てこないし、直接指定してもダメでした…

参考：sbt-appengineの基本的な設定等は"sbtでGAEをする場合の注意点など色々。"が参考になります。

[Lift] Lift2.2でCookieが無い場合にjsessionidがリンクに付加されない

2010-12-31T17:00:00.000+09:00

#658 Supressing URL rewriting for jesessionid from Lift の修正により、デフォルトでjsessionidが付かないように動作が変わっています。

Boot.scalaで、

LiftRules.encodeJSessionIdInUrl_? = true

してやればOK。

Liftで携帯サイト作ってる人とかはアップデートの際に要注意！

[Scala] dispatchでContent-Length付きのmultipartなPOSTする方法

2010-12-30T16:53:00.002+09:00

とある写真投稿サービスのAPIにdispatch(0.7.8)を使って実装しようとした時のこと。APIのレスポンスでContent-Lengthが無いって怒られました。

dispatch-mimeを使うとmultipart/form-data形式でPOSTができるのですが、普通に実装するとContent-Lengthを送ってくれないようです。

ソースコメントにも書いてあるし。

Note that when using an InputStream generator, chuncked encoding will be used with no Content-Length header

Fileが引数の方を使えば良さげだけどGAEからだとFile使えません。dispatchのソースとapache-httpclientのjavadoc眺めて工夫したらできました。

import dispatch._
import dispatch.Http._
import dispatch.mime.Mime._
import org.apache.http.entity.mime.content.ByteArrayBody

var req = ... //普通にdispatchのRequest作る
req = req next req.add(paramName, new ByteArrayBody(data, contentType, filename)) //ByteArrayBodyを指定

※ただし、ByteArrayBodyはhttpclient 4.1(現在BETA1)から追加されるクラスなので4.1のjarを使わないとダメ（dispatch 0.7.8のdependencyはhttpclient 4.0になってた）。
sbtならこんな感じで。

val httpmime = "org.apache.httpcomponents" % "httpmime" % "4.1-beta1"

[Lift][GAE] Scala座01でLTしてきました

2010-09-06T01:20:00.000+09:00

第1回Scala座に参加してきました。実はスタッフとして少々お手伝いもしたのですが大した事ないので（ry

収穫は…

いろいろと勉強不足だなぁと刺激を受けた（FP的な意味で）
Twitter等で気になっていた人々にリアルで会えた
ワラビモチ！←マイブーム

といったとこでしょうか。

「Lift on GAE/J」ネタでLTさせてもらったのですが、先にまとめてしまうと、「LiftはGoogle AppEngineには向いてない」てことです。詳しくは「Lift on GAE/J」のスライド見てください。

LTやろうと思ったきっかけは、自分でLiftも(Scalaも)GAEもよく分かってないうちにLift+GAEという組み合わせを選んでしまったのですが、いろいろと苦労したので… 最近TwitterでLiftをGAEで動かしてみるとかのtweetを時々見かけ、危険だよー、ということを広めたかっただけです。

ただ、勘違いしないで欲しいのは、Liftがダメと言っている訳ではなく、LiftはフルスタックのWebフレームワークとして、慣れれば生産性よくAJAX/Cometを使ったリッチなWebアプリを作れる素晴らしいフレームワークだと思っています。クラウドという性質上、GAEには様々な制限があるので、GAE上で動かしたいのであれば他のもう少し軽量なフレームワークが向いていると思います（まだあまり試せていませんが…）。

Scala座の企画をして下さった@keisuke_nさん、Scalaを勉強していく上で参考にさせていただいたり助けていただいたりで本当にいろいろとお世話になっている@yuroyoroさん、@kmizuさん、@takedasoftさん、会場・懇親会でお話させていただいたみなさま、本当にありがとうございました。ぜひ第2回でもよろしくお願いします！

[OAuth] 携帯でTwitterのOAuthを無理やりやってみた

2010-05-15T22:41:00.004+09:00

2011-07-04追記：今はTwitterのOAuth画面もガラケー対応されてます。自動でリダイレクトはされないのでユーザによるクリックは相変わらず必要ですが。

モバイルフォースクエアの開発初期に、OAuthでTwitterの認証をやろうとしていた時に試した結果です。手元にあったAU,docomoの端末で確認しています。

AU(W61CA)でTwitterのOAuthをやってみた

ログイン画面	承認画面

特に問題なし！	自動でリダイレクトはされないが、リンクを手動でクリックすれば動作はOK！

docomo Cookie対応機種(N-07A)でTwitterのOAuthをやってみた

ログイン画面	承認画面

文字化けがひどいが、ID・パスワード欄っぽいところに入れて1つ目のボタン（ログイン）を押せば承認画面に飛ぶ。	自動でリダイレクトはされないが、リンクを手動でクリックすれば動作はOK！

docomo Cookie非対応機種(SH704i)でTwitterのOAuthをやってみた

ログイン画面	承認画面

両方とも送信ボタン…。1つ目を押せば承認画面に飛ぶ。	文字化けがひどいが、リンクを手動でクリックすれば動作はOK！

まとめ

　docomoだと文字化けがひどいが、OAuthの機能的には動作する。ただし最後のリダイレクトを手動でクリックしないといけないのでユーザにこれを強いるのは難しい。
※実際、OAuth開始前の画面に注意書きを入れたにもかかわらず、最後のリダイレクトのクリックが分からず、トークンが取得できていないユーザ多数いた
　PIN入力方式にすればよいが、PC・スマートフォンでも同じコンシューマキーを使いたいので、PC・スマートフォンでのユーザビリティが落ちるので却下。PCでOAuth認証だけ先にさせるのも携帯のみのユーザのことを考えると却下。
→結果、xAuthを使うことにした。

[OAuth] 携帯でfoursquareのOAuthを無理やりやってみた

2010-05-15T22:19:00.005+09:00

モバイルフォースクエアの開発初期に、OAuthでfoursquareの認証をやろうとしていた時に試した結果です。手元にあったAU,docomoの端末で確認しています。

AU(W61CA)でfoursquareのOAuthをやってみた

ログイン画面	承認画面

日本語文字化け…	文字化け＆Denyが押せないが、動作はOK！

docomo Cookie対応機種(N-07A)でfoursquareのOAuthをやってみた

ログイン画面	承認画面

デザインは崩れるが、動作はOK!	デザインは崩れるが、動作はOK!

docomo Cookie非対応機種(SH704i)でfoursquareのOAuthをやってみた

ログイン画面→表示が崩れ、ログインボタンを押しても同じ画面が繰り返し表示されるだけ…。
※当時はログインできていた記憶が…、サーバ側の実装が変わったかもしれないです

まとめ

Cookie対応機なら文字化けしたりデザインは崩れるが、OAuthの処理自体は正常。文字化けがひどい状態ではサービス提供できないので、foursquareの中の人に日本の携帯ブラウザ事情を説明し、Auth Exchange採用。

[Scala][GAE] dispatchのOAuthをGAEで使う

2010-04-27T13:16:00.004+09:00

dispatchが内部でcommons-httpclientを使っていて、GAEでの禁止クラスを使っているのでそのままだとエラーになった。ので無理やりimplicit defでURLFetchのHTTPRequestに変換することで回避してます。こんな感じ。

import dispatch._
import com.google.appengine.api.urlfetch._
import java.net.URL

object DispatchHelper {
  /**
   * convert dispatch.Request -> String
   */
  implicit def r2s(r: Request) = {
    r.host.get + r.req.getRequestLine.getUri
  }

  /**
   * convert dispatch.Request -> com.google.appengine.api.urlfetch.HTTPRequest
   */
  implicit def dispatch2gae(r: Request): HTTPRequest = {
   val isPost = r.req.getMethod == "POST"
   val g = new HTTPRequest(new URL(r), if (isPost) HTTPMethod.POST else HTTPMethod.GET, FetchOptions.Builder.withDeadline(10))
   r.req.getAllHeaders.foreach(h => {g.addHeader(h); println(h)})
   r.req match {
    case p: org.apache.http.client.methods.HttpPost =>
     val payload = new java.io.ByteArrayOutputStream
     p.getEntity.writeTo(payload)
     g.setPayload(payload.toByteArray)
     println(p.getEntity.getContentType)
    case _ =>
   }
   g
  }
}

こんな感じでimplicit defを宣言してimport DispatchHelper._すれば、dispatchでリクエストを作って、URLFetchService.fetch()の引数にそのまま渡せばOK。

dispatchの解説はこちら

2010-06-26追記

2chで質問受けてコードが一部足りなかったので追記しました。

[Scala] Elemのlabel（要素名）を書き換える

2010-03-25T20:04:00.010+09:00

こんな感じか？

def changeTagName[T >: Node](from: String, to: String)(in: T): T = in match {
  case Elem(p, l, a, ns, child @ _*) => 
    val label = if (l == from) to else l
    Elem(p, label, a, ns, child.map(changeTagName(from, to)(_)): _*)
  case x => x
}

使用例

scala> val hoge2moge = changeTagName("hoge", "moge") _
scala> hoge2moge: (scala.xml.Node) => scala.xml.Node = <function>

scala> hoge2moge(<pre:hoge attr="value">parentText<child:hoge>childtext</child:hoge></pre:hoge>)
scala> res17: scala.xml.Node = <pre:moge attr="value">parentText<child:moge>childtext</child:moge></pre:moge>

追記：さらに汎用化してみた

高階関数化して、引数に名前を変更するための関数を渡せるようにした。

def changeTagName[T >: Node](changeFunc: (String) => String)(in: T): T = in match {  
  case Elem(p, l, a, ns, child @ _*) =>   
    Elem(p, changeFunc(l), a, ns, child.map(changeTagName(changeFunc)(_)): _*)  
  case x => x  
}

使用例

お題はこちら。

scala> val c = changeTagName(s => if (List("moge", "koge").contains(s)) "bege" else s) _
c: (scala.xml.Node) => scala.xml.Node = <function>

scala> c(x)
res6: scala.xml.Node =
<lage>
         <hoge>
           <bege></bege>
           <bege></bege>
         </hoge>
         <hoge>
           <bege></bege>
           <bege></bege>
         </hoge>
       </lage>

23:52 さらにちょっと修正

flatMap使えば別にNodeSeq渡せることに気がついた。

def changeTagName(changeFunc: (String) => String)(in: NodeSeq): NodeSeq = in match {  
  case Elem(p, l, a, ns, child @ _*) =>   
    Elem(p, changeFunc(l), a, ns, child.flatMap(changeTagName(changeFunc)(_)): _*)  
  case x => x  
}

[Lift][GAE] spin-up時間を測定してみる

2010-03-22T00:50:00.007+09:00

@yuroyoroさんがGAE上のScalaのスピンアップ時間を測定していたので、倣ってLiftのspin-up時間を測定してみた。前は数回適当に起動した時間を見ていて7-8秒って感じだったのを、もうちょっと正確に。

測定したのはarchetype:blankで生成される、LiftテンプレートとSnippetを使用したHelloWorld。また、不要なjarを減らしたら早くなるのかも気になったのでいくつかパターンを用意してみた。

結果

app	ave	max	min
lift-blank *1	6829	7338	5938
nomapper *2	6681	7105	6035
nomapper/nojson *3	6531	7124	5705
min *4	6481	7240	5957

Lift2.0-M3のarchetype-blankをそのままGAEに載せたもの
GAE上ではあまり使わないと思われるlift-mapperのjarを取り除いたもの
↑からさらにlift-jsonのjarを取り除いたもの
↑からさらにHelloWorldには不要なjar（javax.mail, commons-codec）を全て取り除いたもの

考察

簡単なLiftテンプレート+Snippetだと、Lift単品では7秒弱。
maxとminが前後しているのは気になるが、平均で見ると不要なjarを取り除くと若干早くなるっぽい。
※前測って7-8秒だったのは、Lift以外のライブラリのjarがあったのでさらにオーバーヘッドがかかったのか？

ほか気づいたこと

Liftがリクエストの処理にかかった時間をログに出してくれるのだが、初回がやたら遅くて3秒ほどかかっているのでこれがspin-upの半分を占めている。2回目のリクエストからは数ms…。

INFO - Service request (GET) / took 3056 Milliseconds

次はこれを調べてみることにする。

[GAE] JavaでAppstatsを使ってみる

2010-03-17T13:57:00.008+09:00

3/26追記：やっと公式にドキュメントが追加されました

GAE SDK 1.3.2より、JavaでもAppstatsが使えるようになりました。1.3.2-preの段階ではまだlabsのjarに入っているので、appengine-api-labs-1.3.2.jarをWEB-INF/libに含めて、web.xmlに↓こんな感じで設定するだけ。※この設定だとstats自身もフィルタ対象になってしまうので除外する方法調査中。

<filter>
  <filter-name>AppstatsFilter</filter-name>
  <display-name>Appstats Filter</display-name>
  <description>Appstats Filter</description>
  <filter-class>com.google.appengine.tools.appstats.AppstatsFilter</filter-class>
</filter>

<filter-mapping>
  <filter-name>AppstatsFilter</filter-name>
  <url-pattern>/*</url-pattern>
</filter-mapping>

<servlet>
  <servlet-name>AppstatsServlet</servlet-name>
  <servlet-class>
    com.google.appengine.tools.appstats.AppstatsServlet
  </servlet-class>
</servlet>

<servlet-mapping>
  <servlet-name>AppstatsServlet</servlet-name>
  <url-pattern>/stats/*</url-pattern>
</servlet-mapping>

ブラウザで/stats/でを開くと、↓こんな統計が見れます。
※/stats て最後のスラッシュを抜かすとなぜかリダイレクトループしてしまいます…

※IE8だと表示が崩れてました。

これだけだとURLが分かれば誰でも見えてしまうので、管理者のみアクセスできるような設定もした方がよいでしょう。

<security-constraint>
  <web-resource-collection>
    <url-pattern>/stats/*</url-pattern>
  </web-resource-collection>
  <auth-constraint>
    <role-name>admin</role-name>
  </auth-constraint>
</security-constraint>

[Lift][GAE] DataStoreに溜まったsessionをcronで削除する

2010-03-17T03:29:00.004+09:00

↓こんなobjectを作っておき、cronを設定した。だいたい550件程度削除すると30秒経過のタイムアウトでエラーになるけど別に気にしない。

import net.liftweb.http._
import net.liftweb.common._
import com.google.appengine.api.datastore._

object SessionCleaner {
  // Iteratorのimplicit conversionは定義されていないようなので自前で定義。
  implicit def j2s[A](j: java.util.Iterator[A]) = 
    new scala.collection.jcl.MutableIterator.Wrapper[A](j)
  private lazy val DSS = DatastoreServiceFactory.getDatastoreService

  def execute(): Box[LiftResponse] = {
    var count = 0
    try {
      val q = new Query("_ah_SESSION")
      q.addFilter("_expires", Query.FilterOperator.LESS_THAN_OR_EQUAL, System.currentTimeMillis)
      DSS.prepare(q).asIterator.foreach(e => {DSS.delete(e.getKey); count = count + 1})
    } finally {
      println(count + " sessions deleted.")
    }
    Full(OkResponse())
  }
}

Boot.scalaのdef boot内にはこんな感じ。

LiftRules.statelessDispatchTable.append {
  case Req("cron" :: "sessionCleaner" :: Nil, _, _) => () => SessionCleaner.execute()
}

ソース全体はgithubに置きました

[Lift] 無駄に新規セッションを生成させずに条件によってリダイレクトする方法

2010-03-16T02:06:00.007+09:00

リクエストヘッダの条件によってリダイレクトを行うには、snippet内でS.redirectToを使ってリダイレクトするのが一番簡単な方法ですが、Liftでsnippetを使うと必ずセッションを生成してくれます。検索エンジンのクローラbotとかからアクセスがある度に無駄にセッションが生成されてしまってサーバリソースを無駄に使っていたので、こんな感じで不要な場合はセッションが生成される前にリダイレクトさせてみました。

// Boot.scala の def boot内
LiftRules.statelessDispatchTable.prepend {  // *1
  case MyReq("venue" :: vid :: _, r) if r.header("User-Agent") == Full("何か") => // *2
    () => Full(RedirectResponse("http://foursquare.com/venue/" + vid))
}

object MyReq {  // *3
  def unapply(in: Req): Option[(List[String], HTTPRequest)] = 
    Some((in.path.partPath, in.request))
}

LiftRules.statelessDispatchTableにPartialFunction[Req, () => Box[LiftResponse]]を追加しておくと、セッション生成前に条件にマッチした場合は戻り値のLiftResponseをクライアントに返してくれます。
通常は、Req(パス, 拡張子, リクエストタイプ)でパターンマッチさせますが、ここではリクエストの内容によって判断したいため、*3で独自の抽出子(extractor)を定義し、抽出したHTTPRequestの中身（上記例ではリクエストヘッダ）をパターンガード条件として使用しています。
unapplyメソッドを持つobjectが抽出子です。参照：コップ本第24章(p.440)

抽出子とパターンガードを使うとパターンマッチが益々便利です。

[Lift] GAEがスケールアウトするとLiftセッションが切れる…

2010-03-08T02:27:00.007+09:00

LiftはServletSessionとは別に独自にセッションを実装しているので、StatefulSnippetはGAEのスケールアウトにうまく対応できないようです…。当然、StatefulSnippetじゃなくてもコールバックをクロージャで実装していると、スケールアウトにタイミング悪くもぶち当たるとアウトなはず。

以下がスケールアウトしたときのログ。

ロードバランサがCookie見てセッション同じなら同じサーバインスタンスに振り分けてくれればうれしいのに…。というわけでLift on GAEな人は投票を。

[Lift] LiftFormを使わずにStatefulSnippetをステートフルに使う

2010-03-05T14:35:00.007+09:00

LiftFormは大変便利なのですが、Lift流にsubmit時のコールバックをクロージャで書いてしまうと、セッションが切れた時にコールバックが動きません。Google App Engine上で動かしたりなんかすると、3分程度でスピンダウンしてしまうので、すぐ切れてしまってフォーム入力に時間がかかるようなアプリだと、セッション切れてまともに動きません…。（※実際は、ajax_requestが定期的にコールされるので、そんなにスピンダウンしない？と思うけど今作ってるのが携帯向けサイトでajax_requestをOFFにしてるので問題が顕在化）

そこで、クラシックな通常のHTMLフォームを使い、なおかつStatefulSnippetとして同じインスタンスが呼ばれるようなコードを書いてみました。

ソースを見る

まずはLift流に

普通にLift流に簡単なフォームを書くとこんな感じです。

<lift:StatefulTest.liftForm form="POST">
  <e:instance/>
  <e:input/>
  <e:submit/>
</lift:StatefulTest.liftForm>

Snippetはこんな感じ。

def liftForm(in: NodeSeq): NodeSeq = {
var name = ""
def sayHello() = {
  S.notice("Hello, " + name + ". I'm " + this)
  redirectTo("/liftSayHello")
}
bind("e", in,
  "instance" -> Text("I'm " + this),
  "input" -> SHtml.text(name, i => name = i),
  "submit" -> SHtml.submit("say hello", sayHello)
)
}

無理やり普通のformで

これと同様なフォームを、無理やり書くとこんな感じです。

<lift:StatefulTest.myForm>
  
  <form action="mySayHello" method="POST"> 
    <e:instance/>
    <e:key/>
    <e:input/>
    <e:submit/>
  </form>
</lift:StatefulTest.myForm>

ポイントは、registerThisSnippet()を呼ぶ関数ブロックを、S.fmapFuncで自分で関数マップに登録してやり、そのキーをhiddenで埋め込んでやること(*1)。

def myForm(in: NodeSeq): NodeSeq = {
S.fmapFunc((a: List[String]) => {registerThisSnippet()})(key => {
  bind("e", in,
    "key" -> <input type="hidden" name={key} value="_"/>, // *1
    "instance" -> Text("I'm " + this),
    "input" -> <input type="text" name="name"/>,
    "submit" -> <input type="submit" value="say hello"/>
  )
})
}

このやり方だと、セッションが続いていれば同じインスタンスのStatefulSnippetが呼ばれ、続いていない場合でも、少なくとも新しいインスタンスのStatefulSnippetで処理は行えます。（CSRFの問題がありますが…）

ソースはgithubに置きました。http://github.com/pomu0325/lift_sandbox

[Scala] valの左辺にパターンマッチが使える

2010-03-03T23:17:00.006+09:00

今日の第4回Scala言語仕様輪読会での収穫。

pがパターンの時、val p = eは以下の様に展開される。

val $x = e match {case p => (x1, . . . , xn)}
val x1 = $x._1
. . .
val xn = $x._n

※The Scala Language Specification(PDF)のp.36参照（タプルが{}になっているのは古い仕様？なので↑では()に直しています）。

簡単な例だと、タプルを使って同時にvalに代入できる。

val (x, y) = (1, 2)
// ↑は↓に展開され
val tmp = (1, 2) match {case (a, b) => (a, b)}
val x = tmp._1
val y = tmp._2
// 結局↓と同じ
val x = 1
val y = 2

Liftで↓なコードがあって、意味が分からなかったのだが、やっと理解できた。

// net/liftweb/http/Req.scala l.275
case class ParamCalcInfo(paramNames: List[String],
            params: Map[String, List[String]],
            uploadedFiles: List[FileParamHolder],
            body: Box[Array[Byte]])
// l.284
class Req(val path: ParsePath,
          val contextPath: String,
          val requestType: RequestType,
          val contentType: Box[String],
          val request: HTTPRequest,
          val nanoStart: Long,
          val nanoEnd: Long,
          private[http] val paramCalculator: () => ParamCalcInfo, // *2
          private[http] val addlParams: Map[String, String]) extends HasParams
{
// (省略)
// l.342
  lazy val ParamCalcInfo(paramNames: List[String],  // *1
            _params: Map[String, List[String]],
            uploadedFiles: List[FileParamHolder],
            body: Box[Array[Byte]]) = paramCalculator()
// (省略)
}

なぜ突然valの後にcase classが…？と思ったらこれがパターンマッチ。コンストラクタで指定した関数paramCalculator(*2)がParamCalcInfoを返すので、ParamCalcInfoの各valがそれぞれparamNames, _params, uploadedFiles, bodyに束縛され、Req.body等として使える。つまり、↓の様に展開されているということと理解。
```
val tmp = paramCalculator() match {
  case ParamCalcInfo(a, b, c, d) => (a, b, c, d)
}
val paramNames = tmp._1
val _params = tmp._2
val uploadedFiles = tmp._3
val body = tmp._4
```

[Scala] 文字列に含まれるURLをaタグにしてNodeSeqで返す

2010-03-02T20:55:00.001+09:00

Liftでbindする時にNodeSeqが必要だったので書いてみた。はじめ、Regex.findAllInとfor式のyieldでできるんじゃないかと試行錯誤してたが、再帰を使った方が簡単なことに気づいてこんな感じになった。

import scala.xml._
implicit def c2s(c: CharSequence): String = c.toString
val URLPATTERN = """http://[\d\w\-\./%?=#]+""".r
def linkURL(s: String): NodeSeq = URLPATTERN.findFirstMatchIn(s) match {
 case None => Text(s)
 case Some(m) =>
  <xml:group>{Text(m.before)}<a href={m.matched}>{m.matched}</a>{linkURL(m.after)}</xml:group>
}

使用例

scala> linkURL("aaaa http://pomu0325.blogspot.com/ bbbb http://twitter.com/pomu0325 cccc")
res21: scala.xml.NodeSeq = aaaa <a href="http://pomu0325.blogspot.com/">http://pomu0325.blogspot.com
/</a> bbbb <a href="http://twitter.com/pomu0325">http://twitter.com/pomu0325</a> cccc

[Lift] "?"を含むURLがStatefulSnippet.linkメソッドでStatefulにならない

2010-02-22T20:31:00.008+09:00

StatefulSnippetで、同じインスタンスのStatefulSnippetを呼び出すようなリンク（<a>タグ）を出力する際には、StatefulSnippet.linkメソッドを使用します。が、StatefulSnippet.linkを使ってもリンク後に別のインスタンスのSnippetが作られてしまう場合があり、困ったのでStatefulになる仕組みを追ってみました。

仕組み

StatefulSnippet.linkでリンク用URLを出力すると、ランダムなキーでコールバック関数がセッションに保持され、http://localhost/search?F869982852207GSN=_ の様にキーがクエリ文字列として付加されます。

このリンクをクリックすると、LiftSession.runParamsでこのキーで登録されているコールバック関数が実行されます。

コールバック関数内で、registerThisSnippet()が呼ばれ、ステートが維持される仕組みになっています。

ソースを追ってみると、StatefulSnippet.linkはコールバック時に第2引数で指定した関数の前に、registerThisSnippet()を呼ぶようなブロックに差し替えて、SHtml.linkと同じ処理をしているだけです。

// StatefulSnippet.scala
def link(to: String, func: () => Any, body: NodeSeq): Elem = SHtml.link(to, () => {registerThisSnippet(); func()}, body)

SHtml.linkは何をやっているかというと、fmapFuncでコールバック関数を登録し、そのキーをクエリ文字列としてURLに付加しています。

// SHtml.scala
def link(to: String, func: () => Any, body: NodeSeq,
         attrs: (String, String)*): Elem = {
  fmapFunc((a: List[String]) => {func(); true})(key =>
          attrs.foldLeft(<a href={to + (if (to.indexOf("?") >= 0) "&" else "?") + key + "=_"}>{body}</a>)(_ % _))
}

ここで、既にクエリ文字列がある（＝"?"が含まれる）場合には"&"でつなげてることに気づき、問題解決。

問題解決

問題となったは、AU携帯で位置情報を付加してリクエストを送るための、以下の様なaタグを出力しようとした部分。

<a href="device:location?url=http://www.mb4sq.jp/search"/>

def search(in: NodeSeq): NodeSeq =
  bind("f", in, "link" -> link("device:location?url=http://localhost/search", ()=>"", Text("search")))

こんなコードを書いてみたところ、本来欲しいURLは
device:location?url=http://localhost/search?F869982852207GSN=_ の様なものなんですが、元のURLに"?"が入ってしまっているので、"?"の代わりに"&"が付加されてしまい、
device:location?url=http://localhost/search&F869982852207GSN=_ になってしまってるわけですね…。これではクエリ文字列として取得できず、ステートを維持するためのregisterThiSnippet()のコールバックが呼ばれずに、ステートが切れてしまっていたと。

結局、StatefulSnippet.linkをオーバーライドして、GPSのリンクの場合はハードコードで"?"を付けるようにして回避しました。

override def link(to: String, func: () => Any, body: NodeSeq): Elem = {
  def insert(s: String, i: String, p: Int) = List(s take p, i, s drop p).mkString
  if (to.startsWith("device:")) 
    S.fmapFunc((a: List[String]) => {registerThisSnippet(); func()})(key => {
    val u = if (to.indexOf("&ver=1") > 0) insert(to, ("?" + key + "=_"), to.indexOf("&ver=1"))
        else to + ("?" + key + "=_")
      <a href={u}>{body}</a>
    })
   else super.link(to, func, body)
}

[Scala] Stringの指定位置にStringを挿入する

2010-02-20T13:44:00.002+09:00

ありそうでなさそうなので作ってみた。RichStringがSeqなのでtakeとかdropとか使えて便利。

scala> def insert(s: String, i: String, p: Int) = List(s take p, i, s drop p).mkString
insert: (String,String,Int)String

scala> insert("abcd", "123", 2)
res1: String = ab123cd

[Scala] untilループ

2010-02-20T12:06:00.003+09:00

Scala Hack-a-thonで、Scalaにはuntilループが無いけど作れる、って@yuroyoroさんが言っていたので、作ってみた。

scala> def until(b: =>Boolean)(f: =>Any) = while(!b)f
until: (=> Boolean)(=> Any)Unit

ポイントは=>で引数を名前渡しにするとこか。

使用例

scala> var i = 0
i: Int = 0

scala> until (i==10) {println(i);i=i+1}
0
1
2
3
4
5
6
7
8
9

できることは分かったけど、きっと使わないなぁ…。

[Scala][GAE] URLFetchのリトライ

2010-02-18T21:44:00.007+09:00

Scala勉強会@東北で取り上げていたquerulousのRetryingQueryにインスパイアされて、GAEのURLFetchをリトライするコードを書いてみた。

URLFetchがIOExceptionを投げるか、ステータス500が返ってきた場合にリトライ。

import com.google.appengine.api.urlfetch._

val UFS = URLFetchServiceFactory.getURLFetchService()
def retryingURLFetch[A](r: HTTPRequest, retry: Int)(f: HTTPResponse => A): A = {
  try {
    val res = UFS.fetch(r)
    res.getResponseCode match {
      case 500 =>
        if (retry <= 0) f(res)
        else retryingURLFetch(r, retry - 1)(f)
      case _ => f(res)
    }
  } catch {
    case e: java.io.IOException =>
      if (retry <= 0) throw e
      retryingURLFetch(r, retry - 1)(f)
  }
}

使用例

import java.net.URL
import com.google.appengine.api.urlfetch._

retryingURLFetch(new HTTPRequest(new URL("http://pomu0325.blogspot.com")), 2) {
  res => println(new String(res.getContent, "utf-8"))
}

不安定なAPIを呼ぶ時とかに使えそう。

[Joomla] mod_feedでrssの日付を表示する

2010-02-16T20:00:00.013+09:00

Joomla!のRSS表示モジュール（mod_feed）で、日付を表示する設定がなかったので、デフォルトテンプレートを書き換えてみた。modules/mod_feed/tmpl/default.phpの、65行目が追加した行。

for ($j = 0; $j < $totalItems; $j ++)
{
  $currItem = & $feed->items[$j];
  // item title
  ?>
  <li>
  <span style="padding-right:10px;"><?php echo $currItem->get_date('Y年n月d日'); ?></span>
  <?php
  if ( !is_null( $currItem->get_link() ) ) {
  ?>
    <a href="<?php echo $currItem->get_link(); ?>" target="_blank">

[Lift] Liftのテンプレートでutf-8以外のレスポンスを返す

2010-02-13T12:53:00.005+09:00

Liftでテンプレートを使用したページを作ると、必ずutf-8で返してくれるようです。携帯向けサイトとかで、どうしてもShift_JISで返したい時に、これだと文字化けしてしまいます。

例のごとくドキュメントが少ないので、Liftのソースを追ってみます。通常、テンプレートを使用したページは、XhtmlResponseとしてNodeが保持され、LiftServletの最後にtoResponseでInMemoryResponseに変換(*1)してから送られます。

// net/liftweb/http/LiftServlet.scala(l.183)
resp match {
  case Full(cresp) =>
    val resp = cresp.toResponse // *1 LiftResponse.toResponseはInMemoryResponseを返す
     logIfDump(req, resp)
     sendResponse(resp, response, Full(req))
//...後略...

問題１：文字コード

XhtmlResponseのtoResponseで何をやっているのか見てみると、mixinしているNodeResponse.toResponseで、utf-8とハードコードされています…。

// net/liftweb/http/LiftResponse.scala(l.415)
InMemoryResponse(ret.getBytes("UTF-8"), headers, cookies, code)

問題２：Content-Type

次、Content-Typeにもcharset=utf-8が勝手に出てしまいます。どこでやっているかと調べると、LiftServlet.sendResponseでContent-Typeをセットしています。determineContentTypeはここでもまたutf-8がハードコードです。ただし、ここでは明示的にContent-Typeを指定しておけば、上書きはしないようです。

// LiftServlet.scala(l.482)
// insure that certain header fields are set
val header = insureField(fixHeaders(resp.headers), List(("Content-Type", // *2
        LiftRules.determineContentType(pairFromRequest(request))),
  ("Content-Length", len.toString)))

// LiftRules.scala(l.168)
@volatile var determineContentType: PartialFunction[(Box[Req], Box[String]), String] = {
  case (_, Full(accept)) if this.useXhtmlMimeType && accept.toLowerCase.contains("application/xhtml+xml") =>
    "application/xhtml+xml; charset=utf-8"
  case _ => "text/html; charset=utf-8"
}

insureFieldはnet.liftweb.util.HttpHelpersのメソッド。第1引数のList[Pair]に第2引数のList[Pair]の_1が含まれてない場合に、追加する。

問題３：XML宣言

さらに、<?xml version="1.0" encoding="UTF-8"?>のXML宣言も必ず付けてくれるようです。が、S.skipXmlHeaderをtrueにしておけば、何もしないようです。

// net.liftweb.http.LiftRules.scala(l.442)
@volatile var calculateXmlHeader: (NodeResponse, Node, Box[String]) => String = {
  case _ if S.skipXmlHeader => ""
  case (_, up: Unparsed, _) => ""

  case (_, _, Empty) | (_, _, Failure(_, _, _)) =>
    "\n"

  case (_, _, Full(s)) if (s.toLowerCase.startsWith("text/html")) =>
    "\n"

  case (_, _, Full(s)) if (s.toLowerCase.startsWith("text/xml") ||
      s.toLowerCase.startsWith("text/xhtml") ||
      s.toLowerCase.startsWith("application/xml") ||
      s.toLowerCase.startsWith("application/xhtml+xml")) =>
    "\n"

  case _ => ""
}

対策

LiftRulesに、responseTransformersというものがあり、ここでLiftResponseが送られる前に書き換えることができます。最終的に、Boot.scalaで以下の様なことをしてやると、好みの文字コードでレスポンスを返すことができました。

def boot {
  //...省略...
  LiftRules.responseTransformers.append(conv2sjis)
}

private def conv2sjis(org: LiftResponse): LiftResponse = {
  org match {
    case x: XhtmlResponse =>
      S.skipXmlHeader = true // *1
      val m = x.toResponse // *2
      val h = x.headers ::: ("Content-Type", "text/html; charset=Shift_JIS") :: Nil // *3
      InMemoryResponse(new String(m.data, "utf-8").getBytes("Shift_JIS"), h, m.cookies, m.code) // *4
    case _ => org
  }
}

XML宣言を付けないようにS.skipXmlHeader=trueにセット。
一度、InMemoryResponseに変換
Content-TypeヘッダをListに追加。
SJISに変換し、新たなInMemoryResponseを返す。（LiftResponseはケースクラスなので書き換えられない）

[Lift] Lift2.0-scala280で日本語テンプレートが使えない

2010-02-12T00:25:00.016+09:00

2010-02-25追記

Lift 2.0-M3で治るそうです(google-group)。テンプレートは必ずutf-8で！

元記事

先日、せっかくだから最新を使おうと、Lift2.0-scala280(beta)に手を出してみました。API周りの修正はarchetype-basicで生成しなおしたプロジェクトを元にマージし、ビルドできるようになったと思いきや、Lift1.0.2では動いてたページが、以下のエラーで動作しなくなりました。

Message: java.nio.charset.UnmappableCharacterException: Input length = 2
       java.nio.charset.CoderResult.throwException(CoderResult.java:261)
       sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:319)
       sun.nio.cs.StreamDecoder.read(StreamDecoder.java:158)
       java.io.InputStreamReader.read(InputStreamReader.java:167)
       java.io.BufferedReader.fill(BufferedReader.java:136)
       java.io.BufferedReader.read(BufferedReader.java:157)
       scala.io.BufferedSource$$anonfun$1$$anonfun$apply$1.apply(BufferedSource.scala:29)
       scala.io.BufferedSource$$anonfun$1$$anonfun$apply$1.apply(BufferedSource.scala:29)
       scala.io.Codec.wrap(Codec.scala:65)
       scala.io.BufferedSource$$anonfun$1.apply(BufferedSource.scala:29)
       scala.io.BufferedSource$$anonfun$1.apply(BufferedSource.scala:29)
       scala.collection.Iterator$$anon$13.next(Iterator.scala:145)
       scala.collection.Iterator$$anon$24.hasNext(Iterator.scala:435)
       scala.collection.Iterator$$anon$19.hasNext(Iterator.scala:326)
       scala.io.Source.hasNext(Source.scala:209)
       net.liftweb.util.PCDataXmlParser$$anonfun$apply$2$$anonfun$apply$4.apply(PCDataMarkupParser.scala:184)

スタックトレースの示すPCDataMarkupParser.scala:184近辺を見てみたところ、scala.io.Source.fromInputStream(in)が使われていますが、Scala2.7.7と2.8.0で、エンコードを指定しなかった場合の動作が変わっています。2.7.7では、utf-8が使われます(*1)が、2.8.0だとSource.fromInputStreamは新しく導入されたCodecを引数に取るようになり、省略した場合はCodec.defaultが使用されます(*2)。

2.7.7のscaladoc: same as BufferedSource.fromInputStream(is, "utf-8", Source.DefaultBufSize)
2.8.0-Betaのscaladoc: codec (implicit) a scala.io.Codec specifying behavior (defaults to Codec.default)

上記APIの仕様変更により、日本語Windowsなうちの環境だとutf-8のテンプレートをMS932で読もうとして失敗しているわけですね。

Scala2.8.0のライブラリの、Codec.defaultのソースを見てみると、

def default = apply(Charset.defaultCharset)

としているだけ（Charsetはjava.nio.charset.Charset）なので、JVMのシステムプロパティで-Dfile.encodingを設定してやればOKそうです。Mavenでjettyを起動しているので、MVN_OPTSに-Dfile.encoding=utf-8を追加したら問題なく動きました。

関連Tweet 2010-02-02 20:06:36～

運用環境だとそう簡単にJVMのシステムプロパティなど変えられないと思うので、どこかでテンプレートのエンコーディングを指定するか、もう必ずutf-8で読んでくれるかしれくれないと困りますね。LiftのMLに投げました。

追記

MVN_OPTSで-Dfile.encoding=utf-8にしてNetBeansからrun:jettyで起動すると、コンソールの日本語が化けます。おそらくNetBeansも自身のJVMのfile.encoding（この場合はMS932）を使用してコンソールに出力しているためと思われます。

[Scala] ScalaでOAuth

2010-02-11T14:36:00.011+09:00

lift-oauthはサーバ側（サービスプロバイダ）とのことなので、Scalaで使えるOAuthライブラリを探してみた。dispatchに含まれてることが分かったので、早速試してみるが、演算子オーバーロード(*1)やらimplicit defやら使いまくりで非常に難解…。（*1: Scalaでは識別子に記号が使えるので演算子オーバーロードってのはホントは正しくない）

Specsのテストコード(dispatch/oauth/src/test/scala/OAuthSpec.scala)が一番良いサンプルだったので抜粋してコード読解。

import org.specs._

object OAuthSpec extends Specification {
  import dispatch._
  import oauth._
  import OAuth._
  
  val svc = :/("term.ie") / "oauth" / "example" // *1, *2
  val consumer = Consumer("key", "secret") // *3
  
  "OAuth test host" should {
    "echo parameters from protected service" in {
      val h = new Http
      val request_token = h(svc / "request_token.php" <@ consumer as_token) // *4, *5, *6
      val access_token = h(svc / "access_token" <@ (consumer, request_token) as_token)
      val payload = Map("identité" -> "caché", "identity" -> "hidden", "アイデンティティー" -> "秘密", 
        "pita" -> "-._~")
      h(
        svc / "echo_api.php" <<? payload <@ (consumer, access_token) >% { { // *7
          _ must_== (payload)
        }
      )
    }
  }
}

:/ はobject。:/() == :/.apply() メソッドで、dispatch.Requestを返す。（http://っぽいから:/にしたと思われ）
/ はRequestクラスのメソッド。パスをつなげて新しいRequestを返す。
OAuthのコンシューマ・キー、コンシューマ・シークレットを保持するケースクラス。
Http.apply()メソッドにRequestインスタンスを渡してHTTPリクエストを投げている。
<@ はRequestSignerクラスのメソッド。Requestクラスをコンシューマ・シークレットで署名したりする。Request → RequestSignerはimplicit defされているのでそのまま呼べる。
as_token はHttp.apply()の第2引数として渡されるハンドラ。レスポンスのbodyに含まれるトークンをTokenインスタンスにして返す。
<<? はRequestクラスのメソッドで、クエリ文字列を付加した新しいRequestを返す。

参考文献など：

dispatch.{Http, Request}のソース
dispatch.oauth._のソース
OAuthについては、@ITの記事が非常に参考になりました。

[Scala] ListをMapに変換するコード

2010-02-11T12:58:00.011+09:00

List("a", "1", "b", "2")をMap("a" -> "1", "b" -> "2")にする必要があって、ListをMapに変換するコードを再帰で書いてみた。

def l2m[T](l: List[T]): Map[T,T] = l match {case x::x2::xs => Map(x -> x2) ++ l2m(xs) case _ => Map()}

実行例：

scala> val l = List("a", "1", "b", "2")
l: List[java.lang.String] = List(a, 1, b, 2)

scala> def l2m[T](l: List[T]): Map[T,T] = l match {case x::x2::xs => Map(x -> x2) ++ l2m(xs) case _ => Map()}
l2m: [T](List[T])Map[T,T]

scala> l2m(l)
res0: Map[java.lang.String,java.lang.String] = Map(a -> 1, b -> 2)