MS Bot Framework 12/5のアップデートで WebChatのバグ修正、エミュレータ改良等

2016年12月17日（土）

きょうの横浜は、晴れて、日中は暖かかったです。
iPhone 7のカメラは、背景がボケるので、コンデジよりも好きです。


※ 前半は、ITの難しい話（チャットボット）が延々と続きますので、興味がない方は、スルーして、ポチっとしてください。

―　―　―　―　―　―　―　―　―　―
[WebChatのバグ修正、エミュレータ改良等]
ちょうど 1ヶ月前のブログ記事に、iPhoneやiPadの iOS上では、MS Bot Frameworkのバグのため、WebChatが正しく動作しない件を書きました。
　　　　　↓
・2016.10.17 iPhoneでWeb Chatが動かない MS Bot Framework 3.0のバグ

先日、12月5日に、Microsoftから Bot Frameworkのアップデート版が公開され、バグが直りました。 他にも、エミュレータの大幅改善、Mac用エミュレータなど、てんこ盛りのアップデート内容になっています。

この iOS上の Safariや Chromeで MS謹製の WebChatが正しく動作しないバグは、自分が GitHubで、Bot Builderチームに報告して直してもらったので、いきさつをまとめておきます。
　　↓　オリジナルはこちらですが、Fixすると見えなくなるので転記しました
https://github.com/Microsoft/BotBuilder/issues/1430

ToshiAtKuroneko commented on Oct 14
I have developed a following of stateful Bot, it is operating test in Web Chat Connector.
Test of this Bot is available at the following URL.
https://microsoft-apiapp937554448978497cb48a05cb30f2eb14.azurewebsites.net/ NOTE: In this Bot, use the Japanese.

My Bot, in the following Web browser, will work properly.
1.PC Win 10 --- Edge, IE 11, Chrome
2.Android Smart Phone --- Chrome

But, My Bot, in the following Web browser, does not work properly.
1.Apple iPhone 6s/7 --- Safari, Chrome

The following screen capture is a case to work properly.
（図は略）

However, in the Web browser of the iPhone, it will not be as in the above screen capture.
It seems like the state of the conversation is not maintained.
Why in the Web browser of the iPhone, stateful conversation, it will not work properly?
- - - ―　―　―　―
danmarshall commented on Oct 15
The state is maintained on the state server, so perhaps the web page client has a bug. Can you share an example of the bug?
- - - ―　―　―　―
ToshiAtKuroneko commented on Oct 15
Yes, I can share.
Operation in Safari on my iPhone is the following screen capture.
（図は略）
In the iPhone's Web browser, stateful conversation, does not work properly.
Perhaps, it would be a bug in the Web Chat Connector.
- - - ―　―　―　―
ToshiAtKuroneko commented on Oct 18 ? edited ToshiAtKuroneko edited this comment about 1 month ago
Apple seems to be policy to reject the application you are using a cookie.
In iPhone, cookie is will often disappear, is because of that, it cut off the session.

The iPhone, as an alternative of the cookie, there is a hand to use the Safari of local storage.
Safari of local storage is SQLite that can be used in javascript.
In the case of a request from the iPhone, I think in Web Chat Connector is not to save the Conversation ID to Safari of local storage.

In addition, iOS version of Chrome, as the UserAgent, is that of to disguise the Safari.
For this reason, in Chrome, it will appear the same defect as the Safari.

My reasoning is over.
- - - ―　―　―　―
danmarshall commented a day ago
@ToshiAtKuroneko can you verify this behavior in the new version of the webchat control?
- - - ―　―　―　―
ToshiAtKuroneko commented 5 minutes ago
@danmarshall I checked "Enable Preview" and tested Web Chat on my iPhone 7.

(1) Chrome: It worked correctly.
(2) Safari: It worked correctly.

The problem of Web Chat on my iPhone has been solved.
Thank you very much.

―　―　―　―　―　―　―　―　―　―
バグFix版を試すには、Web Chatコネクターの設定で、『Enable Preview』にチェックを入れます。



本当に iOSでのWebChatのバグが直っているか、まずは、iPhone 7の Google Chromeでテストしました。

バグが直っています

次に、iPhone 7標準の Safariでテストしました。

バグが直っています

もちろん、Skypeからも、同時混在で チャットできます。
なにげに、AIチャットBotエンジンも改良しています。

次のトピックは、Web Chat チャネルエミュレータに大幅な改善が加わり、リニューアルしたことです。

今までは、右半分に JSONデータが表示されていましたが、HTTPリクエスト／レスポンスが表示され、テスト効率が大幅アップです。（JSONデータはログで見れますからね）

それで、なんと、Macbook (OS X El Captan）でも、WebChatエミュレータが動作するんですよ！
というか、Mac版、Linux版がリリースされました。

ちょっと注意しないといけないのは、いままで、サーバもクライアントも、Windows 10上にあり、ネットワークが localhostだったわけですが、Macbookから無線LANで接続するとなると、Windows 10、OS X のFWをトネリングしないといけないです。

でも、自宅LAN上で動くということは、、、、
Azureがなくても、オンプレミスで動かせるじゃん！
てことですねww

チャットBotの開発や、テスト、PoCには、Azureがなくてもよくなって、従量課金が減って助かります。

[MS チャットBot 実証実験 関連ブログ]
・2016.10.30 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二
・2016.11.04 Microsot Bot Framework 3.0で ニュースbotデモサイト改二
・2016.11.05 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二 再始動
・2016.11.12 MS Bot Framework 3.0で 飲み会調整botのパーソナライゼーション
・2016.11.18 MS Bot Framework 3.0で 飲み会調整botのリスト並べ替えパーソナライズ
・2016.11.20 MS Bot Framework 3.0で 飲み会調整botの日本語自然文入力
・2016.11.25 MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力
・2016.11.26 MS Bot Framework 3.0で 飲み会調整botのiPhoneからのSkypeコネクター対応
・2016.12.06 MS Bot Framework 3.0で 飲み会調整botで「もしかして、これ？」対応
・2016.12.07 MS Bot Framework 3.0で 飲み会調整botで時刻表現正規化対応
・2016.12.17 MS Bot Framework 12/5のアップデートで WebChatのバグ修正、エミュレータ改良等

ヴェーダが、こう判断している。

オリジナルの太陽炉=GNドライブを持たざる者は、イノベイターにはなれない。

―　―　―　―　―　―　―　―　―　―
[追伸]
お昼は、川崎ルフロンへ、Apple Watchを見に行ったけど、欲しいモデルは在庫なしで、買えませんでした。

Apple Watchは、自分へのクリスマスプレゼント＝大人のオモチャ（ブルブルするやつではない）のつもりだったのですが、銀座か渋谷へ行かねば・・・

お昼は、川崎ルフロンの、nana's green tea で、カジキマグロ漬け丼セットでした。（1,020円）

白玉のデザートと、玄米茶（お茶は選べる）がセットです。

あ、サンタピカチュウは、2日で 8匹です。

29日までに、50匹集めなきゃ！

タグ：MacBook エミュレータ オンプレミス GitHub Chrome Safari IOS iPhone bot チャット WebChat サンタピカチュウ 川崎ルフロン tea Green AZURE ポケモン チャネルコネクタ NANA

MS Bot Framework 3.0で 飲み会調整botで時刻表現正規化対応

2016年12月7日（水）
心カテ入院まで、あと 1日です（11月8日に入院））
→ 入院のいきさつは、こちらです。

きょうの横浜は、うす曇りで、北風が吹いて、とても寒かったです。
※ ITの難しい話（チャットボット）が延々と続きますので、興味がない方は、スルーして、ポチっとしてください。

―　―　―　―　―　―　―　―　―　―
[ 飲み会調整botで「もしかして、これ？」対応]
現在、このチャットBotは、PoCステータスです。

9月から続けてきた、MS Bot Framework 3.0を使った チャットBotの フィジビリティスタディと、PoCですが、今回で、いったん終了です。

きょうのテーマは、日付や時刻の正規化対応です。
形態素解析エンジンで形態素解析すると、「18:30」は、「18」＋「:」＋「30」に分解されます。
それで時刻を認識できるのですが、スマホ特有の問題として、かな入力から、「18:30」と入力するには、文字種を2回、切り替えなければならず、面倒です。


そこで、「18時30分」と入力しても、同じ結果＝「18:30」になるよう、形態素解析段階で、正規化対応しておくとよいです。
gooラボの形態素解析APIだけでは、これができなかったので、時刻表現正規化APIと組み合わせるようにしています。
日本語自然文入力ができるシステムは、これは、ほぼ対応できているようです。

漢字交じりの時刻表現では、19:00は、「19時」と表記し、分の表記が欠落します。
また、19:30は、「19時30分」の表記のほかに、「19時半」と表記することもありますので、これらに対しても、正規化対応が必要です。

さらに、12時間表現で、19:30を、「午後7時半」とも表記しますので、この対応も必要です。


今回の PoCシステムでは、メンバー共通の予定が開いている日を提示し、選択する仕様でしたが、日付を入力するような チャットBotでは、日付表現の正規化も必要です。
以下の 3つの表記は、すべて、2016/12/15に正規化します。
「2016/12/15に飲み会を設定したい」
「12月15日に飲み会を設定したい」
「来週の木曜日に飲み会を設定したい」

以下の 3つの表記も、すべて、2016/12/09に正規化します。
「12月9日に飲み会を設定したい」
「あさって飲み会を設定したい」
「2日後に飲み会を設定したい」

日本語は難しいですが、日本語自然文を解析するには、必要な処理です。
形態素解析では、上記の処理を「組み込みエンティティ」として処理できるようになっているものを選ぶか、同等の処理を追加するかすることになります。

さて、現在のPoC用のシステム構成ですが、Web Chatコネクターは、さくらのVPS上のApacheから、独自ドメインを取得して、 SSL/TLSで配信しています。
その後ろで動くチャットBot、および、Skypeコネクターは、Microsoft Azureのサービス（商用版）を従量課金で使っています。

Windows系PCの方、Android系スマホの方は、以下の URLでデモを動かすことができます。
　　　↓
飲み会企画チャットBot
https://yuna-k.jp/ → Web Chatによる PoC デモは終了しました

※Apple系（OS X、iOS）の Safariなどは、Microsoftのバグのため、正しく動作しません。
とりあえず、上記のWebチャット画面を表示して、「hi」と打ち込んでください。
あとは、分かります。

※Web Chatコネクターを使っていますので、HTTPSセッションごとにパーソナルエクスペリエンスをデフォルト学習状態にしています。
※Skype、Lync、Facebook Messenger等では、ユーザごとにパーソナルエクスペリエンスを永続化できます。
※いたずらが多いため、Web Chatコネクターは、認証を設定しました。
　・ユーザID：***
　・パスワード： ********
※SkypeのIDがある方は、Skypeコネクターにつなげますが、接続できるユーザ数に制限があります。

[MS チャットBot 実証実験 関連ブログ]
・2016.10.30 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二
・2016.11.04 Microsot Bot Framework 3.0で ニュースbotデモサイト改二
・2016.11.05 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二 再始動
・2016.11.12 MS Bot Framework 3.0で 飲み会調整botのパーソナライゼーション
・2016.11.18 MS Bot Framework 3.0で 飲み会調整botのリスト並べ替えパーソナライズ
・2016.11.20 MS Bot Framework 3.0で 飲み会調整botの日本語自然文入力
・2016.11.25 MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力
・2016.11.26 MS Bot Framework 3.0で 飲み会調整botのiPhoneからのSkypeコネクター対応
・2016.12.06 MS Bot Framework 3.0で 飲み会調整botで「もしかして、これ？」対応
・2016.12.07 MS Bot Framework 3.0で 飲み会調整botで時刻表現正規化対応

ヴェーダが、こう判断している。

オリジナルの太陽炉=GNドライブを持たざる者は、イノベイターにはなれない。

―　―　―　―　―　―　―　―　―　―
[追伸]
グランドキリン 夜間飛行が出ていたので、入院前に、宇宙旅行しました。


きょうは、15時半で早退して、早々にお風呂に入って、洗濯したり、生ゴミを出したり、入院に必要なものをキャスターバッグに詰めたり、入院や検査に必要な書類を書いたりで、バタバタしていました。
あしたは、朝イチで、入院です。
早く退院して、日常生活に復帰したいです。

なお、入院期間（12月8日～）は、予約投稿が毎日アップされるように設定し、コメント欄を開けています。
寝込んでいても、iPhone 7 Plusで、コメント欄を読むだけはできますが、皆さまのブログを訪問などはできないと思います。
なお、病院の許可が出たら、Macbook で、病室の写メを追記しようかと考えています。

[追記]
ネットで調べたら、心カテ検査に要する時間は、約30分の病院が多いですし、当日夜に帰宅できるところもあります。 でも、今の病院では、1時間半かかる、入院は 3泊4日、と言われています。 明日、病院へ行って、この違いの説明がつかない時は、キャンセルするかもしれません。

タグ：夜間飛行 ビール グランドキリン 日本語 形態素解析 チャット bot 正規化 日付表現 時刻表現 skype

MS Bot Framework 3.0で 飲み会調整botで「もしかして、これ？」対応

2016年12月6日（火）
心カテ入院まで、あと 2日です
→ 入院のいきさつは、こちらです。

きょうの横浜は、晴れましたが、北風が吹いて、とても寒かったです。

※ ITの難しい話（チャットボット）が延々と続きますので、興味がない方は、スルーして、ポチっとしてください。

―　―　―　―　―　―　―　―　―　―
[ 飲み会調整botで「もしかして、これ？」対応]
現在、このチャットBotは、PoCステータスです。

11月25日の記事で、語句類似度計算による類似語入力について書きました。
・2016.11.25 MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力

あいまいな入力でも、「読み」や「レーベンシュタイン距離」などで、類似度が近ければ、正しい語句を入力したと見なす機能です。
この機能を追加するきっかけは、Google検索エンジンの「もしかして： ＸＸＸＸ」類推です。

これ、べんりですよね。
うろおぼえ、あいまい、打ち間違い、など、よくある人間のマイナス面の特性をカバーしてくれます。

11月25日の記事で、語句類似度計算による類似語入力では、計算で類似度を求めており、人間でも、聞き間違いがあるように、計算間違いもあります。
計算結果を鵜呑みにして処理する会話プロセスを改修して、「もしかして、ＸＸＸＸ？」と確認をとり、肯定されたら確定し、否定されたら、もういちど聞き直すように改善しました。
※改行されないのは、MicrosoftのSkypeコネクターのバグです

上記例では、「ルーナ」という店名を「ネーナ」と誤応答していますので、「もしかして、ルーナ？」と確認し、「はい」と肯定されたら、店名として選択しています。

以下の例のように、否定した場合は、類推結果は使用せず、再度、店名を問い直すようにしました。

チャットBotのPoC記事は、あと 1回で終了です。

ITの進歩により、ものすごく便利になりました。
その中でも、最も便利なツールが、Googleなどに代表される 検索エンジンでしょう。
いまや、「とりあえず、ググれ」、という言葉が通用するぐらい、よく使われています。
最近の Googleは、「横浜で女子会向けのイタリアンの店」といったふうに、日本語自然文での検索ができるようになり、それがスマホで、移動しながらでき、しかも無料で使える点が極めて優れたITツールと言えるでしょう。

一時期、Wikipediaの全ページを機械学習するなどした知識を使い、極めて自然な言葉で雑談ができる AIロボットのようなものが注目されましたが、それほど需要が伸びてはいないようです。

一方で、2～3年前から、AIブームが起きており、その中で、コールセンター向けのチャットBotが、実際に現場で使われるようになりました。
大規模なコールセンターでは、毎日、何千本とかかってくる電話応対をしているわけであり、お客様に聞かれたことを、質問しながら、最終的に決着がつくまで会話します。
扱っている商品が、ある程度絞られれば、Q ＆ Aを適切にこなすには、応対履歴を機械学習させたAIは活躍することでしょう。

しかし、一般に、AIに期待することは、雑談でもなく、クイズ王でもなく、囲碁チャンピオンでもなく、コールセンターのベテランオペレータでもありません。
いま、目の前にある、手作業でやると、めんどくさいと思われるようなデイリーなルーティンを、手助けしてくれる AIが必要です。
自分の場合は、毎日、きまった時間に 365日、ブログを書いています。
また、nice! をいただいた方のブログを訪問し、nice! をお返ししたり、記事にコメントしたりしています。
でも、ゲームやブログは、趣味だから、デイリーな単純ルーティンが継続できます。
ところが、仕事の上でも、似たような状況があり、これをなんとかしたいと考えています。
つ・ま・り、
百科事典の知識も、囲碁の定石も、Q＆Aも要らないのです。
「いつもやってる、あれ。あれを、きょうもやって。」と言うと、「あれ（＝デイリーなルーティンや、決まった作業）」をやってくれるAIが欲しいです。
で、そのためには、検索型でも、Q＆A型でもない AIが必要になるわけでして、そのためには、「あれ」は、どうやれば実行できるか（プログラムをゴリゴリ書くのはナシね）を、考えています。
核心になるところは、その方式です。（・・・ここが一番おもしろいところ！）
今のAIだと、「カスタマイズすればできます」「コードを書けばできます」「機械学習すればできます」的な、「がんばればできます」が答えでしょうけれど、そんなのは答えになっていません。
おそらく、そこの答えを持っていないと、機械学習の知識だけでは、たとえ、IBM社のWatsonをもってしても、満足できる答えを得ることはむずかしいでしょう。
そういうわけで、現状のQ ＆ A型のAIエンジンには、いくら知識が豊富であっても、興味が薄いのです。（コールセンターを始めるなら別です）

さて、現在のPoC用のシステム構成ですが、Web Chatコネクターは、さくらのVPS上のApacheから、独自ドメインを取得して、 SSL/TLSで配信しています。
その後ろで動くチャットBot、および、Skypeコネクターは、Microsoft Azureのサービス（商用版）を従量課金で使っています。

Windows系PCの方、Android系スマホの方は、以下の URLでデモを動かすことができます。
　　　↓
・2016.12.07 MS Bot Framework 3.0で 飲み会調整botで時刻表現正規化対応

※Apple系（OS X、iOS）の Safariなどは、Microsoftのバグのため、正しく動作しません。
とりあえず、上記のWebチャット画面を表示して、「hi」と打ち込んでください。
あとは、分かります。

※Web Chatコネクターを使っていますので、HTTPSセッションごとにパーソナルエクスペリエンスをデフォルト学習状態にしています。
※Skype、Lync、Facebook Messenger等では、ユーザごとにパーソナルエクスペリエンスを永続化できます。
※いたずらが多いため、Web Chatコネクターは、認証を設定しました。
　・ユーザID： bot
　・パスワード： 当ブログの画像認証文字列
※SkypeのIDがある方は、Skypeコネクターにつなげますが、接続できるユーザ数に制限があります。

[MS チャットBot 実証実験 関連ブログ]
・2016.10.30 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二
・2016.11.04 Microsot Bot Framework 3.0で ニュースbotデモサイト改二
・2016.11.05 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二 再始動
・2016.11.12 MS Bot Framework 3.0で 飲み会調整botのパーソナライゼーション
・2016.11.18 MS Bot Framework 3.0で 飲み会調整botのリスト並べ替えパーソナライズ
・2016.11.20 MS Bot Framework 3.0で 飲み会調整botの日本語自然文入力
・2016.11.25 MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力
・2016.11.26 MS Bot Framework 3.0で 飲み会調整botのiPhoneからのSkypeコネクター対応
・2016.12.06 MS Bot Framework 3.0で 飲み会調整botで「もしかして、これ？」対応
・2016.12.07 MS Bot Framework 3.0で 飲み会調整botで時刻表現正規化対応

―　―　―　―　―　―　―　―　―　―
[追伸]
近所のファミレス（バーミヤン）の、梅レタスチャーハンです。



ヴェーダが、こう判断している。

オリジナルの太陽炉=GNドライブを持たざる者は、イノベイターにはなれない。


あしたは、午後 3時に早退して、入院準備します。
はやく入院して、早く退院して、日常生活に復帰したいです。

タグ：梅レタスチャーハン skype バーミヤン チャット 語句類似度 gooラボ WebChat もしかして Google 確認 bot

MS Bot Framework 3.0で 飲み会調整botのiPhoneからのSkypeコネクター対応

2016年11月26日（土）

きょうの横浜は、よく晴れて、放射冷却で冷え込みました。

※ ITの難しい話（チャットボット）が延々と続きますので、興味がない方は、スルーして、ポチっとしてください。

―　―　―　―　―　―　―　―　―　―
[飲み会調整botのiPhoneからのSkypeコネクター対応]
現在、このチャットBotは、PoCステータスです。

本来は、iPhone 7から、モバイルでチャットBotにアクセスしたいのですが、Microsoft Bot Frameworkの Web Chatコネクターのバグにより、AppleのOS（OS X, Mac OS, iOS）上の SafariやChromeではステートフルな会話の状態維持ができません。

仕方なく、Androidスマホから Wi-Fiで Web Chatコネクターに接続していましたが、Windows 10などのPCブラウザ用に設計されているため、フォントサイズが小さい（しかも固定サイズ）のです。
こんな感じ　↓　で表示され、文字が小さくて、ほとんど読めません。

いちいち、スマホ画面を拡大して、画面いっぱいに広げると、なんとか読めます。

「だったら、スタイルシートで文字サイズを変えればいいじゃん。」
ダメなんですよ。
Web Chatフレームは、IFRAMEタグになっていて、その中は、Microsoft Bot FrameworkのWeb Chatコネクターが握っていて、スタイルシートを変更できません。
「Microsoft、ダメダメじゃん。」

そこで、iPhone 7でも使える、Skype for iPhoneを使うことにして、そのためのSkypeコネクターをチャットBotに接続しました。



いきなり iPhone 7から接続せず、まずは、テストを兼ねて、Windows 10のSkypeアプリから、Slypeコネクターに接続し、チャットBotに接続です。

想像していたよりも、すんなりと、つながりはしました。
でも、Skypeは、Web Chatのような HTTPセッションでの会話セッション管理ではないので、MicrosoftのSkypeコネクターのバグも含めて、さまざまな予期せぬ問題が続出し、Skype対応で、1日、かかってしまいました。

へぇ、で、どんなところで、どんな問題が出て、どう対応したんですか？
見ての通り、改行ができないので箇条書きができず、見栄えが悪い、というのも、問題のひとつです。（Microsoft謹製 Skypeコネクターのバグ。Skypeは、改行コードをサポートしている）
それ以外にも、いろいろ問題が出て、対応に追われましたが、、、
「質問していただいても、お答えできないものもございます。」
ということにさせていただきます。（そこんとこが、ノウハウなので）

ゆるゆるブログを書いていたら日付が変わりそうなので、巻いていきます。

iPhone 7で接続するには、Apple Storeで、Skype for iPhoneをダウンロードしてインストールし、チャットBotを連絡先に登録します。

あとは、相手が人間と思って、普通に メッセージを送って会話すればよいです。
※繰り返しになりますが、改行されないのは、Microsoftのバグですよ～


とまぁ、図の中に、コメントをつけた通りです。

「ぐるなび」と連携していますので、リンクのURLを自動的に調べて、料理の画像をサムネイル表示します。
このサムネイル画像もリンクになっており、クリックすると、「ぐるなび」サイトに飛び、空席情報を調べたり、予約したりもでき、そのあと、Skypeの会話プロセスに戻って、続きの会話ができます。


惜しいなあ。
これで、ちゃんと改行ができていれば、かなり良い出来だったのにね。
当たり前すぎて下らないので書きませんでしたが、当然、接続したユーザごとにユーザエクスペリエンスを永続化するパーソナライズ型チャットBotです。

これも繰り返しになりますが、Web Chatコネクター用のコードを、Skypeコネクターに対応させるために、あちこちを修正するハメになり、仕様も変わりました。
でも、これも繰り返しになりますが、
「質問していただいても、お答えできないものもございます。」
ということでお願いします。（ノウハウなんでね…）
まぁ、LINE、Skype、LyncなんかのIM用Botは、HTTPのWeb技術とは違いますから、同じような考えで設計すると、悲惨な結果になります、とでも申し上げておきます。

現在のPoC用のシステム構成ですが、Web Chatコネクターは、さくらのVPS上のApacheから、独自ドメインを取得して、 SSL/TLSで配信しています。
その後ろで動くチャットBot、および、Skypeコネクターは、Microsoft Azureのサービス（商用版）を従量課金で使っています。

Windows系PCの方、Android系スマホの方は、以下の URLでデモを動かすことができます。
　　　↓
・2016.12.06 MS Bot Framework 3.0で 飲み会調整botで「もしかして、これ？」対応

※Apple系（OS X、iOS）の Safariなどは、Microsoftのバグのため、正しく動作しません。
とりあえず、上記のWebチャット画面を表示して、「hi」と打ち込んでください。
あとは、分かります。

※Web Chatコネクターを使っていますので、HTTPSセッションごとにパーソナルエクスペリエンスをデフォルト学習状態にしています。
※Skype、Lync、Facebook Messenger等では、ユーザごとにパーソナルエクスペリエンスを永続化できます。
※いたずらが多いため、Web Chatコネクターは、認証を設定しました。
　・ユーザID： bot
　・パスワード： 当ブログの画像認証文字列
※SkypeのIDがある方は、Skypeコネクターにつなげますが、接続できるユーザ数に制限があります。

[MS チャットBot 実証実験 関連ブログ]
・2016.10.30 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二
・2016.11.04 Microsot Bot Framework 3.0で ニュースbotデモサイト改二
・2016.11.05 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二 再始動
・2016.11.12 MS Bot Framework 3.0で 飲み会調整botのパーソナライゼーション
・2016.11.18 MS Bot Framework 3.0で 飲み会調整botのリスト並べ替えパーソナライズ
・2016.11.20 MS Bot Framework 3.0で 飲み会調整botの日本語自然文入力
・2016.11.25 MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力
・2016.11.26 MS Bot Framework 3.0で 飲み会調整botのiPhoneからのSkypeコネクター対応

―　―　―　―　―　―　―　―　―　―
[追伸]
今朝は晴れましたが、放射冷却で、早朝は、冷えました。
記事が長くなったので、雑談はやめておきます。

ヴェーダが、こう判断している。

オリジナルの太陽炉=GNドライブを持たざる者は、イノベイターにはなれない。

タグ：チャット bot WebChat skype コネクター iPhone ぐるなび パーソナライズ サムネイル 認証

MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力

2016年11月25日（金）

きょうの横浜は、よく晴れて、放射冷却で冷え込みました。

※ ITの難しい話（チャットボット）が延々と続きますので、興味がない方は、スルーして、ポチっとしてください。

―　―　―　―　―　―　―　―　―　―
[飲み会調整botの語句類似度計算による類似語入力]
現在、このチャットBotは、PoCステータスです。

世の中には、「多様な入力方法がウリです」というチャットBotもあります。
長いアルファベットの英語のスペルや、長い漢字交じりのお店の名前や、会社の名前や、人の名前を、正確に入力するのは、手間がかかりますし、間違いえることもあります。
そこで、そういったケースで、簡単に固有値表現（会社名や、人名、地名など）を入力するときに便利な方法あります。

さっそく、4時間ぐらいで、飲み会調整botに、語句類似度計算による類似語入力対応を実装して、試してみました。

お台場の「Trattoria Pizzeria LOGIC」というお店で、19:00から誕生会がしたいので、そのように日本語自然文入力しています。
これは、形態素解析と、意味解析を行っています。
「ぐるなび」で人気のお台場のお店のリストが箇条書きで表示され、お店のサイトへのリンクも表示されます。



ここで、アルファベットの お店の名前を正確に打ち込むのは難しいので、番号で「3」と入力すればよいのですが、一部の語の読み方が分かれば、「カタカナ」や、「ひらがな」などで、お店の名前の一部を入力すれば、お店を選ぶことができます。

これは、辞書を作って変換するとか、今どき、そんなレガシーな処理をやっていません。
お店の名前を「語」に分解し、しゃべるときの「音」の類似度を計算して、数値計算で判定しています。
「Trattoria」は、「とらっとりあ」と発音するので、「トラットリア」と入力すれば、音が同じなので、計算で同定できます。

　["Trattoria","トラットリア"]

　　　　↓　読み方の類似度計算

"score": 0.7536330573456226

スコアは、0.0 ～ 1.0で表現されますので、0.753は、高確率で同じものと認識します。

アルファベットだけでなく、漢字も、「塚田農場」を「つかだのうじょう」と入力しても、同じことです。

では、ステートフル会話セッションを、マジックワード「キャンセル」で取り消して、こんどは、
アキバの「GUNDAM Cafe」でオフ会を設定してみます。



こんどは、アキバのお店のリストに変わります。
そして、「ガンダム」と入力すれば、「GUNDAM Cafe」と識別します。
読み方の音が同じだからです。

【類似度の比較】

店名	入力	類似度
ふらんす亭	ふらんすてい	0.44123316775998394
猫カフェ	ねこかふぇ	0.6703200460356393
GUNDAM	ガンダム	0.5986132188802234
bonbori	ぼんぼり	1.0
bonbori	bonjiri	0.751477293075286
bonbori	GUNDAM	0.42437284567695

ここで、やっかいなのは、「音 ＝ 読み方の類似度」の計算だけでは、「bonbori」と「GUNDAM」が、わりと近いスコアになることです。
例がよくないですが、タモリさんの番組の『そら耳アワー』という現象のようなものです。（ゴニョニョ）
しかし、スコアのボーダーラインを上げると、「ルーナ」を「ニーナ」や「ネーナ」と、うろ覚えしていた時に、拾えなくなってしまいます。
さて、どうする？！

そこで、、、
同じ文字種の語に対しては、『レーベンシュタイン距離』を計算します。
　　↓
https://ja.wikipedia.org/wiki/%E3%83%AC%E3%83%BC%E3%83%99%E3%83%B3%E3%82%B7%E3%83%A5%E3%82%BF%E3%82%A4%E3%83%B3%E8%B7%9D%E9%9B%A2

レーベンシュタイン距離による類似性判定は、DNA配列同士の類似性を判断するために応用されている方法です。

では、上記の、うろ覚えの店名を入力しても、類似度のボーダーラインを超えていれば、店名を認識できるか試します。
ここでは、「ダイニング＆カフェ Luna ルーナ」を、類似した「ニーナ」と入力してみます。



上記のように、店名を間違って覚えていても、うろ覚えでも、読み違えても、入力し間違えても、ある程度類似していれば、店名を認識することができます。
会社名や、人名、地名など、固有値表現は、うろ覚えだったりして、正確に入力するのが難しいでしょう。

何でもかんでも、DBに辞書を作ればいいってもんじゃないんですよ。 ←バカのひとつ覚え
誰がDBの辞書をメンテナンスするんですか！？

現在のPoC用のシステム構成ですが、さくらのVPS上のApacheから、独自ドメインを取得して、 SSL/TLSで配信しています。
その後ろで動くチャットBotは、Microsoft Azureのサービス（商用版）を従量課金で使っています。


Windows系PCの方、Android系スマホの方は、以下の URLでデモを動かすことができます。
　　　↓
・2016.11.26 MS Bot Framework 3.0で 飲み会調整botのiPhoneからのSkypeコネクター対応

※Apple系（OS X、iOS）の Safariなどは、Microsoftのバグのため、正しく動作しません。
とりあえず、上記のWebチャット画面を表示して、「hi」と打ち込んでください。
あとは、分かります。


※Web Chatコネクターを使っていますので、HTTPSセッションごとにパーソナルエクスペリエンスをデフォルト学習状態にしています。
※Skype、Lync、Facebook Messenger等では、ユーザごとにパーソナルエクスペリエンスを永続化できます。

[MS チャットBot 実証実験 関連ブログ]
・2016.10.30 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二
・2016.11.04 Microsot Bot Framework 3.0で ニュースbotデモサイト改二
・2016.11.05 Microsot Bot Framework 3.0で 飲み会調整botデモサイト改二 再始動
・2016.11.12 MS Bot Framework 3.0で 飲み会調整botのパーソナライゼーション
・2016.11.18 MS Bot Framework 3.0で 飲み会調整botのリスト並べ替えパーソナライズ
・2016.11.20 MS Bot Framework 3.0で 飲み会調整botの日本語自然文入力
・2016.11.25 MS Bot Framework 3.0で 飲み会調整botの語句類似度計算による類似語入力

―　―　―　―　―　―　―　―　―　―
[追伸]
今朝は晴れましたが、放射冷却で、早朝は、冷えました。
今朝の富士山です。

とはいっても、横浜の海沿いは、気温 7℃です。（冷蔵庫程度）
気温 2℃とか、3℃のところもある中で、暖かいほうかと思います。
まだ、ウールやアンゴラのコートではなく、ナイロンコートでいけます。

土曜日は、朝から出かけますので、ブログ訪問が、夜になります。



ヴェーダが、こう判断している。

オリジナルの太陽炉=GNドライブを持たざる者は、イノベイターにはなれない。

タグ：bot API WebChat 類似語 gooラボ 語句類似度 チャット レーベンシュタイン距離 パーソナル エクスペリエンス うろ覚え 多様性