みなさんこんにちは。
色々忙しい中ではあるけれど、なんとかディープラーニングの勉強を継続しています。でも、やっぱり勉強ばっかりだと疲れてしまいますよね。
「何か手を動かして物を作りたいな」
と思っている矢先、ふとKaggleでこんなデータセットを見つけました。
なにやらデータサイエンスに関わる人の為に、古代の哲学書を無料でアップしてくれているらしい。コーランとか仏教の聖典とか色々あるみたいですが、僕が気になったのはやはりこちら。
古代ローマ皇帝マルクス・アウレリウスの「自省録」です。
この本の岩波文庫版に10年前くらいに出会ってから、ふと思い出してこの本を読み返しています。辛いときに心に響く言葉が多くて、プライベートでも仕事でも、壁にぶつかったときにはいつもこの本を開いています。
「もしＡＩが自省録を学べば、新たに生み出されるアウレリウス帝の格言で、僕のことを励ましてくれるんじゃないか・・・？」
(英wikiより)
そんな軽い気持ちで作業に取り掛かりました。
しかし、一番の壁は「データの前処理」でした。
kaggleに載ってるテキストファイルを開くと、一つの文節に複数の改行があるという構成になっていました。まずはこの改行を除去しなきゃならない。
うまいこと置換を使って改行を除去したものの、次はCSVファイルへの変換に手間取った。
一時間ぐらい格闘した後、GoogleSpreadSheetを使えばうまいことtextからcsvにファイル変換することが出来ました。やっぱ困ったときはグーグル先生だ、さすが。
さっそくColabでコード作成をしていく。
このTextLMDataBunchが本当にすごくて、この一行でcsvファイルから学習用に訓練データと実証データを準備してくれるという頼もしさ。
画像学習だと、ピクセルは数字で構成されているから、そのままニューラルネットワークにぶち込めるけれども、英語の場合はそうはいかない。
①つながっている単語を分解する →didn'tをdidとn'tの二語に分解する
②単語一つ一つに番号を割り振る →theは1、movieは2のように
①をTokenization、②をNumericalizationというらしい。
何はともあれ、このややこしい作業をさらっと一行で出来ちゃうのはさすがPytorchだしFastAIだなって思いますよね。
あとは最適な学習率を探して、
よし適当に学んでみろと無茶振りをしたら、
とりあえず学習が完了しました。
さて、2019年に降り立ったマルクスアウレリウス帝が何を仰るか、試してみましょう。learn.predictはいわばお題。まずはnatureの後に続く言葉をつむいでもらいます。
「自然、宇宙、宇宙、宇宙世紀宇宙ステーション」
古代ローマからいきなり宇宙世紀ですか。ありがとうございます。
シャアもびっくりの進化ですよ。通常の何倍で進化したんだ陛下。
まあ、悪いのは陛下ではなく僕のほうだろう。学習率をいじったり、色々と試してみる。
百本歯の象牙、ソクラテスが最初に彼らを追って、太古の店に行った。
なんか出来の悪いバトルマンガみたいですね。どんどん行きましょう。
私の名前はカーズとなった。(以下略
あの柱の男の一味ですよね、わかります。リサリサ先生でウィンウィンしたり、考えるのをやめたりされるんですよね。
私の国、死から死後の死まで、病気になって死んだ。だから耐えるのだ。
どうすればこんなに哀しい文章が生成されるのだろう。胸が痛くなる。
確かにローマ帝国は476年に滅びるし、陛下の時代にも苦労が多かったけれど・・・。
私はきちんとした言語を持っている。私は私だと言えるのだ。
よかった、捉えようによっては格言に聞こえるような気がする。なるほどたしかにそうだ。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
おそらくちゃんとした言葉が出なかったのは、僕の技術力が低いことに加えて、借りてきたニューラルネットワークが事前にwikipediaから文章を学んでいるからかもしれない。さすがに皇帝陛下の時代の言葉遣いとwikipediaでは相容れないか。
しかし、AIに勉強させる前に、僕もまだまだ勉強することが沢山ありそうだ。がんばろう・・・。
＜おまけ＞
トランプ大統領のツイートをひっぱって来て学習させると、精度37％まで到達しました。やっぱり現代文には現代文ということですね。
さすがトランプ氏。わかりやすい英語だからわかりやすい英語がどんどん生成される。
おわり
