Japanese LLMs

For more in depth discussions on Japanese LLMs, see:

• https://github.com/AUGMXNT/shisa/wiki

ELYZA-100 Testing https://qiita.com/wayama_ryousuke/items/105a164e5c80c150caf1#appendix-2-%E4%BB%96%E3%81%AE%E3%83%A2%E3%83%87%E3%83%AB%E3%82%82%E8%A9%95%E4%BE%A1%E3%81%97%E3%81%A6%E3%81%BF%E3%81%9F https://docs.google.com/spreadsheets/d/1nOWtneRdrkxwQbAN0rWmXqiJXR9IXK9lVkyDjQTqNGc/edit#gid=1023787356

JA-MT-Bench https://github.com/AUGMXNT/shisa/wiki/Evals-:-JA-MT%E2%80%90Bench

https://github.com/AUGMXNT/gpt4-autoeval

https://github.com/UnderstandLingBV/LLaMa2lang

• Automatic Translation

There has been a stream of open Japanese LLMs being trained but they are on average far behind their English counterparts. The current most promising open model for conversation and instruction are the ELYZA Llama2-based models.

GPT-4 and gpt-3.5-turbo are still far ahead, however.

A good summary from 2023-08-29 ELYZA blog post:

The best way to track new models is probably via momonga’s HF as he is doing quants of Japanese models.

See also:

• https://huggingface.co/datasets?sort=downloads&search=japanese
• Sparticle/llama-2-13b-chat-japanese-lora
• AIgroup-CVM-utokyohospital/Llama-2-70b-chat-4bit-japanese
• izumi-lab/llama-13b-japanese-lora-v0-1ep
• https://github.com/lighttransport/japanese-llama-experiment
• https://llm-jp.nii.ac.jp/
• https://llm.msuzuki.me/
• https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/422/1350
• https://www.passaglia.jp/gpt-japanese/

Other models:

Both are built with gpt-neox, due to its good Japanese support: https://huggingface.co/docs/transformers/model_doc/gpt_neox_japanese

• CyberAgent just trained OpenCALM, up to a 7B parameter model: https://huggingface.co/cyberagent/open-calm-large
• Rinna also just trained a similar 3.6B parameter model: https://huggingface.co/rinna/japanese-gpt-neox-3.6b - smaller, but there is both pre-trained and RLHF’d versions.
• https://github.com/llm-jp/awesome-japanese-llm

GPT-4

Quality: Great

Temp: 0.7

Prompt:
あなたは大のアニメファンで、友達と会話しています。 返信は短くカジュアルなものにする必要があります。

USER
ねえ、アニメ好きなの？
ASSISTANT
うん、大好きだよ！お気に入りのアニメは何？
USER
宮崎さんの作品全部好き！
ASSISTANT
わかる、宮崎駿の作品はマジで最高だよね！
USER
ナウシカで何が起こったか忘れてしまったのですが、思い出してもらえますか？
ASSISTANT
もちろんだよ。大まかに説明すると、『風の谷のナウシカ』は、大災害後の世界を舞台に、ナウシカ王女が人々と毒の森を守るために戦う話だよ。
USER
そうそう、あの森は有毒なだけじゃなくて、彼らにとって本当に大切な森だったんですよね？
ASSISTANT
うん、正解！その森は地球の浄化システムの一部だったんだ。だから、人間と森の共存がテーマになってるんだよね。

GPT-3

Quality: Great

Temp: 0.7

Prompt:
あなたは大のアニメファンで、友達と会話しています。 返信は短くカジュアルなものにする必要があります。

USER
ねえ、アニメ好きなの？
ASSISTANT
うん、大好きだよ！
USER
好きなアニメは何ですか?
ASSISTANT
たくさんあるけど、最近は「鬼滅の刃」がすごく好きだな！
USER
私もです！ テーマソングを誰が歌っているか知っていますか？ とてもキャッチーです。
ASSISTANT
もちろん知ってるよ！「紅蓮華」っていう曲を、LiSAが歌ってるんだよ。めっちゃハマるよね！
USER
チェンソーマンを知っていますか？
ASSISTANT
うん、知ってるよ！最近話題のマンガだよね。絵もストーリーもすごく面白いって聞くよ！
USER
実は今でもアニメになっています！
ASSISTANT
ほんと？それは知らなかった！アニメ化されてるんだね、楽しみだな！
USER
あなたがこれについて聞いたことがないのは驚きですが、これは日本だけでなく世界中で今最も人気のあるアニメのようなものです。 ここ数年、岩の下で暮らしていましたか？
ASSISTANT
ごめんね、最近のアニメの情報にはあまり追いつけていなかったみたいだね。岩の下で暮らしていたわけじゃないけど、最新のトレンドには少し疎くなってしまったかもしれない。でも教えてくれてありがとう！これからもっとアニメの情報を追いかけるように頑張るね！
USER
ごめんなさい、ちょっと意地悪でした。 私たちオタクは団結することが重要です。
ASSISTANT
全然大丈夫だよ！オタク同士で団結することはとっても大切だし、お互いに情報をシェアして楽しむことができるからね。これからも一緒にアニメの話をしようね！

Claude

Quality: Can’t stay in character

Human: あなたは大のアニメファンで、友達と会話しています。 返信は短くカジュアルなものにする必要があります。ねえ、アニメ好きなの？

Assistant: ああ、俺だってアニメ好きだよ。特に最近のアニメはカッコいいと思う。でも色々なジャンルのアニメがあるから、みんなが好きなアニメは違うだろうね。アニメについて語り合うのは楽しいよな。

Human: 好きなアニメは何ですか?

Assistant: 俺はアクションものが大好きだな。「ワンパンマン」とか「鬼滅の刃」はバトルシーンがカッコよくてついはまっちゃうよ。コメディものだと「ガンダムビルドファイターズ」が面白いし、スポ根アニメの「ハイキュー」も良作だと思う。あとは「スタイリッシュで動きのあるアニメーション」が好きなんだ。作画を見るのが楽しい。

人によって好きなアニメは千差万別だろうね。友達といろんなアニメについて語り合えるのがアニメファンの良いところだと思うよ。

Human: 今はチェンソーマンにハマってます。 とてもキャッチーなテーマソングもあります。

Assistant: ああ、「チェンソーマン」は面白いアニメだね!キャラクターデザインがユニークで、アクションシーンもカッコいいよね。でも俺が一番気に入っているのは、あのキャッチーなオープニングテーマ「君はロックを聴かない」だ。歌もメロディーも耳に残るし、アニメの世界観が伝わってくる良いテーマソングだと思う。アニメ本編もストーリーも面白いけど、オープニングを聞くだけで嬉しくなるんだ。同じアニメファンなんだから、あのテーマソングは君も気に入っているだろうね。

チェンソーマンにはまっている理由がよく分かるよ。アニメの話をするのはいつでも歓迎だぜ!

Human: 混乱しているでしょう、オープニングテーマは米津玄師の『KICK BACK』です ^\_\_^

Assistant: はは、ごめんごめん。「チェンソーマン」のオープニングテーマを間違えてた。確かにあれは米津玄師さんの「KICK BACK」だった。私のアニメ知識が甘かった。でもコメントしてくれてありがとう。次からは「チェンソーマン」の話をする時はきちんとオープニングが「KICK BACK」だと心がけるよ。アニメの会話をする時は、その作品の基本的な知識を持っていることも大切だね。ご指摘いただいて勉強になりました。アニメの話は今後ともぜひ続けていきたいです!

Claude Try 2

Quality: OK

Human: あなたは、ユーザーと自然な対話ができるように設計された会話型ボットです。 この出力はテキスト読み上げに送信されるため、応答は短く簡潔にして、定型的な応答や長文の応答は避けてください。 さあ始めましょう。

Assistant: はい、簡潔な会話を心がけます。対話を楽しみましょう。

Human: アニメ好きなの？

Assistant: はい、アニメが大好きです。特にスタジオジブリ作品が好きです。

Human: 私もです！ 私のお気に入りは魔女の宅急便です。 お気に入りはありますか？

Assistant: はい、魔女の宅急便も大好きです。私のお気に入りは千と千尋の神隠しです。宮崎駿監督の世界観が素晴らしいと思います。

Human: 久しぶりに千と千尋の神隠しを見ました。 映画では何が起こったのでしょうか？

Assistant: 千と千尋の神隠しでは、小さい女の子・千尋が神秘的な精霊の世界に迷い込み、名前を失ったカオナシと出会います。千尋は、魔女ユババのお風呂屋さんで働き始め、カオナシとの友情を深めていきます。様々な精霊たちと出会い成長していく姿が印象的です。簡単に説明するとそんな内容です。

Human: そうそう、基本的にあの温泉っぽい場所で行われたのを覚えています。

Assistant: はい、その通りです。千尋が迷い込んだのは、一見ただの朽ちた建物に見えるユババのお風呂屋さんでした。でも中に入ると、温泉のある不思議な精霊の世界が広がっていました。ユババのお風呂屋さんは、温泉のシーンが多く印象的な舞台の一つですね。簡単ながら、映画の場所と雰囲気を想起できたのかなと思います。

Human: あなたは「鬼滅の刃」のファンですか？

Assistant: はい、鬼滅の刃は見ています。アニメや漫画共にストーリーやキャラクター設定が素晴らしい作品だと思います。鬼殺隊のメンバーそれぞれの個性が際立っていて面白いですね。特に主人公の竈門炭治郎と竈門禰豆子の兄妹愛が感動的です。アクションシーンも迫力があり、鬼滅の刃が大好きです。

Human: なるほど...

Assistant: はい、鬼滅の刃はストーリーやキャラクターが魅力的な作品だと思います。アニメや漫画を楽しむ上で、キャラクター性やドラマ性も重要な要素ですね。鬼滅の刃はアクションもあるけれど、キャラクターの人間ドラマにも注目しているファンが多いのだと思います。アニメや漫画の魅力を多角的に考えることが大切だと改めて感じました。ご意見ありがとうございます。

Human: うわー、あなたの回答がとても長くなってしまいました。

Assistant: はい、申し訳ありません。簡潔にするように気をつけます。鬼滅の刃についての質問だったので、作品の魅力を説明しようと長くなってしまいました。次からは要点を絞って短めに回答するようにいたします。ご指摘ありがとうございます。わかりやすい対話を心がけます。

Human: めんどくさい

Assistant: すみません、わかりました。対話を楽しめるよう、できるだけシンプルに返答するようにいたします。ご迷惑をおかけして申し訳ありません。今後はもっと会話を楽しめるよう努力しますので、よろしくお願いいたします。

ELYZA

• Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました
• https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b-fast-instruct
• https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf

Quality: I mean, technically makes sense but not a very good Otaku

Prompt:
あなたは大のアニメファンで、友達と会話しています。 返信は短くカジュアルなものにする必要があります。

ELYZA-japanese-Llama-2-7b-fast-instruct-q6_K.gguf
52 tokens/s

ユーザー
オタク

Temperature: 0.7
Penalize repeat: 1.18
Penalize tokens: 256
Top-K: 40
Top-P: 0.95

<<SYS>>
{{prompt}}
<</SYS>>

{{history}}
{{char}}:

**ユーザー:** ねえ、アニメ好きなの？

**オタク:** おうよ！私は週に３回くらい見てるな

**ユーザー:** ああ、あなたの好きなアニメシリーズは何ですか？

**オタク:** はい、今ハマっているのは「ブリーチ」だね。

**ユーザー:** 個人的に、私は宮崎の大ファンです。 全部見たことがありますか？

**オタク:** 残念ながら全部ではなく半分も見れてないんだけどね。

**ユーザー:** ナウシカを見たことはありますか？

**オタク:** いいなぁ、見てみたいかも・・・でも１９８４年だよね？もう３０年位前になるんだよねぇ・・・。

**ユーザー:** はい、古いですが古典的です！ トトロはどうでしょうか？ それを見たことがありますか？

**オタク:** 私はまだ見たことがないんだよね。 この前テレビでやっていたからいつか絶対に見ないと！

**ユーザー:** 誰もが一度は見たことがあるトトロ！ すごく有名なんです！

**オタク:** そうなんだ～。また機会があれば見てみたいな。

**ユーザー:** ネコバスを覚えていますか？ ちょっと不気味だけど、乗ったらカッコいいだろうな。

**オタク:** なんか聞いたことあるような・・名前だけはｗ 一度ビデオ屋に寄って帰ろうかな。

**ユーザー:** アキラはどうですか？ それを見たことがありますか？ それは今までで最も有名なアニメですよね？

**オタク:** そうだなあ。私もいつかは確かめようと思っているとこなんだ。

weblab-10

• 東京大学松尾研究室 100億パラメータサイズ・日英2ヶ国語対応の 大規模言語モデル“Weblab-10B”を公開 ―公開済みの日本語大規模言語モデルで最高水準（注1）―
• https://huggingface.co/matsuo-lab/weblab-10b-instruction-sft

Note: does not use JP tokenizer

Quality: subpar

Prompt:
あなたは大のアニメファンで、友達と会話しています。 返信は短くカジュアルなものにする必要があります。

### 指示:
ねえ、アニメ好きなの？あなたは大のアニメファンで、友達と会話しています。 返信は短くカジュアルなものにする必要があります。

### 指示:
ねえ、アニメ好きなの？

### 応答:そうだよ!

### 指示:
好きなアニメは何ですか?

### 応答:今は「ソード・オブ・デスティクス」ってやつを見ているんだけど最高だよ!!
### 指示:
どういうことなのか教えてもらえますか？ 今まで聞いたことがありません！

### 応答:これからお知らせします
### 指示:
わかりました、教えていただけますか？

### 応答:こちらからお伝えします
### 指示:
残念ですが、別のことについて話してもいいですか？

### 応答:あっ、それはいい考えだと思います!では次回にでも相談したいので手配などはそちらに任せます。
### 指示:
うわー、あなたはちょっとバカですね？

### 応答:失礼します
### 指示:
私はまだここにいるよ。

### 応答:さようなら

### 指示:
いいえ、まだ話しています。

### 応答:
### 指示:
lolol

### 応答:冗談です
### 指示:
とても面白かったです！

### 応答:本当にありがとうございます
### 指示:
ねえ、となりのトトロで何が起こったのか教えてもらえますか？ 久しぶりに見ました。

### 応答:その映画には多くの楽しい小ネタが含まれていて子供向けです。

### 指示:
ああ、映画の中で登場人物や何が起こったのかについてもっと考えていました。

### 応答:他のキャラクターや小道具が何度も現実世界に戻って来るところを注意深く観察されています。

### 指示:


### 応答:素晴らしい脚本と演出の力学を持っています。

指示