語学・言語学・言語創作 Advent Calendar 2024の7日目に向けた記事です。
s'juas tēle. le a Qunoxts.
最後に記事を投稿してからどのくらいたったのかは分からないですが、皆さんお元気にしていますでしょうか?
今日はルエン語レイア語に関しての進捗報告を兼ねて記事を書かせていただきます。
人工言語対応 LoRA 作成
まず、LoRA とは今のご時世でかなり熱狂的な生成 AI に関する技術で、元の生成 AI のモデルに使う Mod の様なものです。
この LoRA にトリガーワード (LoRA を活性化させるための呪文だと思ってください)を設定して学習させるのですが、この際のトリガーワードを人工言語由来のもので生成が出来ないかを調べていました。
結論から言えば元のモデルを学習させる際のキャプションを人工言語にして学習させる方が効率が良いという結論になりました。
それもそのはず LoRA はモデル依存のデータで、大本のモデルは書き換えないからですね。いろんな手法を考えて試してはいましたがあまりうまくいかなかったです。
今度は大本のモデルに学習させていきたいと思っています。
……
……
……
ルエン語・レイア語は?
ルエン語は現在誠意制作中ですが、レイア語は他の人も巻き込んで制作したいと考えているものになります。
近々、案内出来たらいいなと思っています。
Top comments (0)