Migdal: あくまねこ

Lojbanを処理できるLLMを作ろう(1)

あくまねこ — Fri, 09 Oct 2026 09:42:30 +0000

ちょっとした導入

ドモ！あくまねこです。超お久しぶり。
現在、ふと思い立ってLojbanを喋るLLM(大規模言語モデル、いわゆるChatGPTとかGeminiとかみたいなもの)を作成しようと画策しており、その開発の日誌としてこの記事シリーズをスタートしました。ぜひよろしくお願いいたします～。

注意書き

この記事シリーズには、多くの(主にPythonで書かれた)コードや技術的な図が含まれます。コードとか技術周り自体に興味がない方は頑張ってスクロールしてその部分を飛ばしちゃってください。~~Qii〇aでやれ？それはそう...~~
また、コードの作成にはClaude Sonnet 5.5を使用しています。AI生成物に関して苦手意識のある方はご容赦ください。

機械学習に興味があまりないよ～って方も、言語学的な方面から楽しめるようにLojbanの説明も交えつつ頑張って記事を書くつもりですので、読んでいただけますと幸いです！

LojbanでLLM作るってどういうこと？

さて、早速本題ですが...皆さんは「こいつ、LLMを作るのになぜ多々ある言語の中からLojbanを~~自力で喋れるわけでもないのに~~選んだのか？」という疑問をお持ちだと思います。
その答えは...
私「ウワ文脈わからないと読めない英文だ　許さない(憤怒)」
私「それに比べてLojbanはいいよね、文法が厳格に決まってて。文章の意味あんまり読まなくても自動的に構造を決定できる言語そうそうないよ」
私「...ん？自動的に構造を決定できる？それってつまり文脈理解のための機械学習の負担を減らせるから軽量なLLM作れるんじゃない！？」
...ということで、「LojbanはLLMとの相性がいい」という仮説のもと、膨大な計算によって文脈判断している通常のLLMとは異なり、文章内の単語の繋がりを事前に処理してAIに渡すことで軽量なLLMを作ろう！と考えたのがキッカケとなっています。
では、そのLojbanがどういう形式の言語なのか、少し解説したいと思います。

Lojbanってどういう言語？

Lojbanは、James Cooke Brownが創始者であるLoglanという人工言語を前身として、Logical Language Group(LLG)が開発を行っている人工言語です。柔軟な形式であいまいさのない文章が書けるため(マジですごい)、芸術分野にも理論的な分野にも応用できるという特徴を持っています。

基本的には、Lojbanの文(正確には命題。bridiと呼ぶ)は、「～である(名詞)」「～する(動詞)」「～しい(形容詞)」などの文章の中心となる意味を持つ要素のselbriと、そのselbriが関係を指し示す項目であるsumtiで構成されています。

例えば、「私が市場に行く」という意味のbridiでは、以下の通り...mi(私)とle zarci(市場)というsumtiについて、klamaというselbriが「mi(私)がle zarci(市場)に行く」という関係を示しています。

文章	mi	klama	le zarci
意味	私	～が～に行く	市場
種類	sumti	selbri	sumti

Lojbanが面白いのは、同じ単語をselbriにもsumtiにも使えるところです。例えば、先ほど出てきたzarciは、selbriとして使うと「～は市場である」の関係を表し、laをくっつけてla zarciというsumtiの形にすると「市場」という意味になります。
そうです。この言語にコピュラ文とかいう概念はありません。すごい
では、どうやって「この単語がsumtiかselbriかどちらか」「どのsumtiがどのselbriに対応するのか」「このsumtiはselbriが指す関係のうち、どこに当てはまるのか」などを判別するのでしょうか？なんと、Lojbanにはかなり厳格な文法ルールがあるので、ある程度は文脈要らずで機械的に判別することができるのです！

LLM実装に向けてどういうことするの？

Lojban文の構造を把握するツールを作る

Lojban文の文章構造のうち、「この単語がsumtiかselbriかどちらか」「どのsumtiがどのselbriに対応するのか」については、なんと偉大なる先人の方々がLojban文を構造木にしてくれるcamxesという自動判別ツール(パーサと呼ぶらしいです)を公開されています。本家はJavaというプログラミング言語で作られているみたいですが、私はPythonという言語しか分からないので...偉大なる先人の方がcamxesをPythonで再現したcamxes-pyを使用させていただくことにしましょう。
今回のプロジェクトでは、このcamxesを拡張して「このsumtiはselbriが指す関係のうち、どこに当てはまるのか」についても処理できるようにしたいと考えています。

LLMに文法の情報を渡したり、LLMが文法に則って出力できるようにする

camxesの拡張がうまくいったら、LLMがその情報を活用できるような仕組みを作ろうと考えています。
現在主流のLLMで使われているTransformerと呼ばれる仕組みは、読み込んだ文章を単語単位で分割し、単語それぞれに文章内での位置(何番目の単語か)の情報を追加した後(Positional Encodingと呼ぶ処理です)、機械学習の力で文脈を判断し(Attentionという仕組みを使います)、その文脈から次にくる確率が高そうな単語を予想して出力することで文章を生成しています。

大まかなLLMの仕組み(Attention is all you needを元に作成)

しかし、この仕組みそのままだったら、折角情報としてまとめたLojbanの文法構造を文章生成に応用することができません。なので、LLMが文章を読む部分と、LLMが文章を出力する部分にちょっとした工夫を加えようと思っています。

LLMが処理する単語に、位置だけじゃなくて文法の情報も埋め込む

LLMが文章を読む部分の工夫として、単語それぞれに文章内での位置(何番目の単語か)の情報を追加する機構であるPositional Encodingを、文章内での位置の情報だけでなく、拡張したcamxesによって判定した文法構造の情報もねじ込めるように改造することにします。文法構造の情報をどうやって単語の情報に足せる形にするかについては未定ですが...まあ追々考えましょう。

表現の自由さを保ったまま文法的に正しい文だけを生成するようにする

LLMが文章を出力するとき、どうしても「次に来そうな単語を予測する」という仕組みのままだと、文法のことを考えてるわけではないため間違った文を生成してしまうリスクがあります。
なので、Lojbanの表現の自由さや文章の内容をLLMが自由に決められる仕組みを保ちつつ、正しい文法構造の文章を出力させるため、bridiごとに「selbriとsumtiの組み合わせ」⇒「その表現に付属させる装飾」の組み合わせをLLMに出力させ、その後機械学習ではないプログラムを使ってちゃんとしたbridiの形に整えるという方法を取ることにします。さらに、生成する単語の選択肢を、事前にその位置に置いても文法エラーにならない単語に絞ることで、LLMが変な位置にありえない単語を生成してしまう事故を防ぎます。
出力の具体的な形式については一旦後回しするということで...。

まとめ、と後書き

Lojban、すごく文法が厳格なので、文脈理解をある程度楽した軽量なLLMを作れるかも
今後はcamex-pyをsumtiの役割まで判別できるように拡張する
camex-pyを拡張できたら、LLMにうまいこと組み込む仕組みを作る

まだ構想段階のアイデアや解決すべき課題も山積みですが、ひとまずこの方針をロードマップとして開発を進めていこうと思っております。
次回はcamex-pyの拡張に片足を突っ込む予定です。実際のPythonコードとかも使いながら解説していくので、ぜひお付き合い頂けますとSuper幸いです。
機械学習に詳しい方とかLojbanに詳しい方、もし何かアドバイスとかご指摘とかがあればジャンジャンお願いします！！~~かなりエアプのまま開発してるので~~
それでは、また次回の記事で～！！

参考文献

The Complete Lojban Language. (n.d.). Lojban.org. https://lojban.org/publications/cll/cllv1.1xhtml-section-chunks/index.html
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. https://doi.org/10.48550/arXiv.1706.03762

ちょっとした個人的な話(飛ばしていい)

Migdalに登録した当初は受験生の立場だったため、数学や理科にキレ散らかしながら「お前を理解するためだけの言語体系を作ってやる(怒)」と息巻いていたんですけど、普通に受験勉強で忙しくてMigdalから離れている間に数学・理科とはマブダチになることができ、なんなら志望校にも受かってウハウハになってました。~~その結果Migdalのこと忘れて2年近く放置してたのは...まあ...~~

で、色々余裕ができた今、過去の私が学習途中で挫折した言語であり、私が作ろうとしていたオリジナル言語よりもよっぽど論理的な言語であるLojbanに改めて向き合って勉強して、あわよくばLojbanを喋るLLM作りたいな～～～と思ったので記事を書いてみることにしました。
~~ひさしぶりすぎるし前の記事が初投稿の記事なせいでこれでいいのかわかんにゃい。~~

こんな感じでゆるりと記事を作成していきますので、今後とも宜しくお願い致します。

めっちゃ論理的で使いやすい言語を作ろう(ガラム語制作日記 1)

あくまねこ — Fri, 08 Nov 2024 07:21:18 +0000

　ドモ！お初にお目にかかります、あくまねこと申します。言語学についてはド(←重要)初心者ですがめっちゃ論理的な読みやすい言語を作ろうとしてる者(モノ？)です。宜しくお願い致します。

　この記事は言語制作時に何を考えてどうしようとしていたのか等の(半分自分用の)備忘録として制作したもののため、不必要・冗長な説明を多く含んでおります。ご了承ください。

言語制作のキッカケ

　突然ですが、日本語って数学的な論述にチョット不向きじゃないですか？
　…エッ、あまりそう感じた事はない？ならば、お手元に令和７年度大学共通テスト　試作問題『数学Ⅰ，数学A』を準備して頂いて、その第２問［１］をご覧ください。導入とか前提条件とか、変数の定義とかに大量の文字数を消費しています。文章をコピペして文字数カウントツールに入れると、導入だけで405文字、(1)は220文字、(2)については672文字もあります。恐ろしい！
　問題を解く際にこれらが導入として与えられているとしても、重要な情報をフィルターするのに多大な時間と労力を消費しますし(それを短時間でやる能力を共通テストは求めているのですが)、共通テスト式ではない自力でイチから解答を作る問題では自分でこのクソ長解答を作る必要があるのです。

…無理じゃん！！！

　と、言う訳で、「数学的な論述をコンパクトかつ可読性良く行えるツールが欲しい！」という願望を叶えるため、補助ツールとしての言語を作ろうと思った所存です。

言語の形式をどうするか

　言語制作のテーマは「論理的」「可読性が高い(エラー訂正がしやすい)」「少ない文字数・単語数で言葉を伝えられる」の3つにしようと思っています。なので全然アプリオリじゃない言語(アポステリオリだっけ…？)になる予定です。だって知ってる単語や表現ベースじゃないと学習に時間かかっちゃうし感覚的にわかりづらいもんね、うん。
　そのため、言語の形式もロジバンみたく無から作るのではなく、今ある言語のテーマに合いそうないい感じの言語から拝借しようと思います。

単語の構造、どうする？(形態論)

　まずは単語の作り方から決めちゃいましょう。そのヒントになる、単語の構造について考える言語学の概念を形態論と言うらしいです。言語学にそこまで詳しくないのでここからの記述はかなりミスっている可能性が高いため、もし何かしら不備が有ればコメント等でご指摘お願い致します…
　単語は複数のパーツ「形態素」で構成されており、意味のベースとなるパーツ「語基」に追加の説明を加える付属パーツ「接辞」がくっついて構成されています。例えば、「話しやすさ」と言う単語は

話し(話す)/やす(-やすい)/さ(-さ)

と、「話す」と言う語基に、「-(し)やすい」「-さ」と言う接辞がくっついてできています。
　人工言語を作るにあたって、一番の問題になる(と私が思っている)点は、これらの語基や接辞をどのような構成にするかと言う点です。一度ルールを決めてしまえばあとは組み合わせで沢山の単語が作れるので…
　さて、論理的で可読性良く文字数を多く使い過ぎない言語を目指すためには、一単語が滅茶苦茶に長いと困ります。単語が長いと文字数に対する区切りの数が少なくなり、その分可読性が下がってしまうからです。
　そのため、英語みたいに接辞コンボを繰り出してくる、めちゃんこ長い合成語があったり、(以下例、接辞と言っていいかが怪しいので適切な例ではない気がする)

floccinaucinihilipilification:軽蔑
"floccus(薄片)" + "naucam(木の実の殻)" + "nihilum(何も無い)" + "pilus(毛)" + "fication(-にすること)"

　日本語みたいに助動詞などをひたすら繋げるやりすぎ膠着語として使えたり、(以下例、こっちは意味的に難解なので適切じゃない気がする)

行動させられたがらないらしいです
"行動する" + "-せ(使役)" + "-られる(受身)" + "-たがる(希望)" + "-ない(打消)" + "-らしい(推定)" + "-です(丁寧断定)"

その様な特徴を持つシステムはなるべく回避したいと思います。かと言って、全ての要素を語根みたくすると今度は一文に要する単語数が途轍もなく増えてしまうので、程よく単語として必要な情報のみを入れることができる様に接辞を作ろうと思います。
　そうですね…英語の接頭辞1個でニュアンスを加えられるシステムはとても便利なので接頭辞はニュアンス用を1個は付けられる様にしましょう。接尾辞はややこしいので品詞変更用のものを1つ、用言には更にテンス・アスペクト(時制諸々)用のものを1つ用意すれば十分とします。足りなかったら後で足せば良いんです、プロトタイプはこれで行きましょう。

まとめ:
接辞を付ける形は「(接頭)-[語根]-(接尾:品詞)-(接尾:時制)」
種類も滅茶苦茶には増やしすぎない
あと膠着語にはしない

　接辞についてはとりあえずこれだけ決めておくとして、今度は語根について考えることにします。
　語根は単語の意味のベースとなる部分で、語根の意味さえ知っていれば大体の意味の分野を判別することができますが、そもそも語根を覚えられないと何も意味が分からないのが大問題です。英語学習を進める中で、英語長文の中に全く知らない語根ベースの単語があった場合、意味の予想も付けられず「終わった…読めない…」となる事も多々あります。
　語根にも意味的な予想が付けられる法則を作りたい——。その時私が出会ったのはセム語族でした。
　どうやら、セム語族と言うジャンルの言語には基本的に子音3つを語根(語基)にする仕組みが有って、その間に挟む母音などはセム語族では格や時制などの接辞(貫通接辞)として扱われるみたいです。更にそこに接頭辞や接尾辞をくっつけて色々な単語が形成されます。例えば、

ktb:「書く」と言うニュアンスの語基
ktibt:「私は書く」(一人称単数)
kitbet:「彼女は書く」(三人称女性単数)

と言った感じです。
　しかし、この言語の仕組みをメインに据えて言語作成すると、文字上ではコンパクトに収まって良い感じになりそうですが、音声にした時に一音でも聞き逃したり発音をミスると情報伝達が失敗すると言うリスクがある様です。
　では、その問題をどうするか。子音それぞれに大まかな意味を割り当て、母音部をニュアンスの違いとかを現すモノにすれば、多少聞き逃してもギリギリ文脈とかから推測できる形で、覚える事は少ないまま意味の組み合わせを滅茶苦茶増やすことができそうです。長すぎても困るので「子音+母音+子音+母音+子音」で良いでしょう。仮に子音8個、母音5個だったとしても12800個の語根が作れます。多分語彙不足には困らない筈です。多分。

まとめ:
語根は「子音+母音+子音+母音+子音」にする
子音で大体の意味、母音でニュアンスの差を表す。

　具体的にどう言う音素を使うのか、どんな単語を作るのか、どんな接辞を用意するのかについては後ほど考えるとして、一旦は大体の方針が決まったのでヨシとしましょう。ヨシ！

文の構造、どうする？(統語論)

　単語の作り方が決まったので、次は文全体としての構造を考えていきます。この言語のテーマとして論理的である(≒論理的な事物・数式や条件を表現しやすい)ことを重視したいので、チョット数学の論理記号や計算の記号を見てみましょう。

A⊃B：A(名詞)はB(名詞)を含む(条件式)
A/B：A(名詞:数)をB(名詞:数)で割った値(名詞)
sinA：A(名詞:数)の正弦の値(名詞)

この記号と数字の表記方法は、「処理を示す部分」を動詞、「処理される数値」を名詞とすると、SVO型の文型とかなり類似していると分かります。例えば、先程の例の内の一つをSVO型の言語である英語で表すと、

A⊃B：A contains(〜を含む) B
A/B：A divided by(〜で割られる) B

となります。模範的なSVO…！！

　しかし、数学記号を前述の通りに動詞として扱うとうまくいかないパターンもあります。「sinA」がその最たる例です。「sin」を処理を示す部分として動詞としてしまうと、意味的には「Aが正弦を取られたもの」と受け身の意味となるのですが、語順が他の受け身(A/Bなど)と異なるものとなってしまいます。

A/B：O1 V O2 (O1がO2で処理される)
sinA：V O1 (O1が処理される)

「これは倒置です！！」として通すこともできそうですが、それをするとただただ文構造がややこしくなるので、「sin」の様な記号には動詞以外の意味を持たせるべきでしょう。最終的に「sinA」は数字こと名詞として扱えるものとなるため、「sin」は「A」を修飾する形容詞としてしまいましょう。

sinA：正弦を取られたA

基本的に形容詞は「sinA」の表現に倣い前方から修飾することにしましょう。どういった特徴を持つ記号を動詞・形容詞として扱うかは追々考えるとして、他のパターンについて考える事にします。

　微分・積分では「〜について」を示す記号「dx(xについて)」が使われます。「∫f(x)dx」は「xについて積分されたf(x)」と表せられ、「dx」は情報を付け加える役割を持っています。日本語で言う助詞、英語で言う前置詞みたいなものです。
　これらの語は位置や時間などの付加情報を加えるのに便利なのですが、「どこに情報を付け加えるのか」によって意味が大幅に変わることがあります。

Please open the box in the bathroom.
→風呂場にある箱を開けてください。(box修飾)
→風呂場で箱を開けてください。(open修飾)

この様に、解釈のバリエーションが広すぎるとややこしくて困ります。折角の人工言語なのでwell-definedにするため、システムは拝借しつつ後々改良することにしましょう。

まとめ:
基本の語順はSVO
形容詞は前方から修飾
助詞/前置詞は修飾位置を分かりやすく

　副詞はどうするのか・能動受動の差はどうつけるのか等々問題はまだまだ山積みですが大体の形式が決まったのでこれでヨシとしましょう。ヨシ！！

言語の名前をどうするか

　さて、ここまで色々プロトタイプが決まったのでそろそろ言語の名前を決めて終わりにしたいと思います。…とは言っても、そう簡単には思いつかないものです。私ポケ◯ンのニックネームとかめちゃくちゃ悩んで決めるタイプなので…

　…ん？こんな所に"ガラムマサラ"が！？

と言うわけで手元に丁度よくガラムマサラがあったので(強引)、そこから名前を勝手に拝借して言語名は「ガラム語」にしようと思います。濁音があるので強そうな感じがして尚ヨシ！！！

おわりに

　というわけで、以上ガラム語制作日記でした。ここまで読んでくださった方々、私の稚拙な長文に付き合っていただき誠にありがとうございます。自分でも読みづらいと思うものこの文章。
　できればこの日記を連載形式で続けて行ければと思うのですが、如何せん遅筆なので書き切るまで数ヶ月レベルで掛かりそうな気がしています…(この記事自体も8月下旬に書き始めたものなので…)。兎に角知識を付けつつ頑張っていければという所存です。
　改めまして、ここまでお読みいただきありがとうございました！！

裏話

　ガルム語の語根の作り方の参考にした語族「セム語族」の言語としてはアラビア語等が挙げられますが、私が最初に知ったセム語族の言語はZiphil氏による人工言語「キプソル語」でした。キプソル語の動画を見た当時は言語の類型とか何も知らない状態だったのですが、2024/8/22に「Quizknockと学ぼう」チャンネルに投稿された動画「言語を作ることは世界を構成すること」言語制作者同士の深すぎるトーク【言語が好きになっちゃう放課後】にてセム語族やその仕組みをめちゃくちゃに拡張した人工言語「イスクイル」の存在について知り、「自然言語すごい…人工言語すごい…めっちゃ合理的…」となったのです。こんな合理的な仕組みが自然発生したのも驚きですし、それを上手く調理して人工言語での表現に活用するのもとても高度で凄いと感じました。~~ちょっと自分でセム語族の仕組みを上手く扱えるか不安になってきたな〜〜…~~

Migdal: あくまねこ

Lojbanを処理できるLLMを作ろう(1)

ちょっとした導入

注意書き

LojbanでLLM作るってどういうこと？

Lojbanってどういう言語？

LLM実装に向けてどういうことするの？

Lojban文の構造を把握するツールを作る

LLMに文法の情報を渡したり、LLMが文法に則って出力できるようにする

LLMが処理する単語に、位置だけじゃなくて文法の情報も埋め込む

表現の自由さを保ったまま文法的に正しい文だけを生成するようにする

まとめ、と後書き

参考文献

ちょっとした個人的な話(飛ばしていい)

めっちゃ論理的で使いやすい言語を作ろう(ガラム語制作日記 1)

言語制作のキッカケ

…無理じゃん！！！

言語の形式をどうするか

単語の構造、どうする？(形態論)

まとめ: 接辞を付ける形は「(接頭)-[語根]-(接尾:品詞)-(接尾:時制)」 種類も滅茶苦茶には増やしすぎない あと膠着語にはしない

まとめ: 語根は「子音+母音+子音+母音+子音」にする 子音で大体の意味、母音でニュアンスの差を表す。

文の構造、どうする？(統語論)

まとめ: 基本の語順はSVO 形容詞は前方から修飾 助詞/前置詞は修飾位置を分かりやすく

言語の名前をどうするか

…ん？こんな所に"ガラムマサラ"が！？

おわりに

裏話

まとめ:
接辞を付ける形は「(接頭)-[語根]-(接尾:品詞)-(接尾:時制)」
種類も滅茶苦茶には増やしすぎない
あと膠着語にはしない

まとめ:
語根は「子音+母音+子音+母音+子音」にする
子音で大体の意味、母音でニュアンスの差を表す。

まとめ:
基本の語順はSVO
形容詞は前方から修飾
助詞/前置詞は修飾位置を分かりやすく

　…ん？こんな所に"ガラムマサラ"が！？