どうも、さなすのです。
第17回人工言語コンペの記事です。今回のお題はこちら。
文字から生まれた言語。文字は架空のでも現実のでも何でも良いです。(文字だけの言語である必要はありません)
音声苦手民としてはなかなか嬉しいお題です。そして文字は架空のでも現実のでも良いと。
文字が先になるとすると基本的に象形・表意文字として扱うのがメインのアプローチになるかなあ、でもそれじゃ被りやすいしなあ。
じゃあ既存の現実の文字を使ってみよう、という方針にしました。
せっかく現実の文字を使うなら、現実の文字である意味がほしい。でも現実の文字はたいてい特定の言語から生まれたものです。うーむ。
とか考えていたら、ロジバンがコンピュータでの入力のために使う文字をASCIIの範囲に絞っていることを思い出し、「……これって『文字から生まれた言語』って言えるよな?」となりました。
というわけで今回は文字の選定をASCII文字の範囲に絞っています。これで「文字から生まれた言語」はクリア。
ただ、やっぱりASCIIに絞った、絞ったほうが良い理由はほしいですよね。ロジバンとの差別化も図りたいところ。
「AIとやり取りするための言語」
こちらが今回の言語のコンセプトとなりました。AIを効率良く使うために設計された言語です。
じゃあどういう言語が良いのか? となり「AIのことはAIに聞け」ということでClaudeに相談。あ、以下から言語仕様の策定・実装・検証にAI(主にClaude)を使用しています。
要件
初期要件はこんな感じになりました。
- 単純なパーサで機械的に解析できる、曖昧性の低い文法
- 1形態素が1トークンになるようにする
- 文長が増えても構造が崩れにくい記法
- 誤り検出を組み込む
- 辞書に拡張性をもたせる
- 人間にとって使いやすくはないが頑張れば使えなくはない
- 使用する文字はASCIIの印字可能文字(0x21–0x7E)のみ
ではこの流れで実装を進めていった結果がこちら。
文字体系
| 文字クラス | 役割 |
|---|---|
小文字 a-z
|
語根(語彙) |
数字 0-9
|
名詞の個体番号、数値リテラル |
大文字 A-Z
|
固有名・エンティティ ID(U1, Doc7) |
| 記号 | 文法機能 |
| 空白 | 語の区切り |
| 改行 | 文の区切り |
語根の構造
語根は小文字3つで構成されます。それぞれに意味が割り振られています。
- 第 1 文字 = 意味領域(16 領域)
-
第 2 文字 = 品詞クラス
-
a–h: 述語(動作・状態) -
i–p: 名詞(事物・主体) -
q–z: 修飾(属性)
-
- 第 3 文字 = 領域内の具体語
意味領域
| 文字 | 領域 | 文字 | 領域 |
|---|---|---|---|
| a | 存在・状態 | i | 物体・物質 |
| b | 身体・生物 | j | 社会・関係・主体 |
| c | 認知・思考 | k | 計算・情報 |
| d | 通信・言語 | l | 論理・比較 |
| e | 感情・評価 | m | 因果・変化 |
| f | 空間・移動 | n | 制御・操作 |
| g | 時間 | o | 環境・自然 |
| h | 量・数学 | p | 経済・資源 |
-
q–zの領域は、ユーザー定義の拡張用です。
文の構造
基本形
<発話行為><述語><接尾辞> <項1> <項2> ... [@確信度]
述語を先頭に置き、項が後に続きます。述語にはそれぞれアリティが決まっており、括弧なしで解析できます。末尾の項は省略でき、途中の項を省くときは _(空項)を使います。
発話行為
文頭に置いた記号で文の始まりを表します。複数の種類があります。
| 記号 | 意味 |
|---|---|
. |
断言 |
? |
質問 |
! |
命令・依頼 |
= |
応答(y はい / n いいえ / u 不明 / 節) |
~ |
仮定・仮説 |
# |
メタ(定義・ヘッダ・制御) |
述語接尾辞
時制・相を表します。無標は「現在・無時制」です。
| 記号 | 意味 |
|---|---|
< |
過去 |
> |
未来 |
* |
進行中 |
^ |
完了 |
否定
| 記法 | 意味 |
|---|---|
-(前置) |
否定 |
-kab U1 kin7 |
節全体の否定 |
-2kab U1 kin7 |
第 2 項だけの否定(「データ7ではない別のもの」を計算する) |
作用域の数字はアリティ以下に限ります。節全体の否定は evaluate の結果を反転します。項の否定は評価しません(結果は None)。
修飾・参照
| 記号 | 意味 | 例 |
|---|---|---|
: |
属性付加 |
kin7:kqa(有効なデータ7) |
| 名詞+数字 | 個体番号 |
kin7 = データ#7 |
| 大文字 ID | 固有エンティティ |
U1, Doc7
|
$a |
局所変数 | $a |
%1 |
直前から数えた文への参照 |
%1 = 1 つ前の文 |
{...} |
埋め込み節(項として使える) | {kab U2 kin7} |
[a b c] |
リスト | [kin1 kin2] |
_ |
空項 |
数値
数値は [0-9]+(\.[0-9]+)? で表します。単位は直後の語根で表します(例:30 gs)。
時間・数量
| 記法 | 意味 |
|---|---|
30'ms |
単位付き数量 |
3..7'm |
区間(..7'm と 3..'m は片側が開いた区間) |
&2026-11-20T18.30 |
時点(時刻は . 区切り。日付のみでも可) |
&2026-11-20..&2026-11-22 |
時間の区間 |
確信度
節の末尾に @0〜@9 をつけて10段階で表します。@9 は確信、@5 は五分五分、@0 は根拠なしです。省略時は @9 と見なします。
埋め込み節にも @n を付けられます({kab U2 kin7 @4})。節の実効確信度は、次の最小値です。
- 節自身の
@n(省略時は 9) - 埋め込み節の実効確信度
-
%nで参照した文の実効確信度
ただし、領域 c(認知)と d(通信)の述語は、埋め込み内容を断言しないので伝播しません。
.dab U1 {kab U2 kin7 @2} U3 @8 の実効確信度は 8 です。
型システム
- 型は
ent(最上位)、agt、dat、plc、tim、num、qty、prpです。qtyはnumの下位型です。 - 注釈は
U1::agt、宣言は#t U1 agt(変数は#t $a dat)です。 - 名詞の型は辞書の語から決まります(
jin=agt、kin=dat、fin=plc、gin=tim など)。 - 述語には項ごとの型を持たせます。
辞書形式
- 辞書は JSON か YAML で管理し、各語に
root,pos,arity,slots(各項の役割),gloss_ja,gloss_enを持たせます。 - 辞書全体のハッシュを
d=で共有し、版ずれを検出します。 - 語根は 16 領域 × 26 クラス × 26 語で最大約 1 万語まで割り当てられます。
- 廃止語は再利用せず、
deprecated扱いにします。
ヘッダ
#axl 1 d=3a9f
言語バージョン 1、辞書ハッシュ 3a9f を使用することを宣言します。ハッシュが食い違う場合は #err dict を返します。
チェックサム
行末に |xy(base36 の 2 文字)を付けられます。行本体の ASCII 値の合計を 1296 で割った余りです。重要な通信、特にツール間の受け渡しで使います。
新語の定義
#d xab/2 "AがBを要約する"
- 領域
x(拡張領域)の語根xabを、アリティ 2 で定義します。 - gloss(自然言語の定義)は必須です。AI 側がこの gloss を意味の拠り所にします。
- 定義は通信の冒頭か辞書ファイルで共有します。
エラー
| 記号 | 意味 |
|---|---|
#err syn 3 |
構文エラー(3文字目付近) |
#err dict |
辞書不一致 |
#err chk |
チェックサム不一致 |
#err unk xab |
未定義語 |
形式文法(EBNF)
message = { line "\n" } ;
line = meta | clause [ "|" chk ] ;
clause = act pred { arg } [ "@" digit ] ;
act = "." | "?" | "!" | "=" | "~" ;
pred = [ "-" ] root [ tense ] ;
tense = "<" | ">" | "*" | "^" ;
arg = term [ ":" root ] ;
term = noun | ENT | var | ref | number | "_" | embed | list ;
noun = root [ digits ] ;
embed = "{" pred { arg } "}" ;
list = "[" { term } "]" ;
root = lower lower lower ;
ENT = upper { upper | digit | lower } ;
var = "$" lower ;
ref = "%" digit ;
meta = "#" word { word } ;
アリティは辞書から引くので、pred { arg } の { arg } の個数は述語ごとに確定します。
……以上が言語の仕様です。ですが 仕様が実際に有効かどうかは検証しないとわかりません。
と、いうわけで以下のような検証計画を立てました。
検証
- 自然言語文 100 件を AXL に翻訳し、さらに自然言語へ逆翻訳して、意味保存率を測る(往復の一致度)
- 同じ 100 件でトークン数を比較する(自然言語 vs AXL、仕様書のコストを含む)
- パーサを書き、構文エラー率とチェックサム不一致率を測る
- 複数エージェントで同じタスクを AXL 通信と自然言語通信の両方で解かせ、成功率とコストを比較する
- 人間による監査性を確認する。
これに沿って検証用のコードもAIに書いてもらいました。実際のファイルはここに置いてあります。
| ファイル | 内容 |
|---|---|
axl.py |
参照実装(パーサ・復号 ja/en・評価・型検査)。辞書は Dictionary、canon 対応 |
axl_dict.json(既定辞書) |
351語 |
optimize_roots.py |
語根のトークン最適化(measure / optimize / rewrite / freq) |
eval_axl.py |
評価ハーネス(check / spec / run / report / audit-export / audit-agree) |
eval_data/testset.jsonl |
テスト109件(T001–T109、11カテゴリ) |
eval_data/testset2.jsonl |
テスト38件(N001–N038、9カテゴリ) |
eval_data/fewshot.jsonl |
few-shot 22件(F001–F022、テストと重ならない) |
eval_data/build_testset.py |
テスト・few-shot の生成元 |
test_axl.py test_optimize.py test_eval.py
|
テスト計91件(最終実行で全通過) |
検証には LM Studio と gemma-4-12b-qat というモデルを使用しました。
以下のコマンドで検証できます。
python eval_axl.py run --url http://localhost:1234/v1 --model "google/gemma-4-12b-qat" --tasks encode --shots 22 --workers 1 --cache c.jsonl --out enc.jsonl
python eval_axl.py report enc.jsonl
結果は以下のようになりました。
AXL 評価レポート(一般会話)
- 条件: v0.1 / テスト文: 109 件 / 試行: 109 件
- 括弧内は項目をリサンプリングした 95% ブートストラップ信頼区間(%)
1. 主要指標
| 指標 | v0.1 |
|---|---|
| 構文成功率 | 93.6% [89–98] |
| 型違反率(構文成功のうち) | 0.0% [0–0] |
| 出力形式(AXL 1行のみ) | 100.0% [100–100] |
| 厳密一致率 | 77.1% [69–85] |
| 緩い一致率(確信度±1) | 77.1% [69–85] |
| 述語一致率 | 91.7% [86–96] |
| 項の一致(平均) | 88.5% [83–94] |
| 数値・時間の評価が真(該当文) | 83.3% [50–100] |
| 符号化の意味保存率(2点) | 76.1% [68–83] |
API の使用量(モデル呼び出しのみ、入力/出力トークン): v0.1=509729/922
2. 合格基準
| 条件 | 構文成功率 (≥95%) | 型違反率(構文成功のうち) (≤5%) | 往復の意味保存率(2点) (≥85%) | 判定 |
|---|---|---|---|---|
| v0.1 | ✗ 93.6% | ✓ 0.0% | - | 不合格 |
合格基準は仮置きです。最初のベースラインを見て決め直してください。
3. カテゴリ別の厳密一致率
| カテゴリ | 件数 | v0.1 |
|---|---|---|
| command | 10 | 90.0% |
| confidence | 8 | 37.5% |
| embed | 12 | 50.0% |
| hypothesis | 6 | 33.3% |
| negation | 11 | 90.9% |
| numeric | 10 | 80.0% |
| question | 11 | 100.0% |
| response | 6 | 33.3% |
| state | 10 | 100.0% |
| tense | 10 | 80.0% |
| transitive | 15 | 100.0% |
4. 誤りの例(厳密一致しなかったもの)
v0.1
| id | 日本語 | 正解 | モデル | エラー |
|---|---|---|---|---|
| T040 | 私に答えてください。 | !dac U2 U1 |
!dac U2 U1 did |
|
| T054 | 計画は成功しなかった。 | .-maj< cid |
.-maj cid |
|
| T063 | 私は危険を恐れていた。 | .ead< U1 eic |
.-ead< U1 eic |
|
| T064 | 変化が起こるだろう。 | .mag> mic |
.mag> mic @6 |
|
| T070 | 田中さんは、私が疲れていると言った。 | .dab< U3 _ {bqf U1} |
.dab< U3 _ {bqf< U1} |
|
| T071 | 私はあなたに、計画は成功したと言った。 | .dab< U1 U2 {maj< cid} |
.dab U1 U2 {maj< cid} |
|
| T072 | 佐藤さんは、水は冷たいと知っている。 | .cad U4 {oqb oic} |
.cad U4 {oic:oqb} |
#err syn 9 |
| T074 | 私は、市場が不安定になると予測する。 | .cah U1 {mqf> pie} |
.cah U1 {mqf pie>} @9 |
#err syn 13 |
う~ん、合格基準には到達しませんでした。中身をチェックしたところ、正解なのに減点されている、不正解なのに満点になる、といった例が見られたので、判定をチェックしたところ、以下のような現象が見られました。
- 時制の復号が原因のもの:8件 復号が「(過去) 計画は成功するか」のように、ラベルと辞書形を組み合わせていましたが、判定員は「する」を未来と読んでいました。
- スロット否定:3件(T055, T056, T057) 「(私ではない別のもの)は…決定する」という復号を、判定員は原文と別の内容と見ていました。
判定で失敗しているのでは正確な指標になりません……。復号・判定ロジックともに修正し、さらに「符号化の意味保存率(厳密一致は満点扱い・他は判定員)」という新たな指標を追加して再判定しました。
| 指標 | v0.1 |
|---|---|
| 構文成功率 | 93.6% [89–98] |
| 型違反率(構文成功のうち) | 0.0% [0–0] |
| 出力形式(AXL 1行のみ) | 100.0% [100–100] |
| 厳密一致率 | 77.1% [69–85] |
| 緩い一致率(確信度±1) | 77.1% [69–85] |
| 述語一致率 | 91.7% [86–96] |
| 項の一致(平均) | 88.5% [83–94] |
| 数値・時間の評価が真(該当文) | 83.3% [50–100] |
| 符号化の意味保存率(2点) | 80.7% [73–88] |
| 符号化の意味保存率(厳密一致は満点扱い・他は判定員) | 88.1% [82–94] |
結果として、通常の意味保存率が 76.1% から 80.7% に上がりました(+4.6pt)。
まだまだ足りない部分はありますが、最初の段階としてはまあ悪くないんじゃないでしょうか。
なお、今回使用したコードについては、DeepWikiを使った解説Wikiを用意してあります。公開記事は英語ですがチャットで質問するとDeepWikiのAIが日本語で解説してくれます。参考までにどうぞ。
古い順のコメント(0)