Migdal

さなすの
さなすの

投稿

AXL : ASCII Compact Language(第17回人工言語コンペ作品)

どうも、さなすのです。

第17回人工言語コンペの記事です。今回のお題はこちら。

文字から生まれた言語。文字は架空のでも現実のでも何でも良いです。(文字だけの言語である必要はありません)

音声苦手民としてはなかなか嬉しいお題です。そして文字は架空のでも現実のでも良いと。

文字が先になるとすると基本的に象形・表意文字として扱うのがメインのアプローチになるかなあ、でもそれじゃ被りやすいしなあ。

じゃあ既存の現実の文字を使ってみよう、という方針にしました。

せっかく現実の文字を使うなら、現実の文字である意味がほしい。でも現実の文字はたいてい特定の言語から生まれたものです。うーむ。

とか考えていたら、ロジバンがコンピュータでの入力のために使う文字をASCIIの範囲に絞っていることを思い出し、「……これって『文字から生まれた言語』って言えるよな?」となりました。

というわけで今回は文字の選定をASCII文字の範囲に絞っています。これで「文字から生まれた言語」はクリア。

ただ、やっぱりASCIIに絞った、絞ったほうが良い理由はほしいですよね。ロジバンとの差別化も図りたいところ。

「AIとやり取りするための言語」

こちらが今回の言語のコンセプトとなりました。AIを効率良く使うために設計された言語です。

じゃあどういう言語が良いのか? となり「AIのことはAIに聞け」ということでClaudeに相談。あ、以下から言語仕様の策定・実装・検証にAI(主にClaude)を使用しています。

要件

初期要件はこんな感じになりました。

  • 単純なパーサで機械的に解析できる、曖昧性の低い文法
  • 1形態素が1トークンになるようにする
  • 文長が増えても構造が崩れにくい記法
  • 誤り検出を組み込む
  • 辞書に拡張性をもたせる
  • 人間にとって使いやすくはないが頑張れば使えなくはない
  • 使用する文字はASCIIの印字可能文字(0x21–0x7E)のみ

ではこの流れで実装を進めていった結果がこちら。

文字体系

文字クラス 役割
小文字 a-z 語根(語彙)
数字 0-9 名詞の個体番号、数値リテラル
大文字 A-Z 固有名・エンティティ ID(U1, Doc7)
記号 文法機能
空白 語の区切り
改行 文の区切り

語根の構造

語根は小文字3つで構成されます。それぞれに意味が割り振られています。

  • 第 1 文字 = 意味領域(16 領域)
  • 第 2 文字 = 品詞クラス
    • a–h: 述語(動作・状態)
    • i–p: 名詞(事物・主体)
    • q–z: 修飾(属性)
  • 第 3 文字 = 領域内の具体語

意味領域

文字 領域 文字 領域
a 存在・状態 i 物体・物質
b 身体・生物 j 社会・関係・主体
c 認知・思考 k 計算・情報
d 通信・言語 l 論理・比較
e 感情・評価 m 因果・変化
f 空間・移動 n 制御・操作
g 時間 o 環境・自然
h 量・数学 p 経済・資源
  • q–z の領域は、ユーザー定義の拡張用です。

文の構造

基本形

<発話行為><述語><接尾辞> <項1> <項2> ... [@確信度]
Enter fullscreen mode Exit fullscreen mode

述語を先頭に置き、項が後に続きます。述語にはそれぞれアリティが決まっており、括弧なしで解析できます。末尾の項は省略でき、途中の項を省くときは _(空項)を使います。

発話行為

文頭に置いた記号で文の始まりを表します。複数の種類があります。

記号 意味
. 断言
? 質問
! 命令・依頼
= 応答(y はい / n いいえ / u 不明 / 節)
~ 仮定・仮説
# メタ(定義・ヘッダ・制御)

述語接尾辞

時制・相を表します。無標は「現在・無時制」です。

記号 意味
< 過去
> 未来
* 進行中
^ 完了

否定

記法 意味
-(前置) 否定
-kab U1 kin7 節全体の否定
-2kab U1 kin7 第 2 項だけの否定(「データ7ではない別のもの」を計算する)

作用域の数字はアリティ以下に限ります。節全体の否定は evaluate の結果を反転します。項の否定は評価しません(結果は None)。

修飾・参照

記号 意味 例
: 属性付加 kin7:kqa(有効なデータ7)
名詞+数字 個体番号 kin7 = データ#7
大文字 ID 固有エンティティ U1, Doc7
$a 局所変数 $a
%1 直前から数えた文への参照 %1 = 1 つ前の文
{...} 埋め込み節(項として使える) {kab U2 kin7}
[a b c] リスト [kin1 kin2]
_ 空項

数値

数値は [0-9]+(\.[0-9]+)? で表します。単位は直後の語根で表します(例:30 gs)。

時間・数量

記法 意味
30'ms 単位付き数量
3..7'm 区間(..7'm と 3..'m は片側が開いた区間)
&2026-11-20T18.30 時点(時刻は . 区切り。日付のみでも可)
&2026-11-20..&2026-11-22 時間の区間

確信度

節の末尾に @0〜@9 をつけて10段階で表します。@9 は確信、@5 は五分五分、@0 は根拠なしです。省略時は @9 と見なします。
埋め込み節にも @n を付けられます({kab U2 kin7 @4})。節の実効確信度は、次の最小値です。

  • 節自身の @n(省略時は 9)
  • 埋め込み節の実効確信度
  • %n で参照した文の実効確信度

ただし、領域 c(認知)と d(通信)の述語は、埋め込み内容を断言しないので伝播しません。
.dab U1 {kab U2 kin7 @2} U3 @8 の実効確信度は 8 です。

型システム

  • 型は ent(最上位)、agt、dat、plc、tim、num、qty、prp です。qty は num の下位型です。
  • 注釈は U1::agt、宣言は #t U1 agt(変数は #t $a dat)です。
  • 名詞の型は辞書の語から決まります(jin=agt、kin=dat、fin=plc、gin=tim など)。
  • 述語には項ごとの型を持たせます。

辞書形式

  • 辞書は JSON か YAML で管理し、各語に root, pos, arity, slots(各項の役割), gloss_ja, gloss_en を持たせます。
  • 辞書全体のハッシュを d= で共有し、版ずれを検出します。
  • 語根は 16 領域 × 26 クラス × 26 語で最大約 1 万語まで割り当てられます。
  • 廃止語は再利用せず、deprecated 扱いにします。

ヘッダ

#axl 1 d=3a9f
Enter fullscreen mode Exit fullscreen mode

言語バージョン 1、辞書ハッシュ 3a9f を使用することを宣言します。ハッシュが食い違う場合は #err dict を返します。

チェックサム

行末に |xy(base36 の 2 文字)を付けられます。行本体の ASCII 値の合計を 1296 で割った余りです。重要な通信、特にツール間の受け渡しで使います。

新語の定義

#d xab/2 "AがBを要約する"
Enter fullscreen mode Exit fullscreen mode
  • 領域 x(拡張領域)の語根 xab を、アリティ 2 で定義します。
  • gloss(自然言語の定義)は必須です。AI 側がこの gloss を意味の拠り所にします。
  • 定義は通信の冒頭か辞書ファイルで共有します。

エラー

記号 意味
#err syn 3 構文エラー(3文字目付近)
#err dict 辞書不一致
#err chk チェックサム不一致
#err unk xab 未定義語

形式文法(EBNF)

message   = { line "\n" } ;
line      = meta | clause [ "|" chk ] ;
clause    = act pred { arg } [ "@" digit ] ;
act       = "." | "?" | "!" | "=" | "~" ;
pred      = [ "-" ] root [ tense ] ;
tense     = "<" | ">" | "*" | "^" ;
arg       = term [ ":" root ] ;
term      = noun | ENT | var | ref | number | "_" | embed | list ;
noun      = root [ digits ] ;
embed     = "{" pred { arg } "}" ;
list      = "[" { term } "]" ;
root      = lower lower lower ;
ENT       = upper { upper | digit | lower } ;
var       = "$" lower ;
ref       = "%" digit ;
meta      = "#" word { word } ;
Enter fullscreen mode Exit fullscreen mode

アリティは辞書から引くので、pred { arg } の { arg } の個数は述語ごとに確定します。

……以上が言語の仕様です。ですが 仕様が実際に有効かどうかは検証しないとわかりません。

と、いうわけで以下のような検証計画を立てました。

検証

  1. 自然言語文 100 件を AXL に翻訳し、さらに自然言語へ逆翻訳して、意味保存率を測る(往復の一致度)
  2. 同じ 100 件でトークン数を比較する(自然言語 vs AXL、仕様書のコストを含む)
  3. パーサを書き、構文エラー率とチェックサム不一致率を測る
  4. 複数エージェントで同じタスクを AXL 通信と自然言語通信の両方で解かせ、成功率とコストを比較する
  5. 人間による監査性を確認する。

これに沿って検証用のコードもAIに書いてもらいました。実際のファイルはここに置いてあります。

ファイル 内容
axl.py 参照実装(パーサ・復号 ja/en・評価・型検査)。辞書は Dictionary、canon 対応
axl_dict.json(既定辞書) 351語
optimize_roots.py 語根のトークン最適化(measure / optimize / rewrite / freq)
eval_axl.py 評価ハーネス(check / spec / run / report / audit-export / audit-agree)
eval_data/testset.jsonl テスト109件(T001–T109、11カテゴリ)
eval_data/testset2.jsonl テスト38件(N001–N038、9カテゴリ)
eval_data/fewshot.jsonl few-shot 22件(F001–F022、テストと重ならない)
eval_data/build_testset.py テスト・few-shot の生成元
test_axl.py test_optimize.py test_eval.py テスト計91件(最終実行で全通過)

検証には LM Studio と gemma-4-12b-qat というモデルを使用しました。

以下のコマンドで検証できます。

python eval_axl.py run --url http://localhost:1234/v1 --model "google/gemma-4-12b-qat" --tasks encode --shots 22 --workers 1 --cache c.jsonl --out enc.jsonl
python eval_axl.py report enc.jsonl
Enter fullscreen mode Exit fullscreen mode

結果は以下のようになりました。

AXL 評価レポート(一般会話)

  • 条件: v0.1 / テスト文: 109 件 / 試行: 109 件
  • 括弧内は項目をリサンプリングした 95% ブートストラップ信頼区間(%)

1. 主要指標

指標 v0.1
構文成功率 93.6% [89–98]
型違反率(構文成功のうち) 0.0% [0–0]
出力形式(AXL 1行のみ) 100.0% [100–100]
厳密一致率 77.1% [69–85]
緩い一致率(確信度±1) 77.1% [69–85]
述語一致率 91.7% [86–96]
項の一致(平均) 88.5% [83–94]
数値・時間の評価が真(該当文) 83.3% [50–100]
符号化の意味保存率(2点) 76.1% [68–83]

API の使用量(モデル呼び出しのみ、入力/出力トークン): v0.1=509729/922

2. 合格基準

条件 構文成功率 (≥95%) 型違反率(構文成功のうち) (≤5%) 往復の意味保存率(2点) (≥85%) 判定
v0.1 ✗ 93.6% ✓ 0.0% - 不合格

合格基準は仮置きです。最初のベースラインを見て決め直してください。

3. カテゴリ別の厳密一致率

カテゴリ 件数 v0.1
command 10 90.0%
confidence 8 37.5%
embed 12 50.0%
hypothesis 6 33.3%
negation 11 90.9%
numeric 10 80.0%
question 11 100.0%
response 6 33.3%
state 10 100.0%
tense 10 80.0%
transitive 15 100.0%

4. 誤りの例(厳密一致しなかったもの)

v0.1

id 日本語 正解 モデル エラー
T040 私に答えてください。 !dac U2 U1 !dac U2 U1 did
T054 計画は成功しなかった。 .-maj< cid .-maj cid
T063 私は危険を恐れていた。 .ead< U1 eic .-ead< U1 eic
T064 変化が起こるだろう。 .mag> mic .mag> mic @6
T070 田中さんは、私が疲れていると言った。 .dab< U3 _ {bqf U1} .dab< U3 _ {bqf< U1}
T071 私はあなたに、計画は成功したと言った。 .dab< U1 U2 {maj< cid} .dab U1 U2 {maj< cid}
T072 佐藤さんは、水は冷たいと知っている。 .cad U4 {oqb oic} .cad U4 {oic:oqb} #err syn 9
T074 私は、市場が不安定になると予測する。 .cah U1 {mqf> pie} .cah U1 {mqf pie>} @9 #err syn 13

う~ん、合格基準には到達しませんでした。中身をチェックしたところ、正解なのに減点されている、不正解なのに満点になる、といった例が見られたので、判定をチェックしたところ、以下のような現象が見られました。

  • 時制の復号が原因のもの:8件 復号が「(過去) 計画は成功するか」のように、ラベルと辞書形を組み合わせていましたが、判定員は「する」を未来と読んでいました。
  • スロット否定:3件(T055, T056, T057) 「(私ではない別のもの)は…決定する」という復号を、判定員は原文と別の内容と見ていました。

判定で失敗しているのでは正確な指標になりません……。復号・判定ロジックともに修正し、さらに「符号化の意味保存率(厳密一致は満点扱い・他は判定員)」という新たな指標を追加して再判定しました。

指標 v0.1
構文成功率 93.6% [89–98]
型違反率(構文成功のうち) 0.0% [0–0]
出力形式(AXL 1行のみ) 100.0% [100–100]
厳密一致率 77.1% [69–85]
緩い一致率(確信度±1) 77.1% [69–85]
述語一致率 91.7% [86–96]
項の一致(平均) 88.5% [83–94]
数値・時間の評価が真(該当文) 83.3% [50–100]
符号化の意味保存率(2点) 80.7% [73–88]
符号化の意味保存率(厳密一致は満点扱い・他は判定員) 88.1% [82–94]

結果として、通常の意味保存率が 76.1% から 80.7% に上がりました(+4.6pt)。

まだまだ足りない部分はありますが、最初の段階としてはまあ悪くないんじゃないでしょうか。

なお、今回使用したコードについては、DeepWikiを使った解説Wikiを用意してあります。公開記事は英語ですがチャットで質問するとDeepWikiのAIが日本語で解説してくれます。参考までにどうぞ。

古い順のコメント(0)