はじめに

文章を書く時に改行位置をどこで区切るかは難しい。画面右端に達したら折り返す仕組みは様々な言語でサポートされているが、中途半端な所で改行されると読みにくい
Googleから読みやすい改行を実現する、BudouXと呼ばれるモデルが開発された
本ページでは、BudouXの概略とFlutterで使用してみた結果を残す

BudouX

BudouXとは

Google JPが開発した、読みやすい改行のためオープンソースの分かち書き器
- ニュースリリース
- GitHub
日本語、中国語、タイ語をJava, Python, JavaScriptでサポート
特徴
- スタンドアロンで動作
- 20KB程度に収まる軽量モデル
- 言語に依存しない（学習させることができる）

モデルの特徴

BudouXは、ブースティング（弱学習器の繰り返しによる学習）を使ったAdaboostでモデル構築されており、日本語モデルのJsonの一部を下記に示す

{
  "UW3": {
    "。": 6699,
    "、": 4784,
    "を": 5769,
    "っ": -1853
    ...
  },
  "UW1": {
    "お": 922,
    "ご": 890,
    "ふ": 1899,
    "甘": -1424
    ...
  },
  "BW1": {
    "のみ": 3058,
    "以上": 1223,
    "まま": 2830,
    "ちが": -2703
    ...
  },
  "BW3": {
    "うま": 4971,
    "もの": 3479,
    "あり": 1053,
    "おり": -2875,
    ...
  },
  "TW2": {
    "気に入": -4086,
    "ではな": -1086,
    "とがあ": -1130,
    "そもそ": -1441,
    "してい": -406
  },
  "TW1": {
    "という": 545,
    "ていく": 1686,
    "ような": 1298,
    "しかし": 2079,
    "持って": -1851
  }
  ...
}

UW3, BW1, ... といった各カテゴリに対して、キーバリューが定義
- UW (Unigram Wieght)：特定の位置にある文字の重み
- BW (Bigram Weight)：隣接する2つの文字の組み合わせの重み
- TW (Trigram Weight)：隣接する3つの文字の組み合わせの重み
つまり、「何の文字が来たら改行するだろう」と、文字の種類ごとに重要度を割り当てているシンプルなモデル
- 今回利用したBudouXモデルの処理コードを見ると、UX, BW, TWのスコアを算出し、スコアが0以上のときに改行している

Flutterのサンプルサンプルコード

日本語で書かれた文字列を読み込み、表示するサンプルを以下に示す。
なお実装には、BudouXをFlutterに移植されていたbudoux_dartを利用した。

import 'package:budoux_dart/budoux.dart';
import 'package:flutter/material.dart';
import 'package:flutter/services.dart';

void main() {
  runApp(const MainApp());
}

class MainApp extends StatelessWidget {
  const MainApp({super.key});

  // BudouXモデルを非同期でロード
  Future<BudouX> loadBudouxModel() async {
    final modelJson = await rootBundle.loadString('assets/ja.json');
    return BudouX(modelJson);
  }

  // テキスト
  final simpleText = '今日は全国的に晴れです。洗濯物がすぐに乾きます。ですが、'
      '明日は1日中曇りになる見込みです。傘の準備をしておいた方が良いでしょう。'
      'さらに、明後日は雨です。';

  final complexText = 'Flutter（フラッター）は、Googleによって開発されたフリーかつ'
      'オープンソースのUIのSDKである。単一のコードベースから、Android、iOS、Linux、macOS、'
      'Windows、Google Fuchsia向けのクロスプラットフォームアプリケーションを'
      '開発するために利用される。'
      '2018年12月4日、ロンドンで開催されたFlutter Live 18にて、初の正式版となる'
      'Flutter 1.0のリリースが発表された。';

  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      home: Scaffold(
          body: FutureBuilder<BudouX>(
        future: loadBudouxModel(),
        builder: (context, snapshot) {
          if (snapshot.connectionState == ConnectionState.waiting) {
            return const Center(child: CircularProgressIndicator());
          } else if (snapshot.hasError) {
            return const Center(child: Text('Error loading model'));
            // コンテンツの表示
          } else {
            return buildContent(snapshot.data!);
          }
        },
      )),
    );
  }

  Widget buildContent(BudouX budouX) {
    final parsedSimpleText = parseText(budouX, simpleText);
    final parsedComplexText = parseText(budouX, complexText);

    return Column(
      mainAxisAlignment: MainAxisAlignment.spaceEvenly,
      children: [
        // simpleTextの改行なし文章 & BudouX適用した文章
        Row(
          crossAxisAlignment: CrossAxisAlignment.start,
          children: [
            const SizedBox(width: 20),
            buildContainer(Text(simpleText)),
            const SizedBox(width: 20),
            buildContainer(Wrap(children: parsedSimpleText)),
          ],
        ),
        // complexTextの改行なし文章 & BudouX適用した文章
        Row(
          crossAxisAlignment: CrossAxisAlignment.start,
          children: [
            const SizedBox(width: 20),
            buildContainer(Text(complexText)),
            const SizedBox(width: 20),
            buildContainer(Wrap(children: parsedComplexText)),
          ],
        )
      ],
    );
  }

  Widget buildContainer(Widget child) {
    return Container(
      decoration: BoxDecoration(
        border: Border.all(),
      ),
      width: 200,
      child: child,
    );
  }

  // テキストを解析してウィジェットのリストを返すメソッド
  List<Widget> parseText(BudouX budouX, String text) {
    // BudouXでは、改行の単位でリストに格納されている
    return budouX.parse(text).map((rowText) => Text(rowText)).toList();
  }
}

...

dependencies:
  flutter:
    sdk: flutter
  budoux_dart: ^1.0.2

...

flutter:
  uses-material-design: true
  assets:
    - assets/ja.json

実行結果

左側：原文、右側：BudouXで加工した文
単純な平仮名・漢字で構成された文章は、読みやすく改行されている
一方、英語が混じった文章はモデルに組み込まれていないため、読みやすいとまでは言えない（多分、カタカナも？）
- 例えば、"Google Fuchsia"や、"開発するために"、"Flutter Live 18"とかは改行したせいで読みにくい印象

まとめ

BudouXは、軽量なモデルで利用できる改行
シンプルな文章では、その強みが発揮されていそう
一方で、英語やカタカナが混じる文章では、中途半端な位置で改行されていた
安易にUIに組み込むよりも、使いどころが大事そう

参考文献

BudouXをFlutterで動かしてみた