同じ配管業者が四回数えられていた - そして、その修正をなぜ出さなかったか

昨日は、私たちの抽出器が日本語も韓国語も中国語もアラビア語も読めていなかった、という話でした。直したので、読めます。今日は次の問いです。読めたものは正しいのか。

昨日集めた72の回答 - 六つの市場、二つの職種、三つのアシスタント - があれば、新たな費用をかけずに確かめられます。読み直しました。

配管業者が一社、行が四つ

東京の同じ競合表のなかで、クラシアンが四つの異なる表記で並んでいました。社名だけのもの、社名のあとに全角コロンと説明文が続くもの、社名が括弧に入ったもの、そして社名にランキングの但し書きが付いたもの。四行、一社です。

ドバイではUrban Companyが三回 - 旧名の書き方の数だけ。リヨンではRing Twice、Yoojo、ThreeBestRated、StarOfServiceがそれぞれ二回ずつ。一度は単独で、もう一度はダッシュと「Lyon」を伴って。

同じ競合を三行で見せる表は、数を間違えているだけではありません。その競合の占有率を薄め、順位を偽ります。

六つの市場を名前ごとに突き合わせた結果は、抽出された454の文字列に対し、実在する企業は424。重複が三十。半分は日本語に集まりますが、フランス語にもあります - そしてこの細部が、原因を面白くしました。

原因は二つ、うち一つは全員に効く

一つ目は昨日と同じく文字の話です。私たちの分割器は、名前を最初の区切り記号で切ります。「ブランド - 評判がよい」は「ブランド」になる。その区切り記号の一覧がASCII文字で書かれていました。ところが日本語と中国語はコロンも括弧も全角で、前後に空白を置きません。どれにも当たらないので、名前は文章をまるごと抱えたままになります。

二つ目はまったく珍しくありません。分割は箇条書きのなかで見つけた名前にしか適用されていなかったのです。アシスタントが文中で太字にする名前は、一度もそこを通っていませんでした。リヨンで「Ring Twice」と「Ring Twice - Lyon」が二社に数えられるのはこのためです。フランス語はずっと前から影響を受けていて、誰も測っていませんでした。

修正を書き、測った

区切りの規則を一つにまとめ、すべての抽出経路で共有し、全角の記号を加える。三十行ほどです。72の回答に通し直すと、454の文字列が424になりました。クラシアンは一社に戻り、Urban Companyも同じです。

そのうえで、何が入り何が出たかを回答ごとに数えました。そこで話が崩れます。

正しい修正が別のものを壊す理由

この仕組みは理解しておく価値があります。コードを読んでも見えないからです。四十文字を超える名前は却下されます - 文章を排除するために書かれた古い番人です。日本語では、アシスタントの問い返しがちょうど四十五文字ほどになるので、落ちていました。括弧で切ると二十一文字になり、通ってしまいます。

つまり長さの上限が、空白を使わない文字体系では偶然に雑音を濾していたのです。分割を直したことで、その意図しない防波堤を取り払いました。そして競合表は八件しか見せませんから、入り込んだ助言の一つひとつが本物を一つ追い出します。

出していません。修正は書かれ、測られ、この数字とともに保管してあります。助言の判別が四つの文字体系で機能するようになったら出します。そちらが本当の仕事で、言語ごとに規則を書く必要があります。

これがあなたにとって変えること

限界

72の回答、六つの市場、二つの職種、収集は一朝のみ。世論調査です。「企業」と「助言」の仕分けは手作業で、そこには判断が入ります - 「プロ仕様の設定」のような名前は会社でありうる。ただし三十の重複には判断の余地がありません。同じ名前で始まる文字列だからです。

出さなかった修正を公表するのは、それが役に立つ情報だからです。成功だけを語る測定の道具は、測り方も誤り、その報告はもっと誤ります。