같은 배관공이 네 번 세어졌습니다 - 그리고 그 수정을 왜 내보내지 않았는가

어제는 우리 추출기가 일본어도 한국어도 중국어도 아랍어도 읽지 못했다는 이야기였습니다. 고쳤으니 이제 읽습니다. 오늘은 그다음 물음입니다. 읽어 낸 것이 맞는가.

어제 모은 72개의 답변 - 여섯 시장, 두 업종, 세 어시스턴트 - 이면 새 비용 없이 확인할 수 있었습니다. 다시 읽었습니다.

배관공 하나, 줄은 넷

도쿄의 같은 경쟁사 표 안에서 Kurashian이라는 업체가 서로 다른 네 개의 표기로 올라 있었습니다. 상호만 있는 것, 상호 뒤에 전각 콜론과 설명 문장이 붙은 것, 상호가 괄호에 들어간 것, 그리고 상호에 순위 언급이 달린 것. 네 줄, 한 업체입니다.

두바이에서는 Urban Company가 세 번 - 옛 이름의 표기 방식 수만큼. 리옹에서는 Ring Twice, Yoojo, ThreeBestRated, StarOfService가 각각 두 번씩. 한 번은 단독으로, 한 번은 대시와 Lyon이라는 낱말을 달고.

같은 경쟁사를 세 줄로 보여 주는 표는 셈만 틀린 것이 아닙니다. 그 경쟁사의 점유율을 묽게 만들고 순위를 거짓으로 만듭니다.

여섯 시장을 이름 하나하나 대조한 결과는 이렇습니다. 추출된 문자열 454개에 대해 실재하는 업체는 424개. 중복 서른. 절반은 일본어에 몰려 있지만 프랑스어에도 있습니다 - 그리고 이 세부가 원인을 흥미롭게 만들었습니다.

원인은 둘, 그중 하나는 모두에게 적용됩니다

첫째는 어제와 같은 문자 이야기입니다. 우리 분리기는 이름을 첫 구분 기호에서 자릅니다. '브랜드 - 후기가 아주 좋음'은 '브랜드'가 됩니다. 그 구분 기호 목록이 ASCII 문자로 쓰여 있었습니다. 그런데 일본어와 중국어는 콜론과 괄호를 전각으로, 앞뒤 공백 없이 씁니다. 아무것도 걸리지 않으니 이름이 문장을 통째로 껴안습니다.

둘째는 전혀 이국적이지 않습니다. 자르기는 글머리 기호 목록에서 찾은 이름에만 적용되고 있었습니다. 어시스턴트가 문장 가운데 굵게 표시하는 이름은 한 번도 그곳을 지나지 않았습니다. 리옹에서 'Ring Twice'와 'Ring Twice - Lyon'이 두 업체로 세어지는 이유가 이것입니다. 프랑스어는 줄곧 영향을 받고 있었고, 아무도 재지 않았습니다.

수정을 쓰고, 쟀습니다

구분 규칙을 하나로 모아 모든 추출 경로가 공유하게 하고, 전각 문장부호를 더했습니다. 서른 줄 남짓입니다. 72개 답변에 다시 통과시키니 454개 문자열이 424개가 되었습니다. Kurashian은 한 업체로 돌아오고, Urban Company도 마찬가지입니다.

그런 다음 무엇이 들어오고 무엇이 나갔는지 답변마다 세었습니다. 거기서 이야기가 무너집니다.

옳은 수정이 다른 것을 부수는 이유

이 원리는 이해해 둘 값어치가 있습니다. 코드를 읽어서는 보이지 않기 때문입니다. 마흔 자를 넘는 이름은 거부됩니다 - 문장을 걸러 내려고 쓴 오래된 문지기입니다. 일본어에서 어시스턴트의 되물음은 대개 마흔다섯 자쯤 되니 걸러졌습니다. 괄호에서 자르면 스물한 자가 되어 통과합니다.

즉 길이 상한이 공백을 쓰지 않는 문자 체계에서 우연히 잡음을 거르고 있었던 것입니다. 자르기를 고치면서 그 의도치 않은 방벽을 걷어 냈습니다. 그리고 경쟁사 표는 여덟 개만 보여 주므로, 들어온 조언 하나하나가 진짜 하나를 밀어냅니다.

내보내지 않았습니다. 수정은 쓰였고 측정되었으며 이 숫자와 함께 저장소에 보관되어 있습니다. 조언 판별이 네 문자 체계에서 작동할 때 나갈 것입니다. 그쪽이 진짜 일이고, 언어마다 규칙을 써야 합니다.

이것이 당신에게 바꾸는 것

한계

72개 답변, 여섯 시장, 두 업종, 수집은 하루 아침뿐. 표본 조사입니다. '업체'와 '조언'을 가른 것은 손이고 거기에는 판단이 들어갑니다 - '전문가용 설정' 같은 이름은 회사일 수 있습니다. 다만 서른 개의 중복에는 판단의 여지가 없습니다. 같은 이름으로 시작하는 문자열이니까요.

내보내지 않은 수정을 공개하는 것은 그것이 쓸모 있는 정보이기 때문입니다. 자기 성공만 이야기하는 측정 도구는 측정도 틀리고, 보고는 더 틀립니다.