英文分词工具

tool[tu:l] n. 工具, 用具,【机】刀具; (=machine tool)机床 傀儡, 走狗; [美俚]扒手 【刷】(封面图案)压印机 附件 器械,仪器,设备 方法,手段 [pl.][美俚]刀叉(等) blacksmith's[carpenter's] tool 铁[木]匠工具 tool subject 工具学科 a broad tool (石工的)宽刃凿 literary tools 文具 throw down one's tools(=down tools) 罢工; 停工 习惯用语 down tools 放下工具, 停止工作 罢工 play [jest] with edged [edge] tools 玩弄利器; 干危险的事 poor tool [口]不中用的家伙, 笨蛋 tool up 用机床或机器等装备 tools of one's trade 行业用具, 维持生计的用具

分词器，是将用户输入的一段文本，分析成符合逻辑的一种工具。到目前为止呢，分词器没有办法做到完全的符合人们的要求。和我们有关的分词器有英文的和中文的英文的分词器过程：输入文本-关键词切分-去停用词-形态还原-转为小写中文的分词器分为：单子分词 例：中国人 分成中，国，人二分法人词:例中国人：中国，国人词典分词：有基本的语意来进行分词的，例：中国人分成中国，国人，中国人，现在用的是极易分词和庖丁分词。停用词：不影响语意的词。网上有很多说分词器效果的，我在这里就不进行多说了