Unique Token Filter(唯一词元过滤器)

简述

唯一词元过滤器用于在分析期间仅索引唯一的token。 默认情况下,它应用于所有词元流。 

如果only_on_same_position设置为true ,则只会删除相同位置上的重复token。