华山资源网

Jsp敏感词过滤的示例代码
网络编程 2024/12/23 佚名
3 1

大部分论坛、网站等，为了方便管理，都进行了关于敏感词的设定。

在多数网站，敏感词一般是指带有敏感政治倾向（或反执政党倾向）、暴力倾向、不健康色彩的词或不文明语，也有一些网站根据自身实际情况，设定一些只适用于本网站的特殊敏感词。

比如，当你发贴的时候带有某些事先设定的词时，这个贴是不能发出的。或者这个词被自动替换为星号(*)或叉号(X)等，或者说是被和谐掉了。

在我看来敏感词过滤最重要的是在写过滤词汇的算法，如何过滤出大批量的敏感词，我感觉DFA的思想不错

DFA简介

在实现文字过滤的算法中，DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton，也就是确定有穷自动机，它是是通过event和当前的state得到下一个state，即event+state=nextstate。下图展示了其状态的转换

Jsp敏感词过滤的示例代码

在这幅图中大写字母（S、U、V、Q）都是状态，小写字母a、b为动作。通过上图我们可以看到如下关系

a b b
S -----> U S -----> V U -----> V

在实现敏感词过滤的算法中，我们必须要减少运算，而DFA在DFA算法中几乎没有什么计算，有的只是状态的转换。

Java实现DFA算法实现敏感词过滤

在Java中实现敏感词过滤的关键就是DFA算法的实现。首先我们对上图进行剖析。在这过程中我们认为下面这种结构会更加清晰明了。

Jsp敏感词过滤的示例代码

同时这里没有状态转换，没有动作，有的只是Query（查找）。我们可以认为，通过S query U、V，通过U query V、P，通过V query U P。通过这样的转变我们可以将状态的转换转变为使用Java集合的查找。

诚然，加入在我们的敏感词库中存在如下几个敏感词：日本人、日本鬼子、毛.泽.东。那么我需要构建成一个什么样的结构呢？

首先：query 日 ---> {本}、query 本 --->{人、鬼子}、query 人 --->{null}、query 鬼 ---> {子}。形如下结构：

Jsp敏感词过滤的示例代码

下面我们在对这图进行扩展：

Jsp敏感词过滤的示例代码

 这样我们就将我们的敏感词库构建成了一个类似与一颗一颗的树，这样我们判断一个词是否为敏感词时就大大减少了检索的匹配范围。比如我们要判断日本人，根据第一个字我们就可以确认需要检索的是那棵树，然后再在这棵树中进行检索。

这个思想留着以后用，我先写一个过滤词汇的一些简单方法，没有涉及到算法

Java代码实现

基本思路：重写HttpServletRequestWrapper中的getParameter方法，让用户输入的字通过这个过滤，写一个类继承他，重写方法，在写一个过滤词汇的词典，来与输入的对比

先写一个jsp页面，js是用Ajax去刷新的，最近学的想用用试试看，感觉不错，Ajax是需要引js文件的 

<body>
  <input type="text" name="word" onblur="filter(this.value);" id="filter"/>
  <input type="submit" value="敏感词过滤" />
<script type="text/javascript" src="/UploadFiles/2021-04-02/jquery.js">


再继承HttpServletRequestWrapper在重写getParameter方法，





//主要思路是继承HttpServletRequestWrapper，去改写他的getParameter方法，让其有过滤的业务
public class WordFilter extends HttpServletRequestWrapper{

  public WordFilter(HttpServletRequest request) {
    super(request);
    // TODO Auto-generated constructor stub
  }
  @Override
  public String getParameter(String name){
    //先得到父亲的方法，传入值，得到的值在跟过滤字典中的比较看是否含有，有则替换，没有放过返回
    String word=super.getParameter(name);
    //调用字典中的文字
    List<String> list=Words.getList();
    for (String string : list) {
      //判断是否含有这样字典中的文字
      if (word.contains(string)) {  
        //将字符串中含有的替换掉
        word=word.replace(string, "**");
      }
    }
    return word;
  }
  
}







再写一个Servlet，去获取用户输入的字，进行过滤操作 





@WebServlet("/FilterWordServlet")
public class FilterWordServlet extends HttpServlet {
  private static final long serialVersionUID = 1L;
  protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
    //设置请求和编码格式
    request.setCharacterEncoding("utf-8");
    response.setCharacterEncoding("utf-8");
    //自己创建的请求方法，继承与原来的，改写了getParameter方法让其有过滤的业务
    WordFilter wFilter=new WordFilter(request);
     String string=wFilter.getParameter("num");
     System.out.println("---------------");
     //out的响应方法。输出在页面上，让ajax得到这个去处理一些业务
     PrintWriter out=response.getWriter();
     out.println(string);
     
  }

  
  protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
    // TODO Auto-generated method stub
    doGet(request, response);
  }

}







我自己建了一个list集合的过滤词汇，以后修改可以从这里开始词汇的搜索算法，先建一个词汇类





public class Words {
  //过滤词汇的词典
  static List<String> list=new ArrayList<>();
  static{
    list.add("你妹的");
    list.add("sb");
    list.add("滚");
  }
  public static List<String> getList() {
    return list;
  }
  public static void setList(List<String> list) {
    Words.list = list;
  }
  
}





这只是最基础的一种。高级的需要算法的实现，可以思考一下这个DFA算法，我感觉很不错




以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
华山资源网 Design By www.eoogi.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
华山资源网 Design By www.eoogi.com
www.eoogi.com 华山资源网
120,135影音资源
344,641技术资源
22,817软件资源
435,032站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
华山资源网 Design By www.eoogi.com