【从0做项目】Java搜索引擎（6）正则表达式鲨疯了优化正文解析

   

阿华代码，不是逆风，就是我疯

你们的点赞收藏是我前进最大的动力！！

希望本文内容能够帮助到你！！

目录

 文章导读

零：项目结果展示

一：导读&知识点回顾

二：遗留问题

三：正则表达式

1：目标

2：简单介绍正则表达

（1）简单使用

（2）贪婪匹配

（3）非贪婪匹配 

四：解析正文回炉重造

1：实现readFile方法

2：过滤得正文

​编辑

3：优化前后对比

---

 文章导读

阿华将发布项目复盘系列的文章，旨在：

1：手把手细致带大家从0到1做一个完整的项目，保证每2~3行代码都有详细的注解

2：通过文字+画图的方式，对项目进行整个复盘，更好的理解以及优化项目

3：总结自己的优缺点，扎实java相关技术栈，增强文档编写能力

零：项目结果展示

项目目前已经上线，小伙伴们可以进行使用！！！

Java 文档搜索

简述：在我的搜索引擎网站，用户进行关键字搜索，就可以查询到与这个关键字相关的java在线文档，（包含标题，关键字附近的简述，url），用户点击标题，即可跳转到相关在线文档，适用于JDK17版本。

一：导读&知识点回顾

通过（1）~（3）项目的梳理，（4）项目的优化，（5）中DocSearch功能：根据搜索词，去索引中查询数据，并封装好我们要返回的结果。

我们基本上完成了，Parser类和Index类的工作——索引的制作和加载，那么这两个类之间的关系是怎样的呢？Parse类相当于制作索引的入口，Index类相当于实现了索引的数据结构，提供一些API来构建索引

二：遗留问题

分析：为什么我们解析html文档中，正文还会包含我们的js代码呢？

知道js代码是在我们的<script>标签中的

回顾一下我们之前写的解析正文的逻辑，是把标签去掉了，取得了两个标签夹着的内容，很明显我们把<script>标签夹着的内容也给解析出来了！！GG

public String parseContent(File f) { // try (BufferedReader bufferedReader = new BufferedReader(new FileReader(f), 1024 * 1024)) {//缓冲区设置为1M,默认的为8192字节太小 // FileReader fileReader = new FileReader(f);//这里是从硬盘读，我们改成提前读好，之后从内存中读效率会更高 //是否拷贝的开关 boolean isCopy = true; //用StringBuilder来保存结果， StringBuilder content = new StringBuilder(); while (true) { // int ret = fileReader.read();//读取文件，一个字符一个字符的读，不是字符返回-1； int ret = bufferedReader.read(); if (ret == -1) { break;//读完了 } //是字符执行以下逻辑 char c = (char) ret; if (isCopy) { if (c == '<') { isCopy = false; continue; } if (c == '\n' || c == '\r') {//换行的两种方式注意回车键 c = ' ';//换成空格 } content.append(c);//其它字符直接进行拷贝到StringBuilder中 } else { //直到遇见'>'这个字符我们才打开拷贝的开关 if (c == '>') { isCopy = true; } } } // fileReader.close(); return content.toString(); } catch (IOException e) { e.printStackTrace(); } return ""; } 三：正则表达式 1：目标

2：简单介绍正则表达

正则表达式，简单理解就是用一些特殊符号来代表我们正文中的指定的内容，并把这个内容替换成我们目标的内容（删掉也可）

（1）简单使用

在java中，String类里有很多方法都支持正则，比如index，replace，replaceAll，split等等

（2）贪婪匹配

可以看到我们的<.*>表示匹配一个可以出现若干次的非换行字符

就是说匹配到第一个<div>后，再遇到第一个</div>不会停下，会继续往后匹配，直到我们最后一个(也就是下面举例的第二个)</div>才会停下

（3）非贪婪匹配 

这个就很好，匹配到了一个<div>就停下，再找第二个<div>。贪得无厌，取之有道~~~完美！

四：解析正文回炉重造

了解咱们的正则表达式后，下面我们开始实战！！重新写我们的parseContent

1：实现readFile方法

我们先把整个文件读到String当中，这里的bufferReader.read()，方法读到末尾会返回-1,返回类型为int类型，这里我们强转一下就行

private String readFile(File f){ try(BufferedReader bufferedReader = new BufferedReader(new FileReader(f))){//从内存中读 StringBuilder content = new StringBuilder(); while(true){ int ret = bufferedReader.read(); if(ret == -1){ break; } char c = (char)ret; if(c == '\n' || c == '\r'){ c = ' '; } content.append(c); } return content.toString(); } catch (IOException e) { e.printStackTrace(); } return ""; } 2：过滤得正文

第一步：我们先把<script>标签和这个标签当中的内容过滤掉

第二步：我们在把其他标签过滤掉第三步

第三步：我们把多个空格合并为一个空格

注：我们的String对象是一个不可变对象，所以要重新整一个String对象。第一步和第二步不能颠倒哈。

public String parseContentByRegex(File f){ //1：先把整个文件读到String里面 String content = readFile(f); //2:替换掉script 标签 content = content.replaceAll("<script.*?>(.*?)</script>","");//匹配非换行字符若干次，最短结果（非贪婪） //3:替换掉普通的html标签 content = content.replaceAll("<.*?>"," ");//2，3顺序不能换，不然先把scrip标签整没了，那script标签中的内容咋整？ //4：合并多个空格为1个空格 content = content.replaceAll("\\s+"," "); return content; }

 用\s来匹配多个空白字符，这里我们要防转义再加一个\

3：优化前后对比