AI专业者开发社区 1 号成员
  •  0 回帖  •  7 浏览  •  4 个月前
 

MongoDB 查询超时异常 SocketTimeoutException 

    <p><span style="font-family: &quot;Microsoft YaHei UI&quot;, &quot;Microsoft YaHei&quot;, SimSun, &quot;Segoe UI&quot;, Tahoma, Helvetica, sans-serif, &quot;Microsoft YaHei&quot;, Georgia, Helvetica, Arial, sans-serif, 宋体, PMingLiU, serif; font-size: 14.2857151031494px; line-height: 20px">在对超过百万条记录的集合进行聚合操作。</span></p>
?
1
2
3
DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");
DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");
AggregationOutput output = logCollection.aggregate(match,group);

偶尔会发生Read timed out 异常。

?
1
2
3
4
5
6
7
com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable
    at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)
    at com.mongodb.DB.command(DB.java:261)
    at com.mongodb.DB.command(DB.java:243)    ...
Caused by: java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(SocketInputStream.java:152)

通过多次测试，发现执行一次聚合平均时间为 5s，超过 5s 时就会报错！

然后查看 MongoDB 的配置信息：

?
1
socket-timeout="5000"   //5s

socket-timeout 的默认配置为 0，也就是没有限制。

没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。

通过多次测试发现最长执行时间为 6 秒，就把超时时间设置成了 10000。

?
1
socket-timeout="10000"   //10s

注意：MongoDB 在与 Spring 整合时，如果要配置多个 MongDB 源，只会启用最后一个 <mongo:options> 配置。

应该把参数配置信息存储在properties 文件中。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
<mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
    <mongo:options connections-per-host="200"
        threads-allowed-to-block-for-connection-multiplier="100"
        connect-timeout="1000" 
        max-wait-time="1000" 
        auto-connect-retry="true"
        socket-keep-alive="true" 
        socket-timeout="10000" 
        slave-ok="true"
        write-number="1" 
        write-timeout="0"
        write-fsync="true" />
</mongo:mongo>

通过 Java API 获取配置参数

?
1
2
3
DBCollection logCollection = mongoTemplate.getCollection(collName);
MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions();
System.out.println(mongoOptions.getSocketTimeout());

最后一点：  ConnectionTimeOut 和 SocketTimeOut 的区别：

   一次完整的请求包括三个阶段：1、建立连接 2、数据传输 3、断开连接

  如果与服务器 (这里指数据库) 请求建立连接的时间超过 ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。

    如果与服务器连接成功，就开始数据传输了。

    如果服务器处理数据用时过长，超过了 SocketTimeOut，就会抛出 SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据。