过载保护

为高流量场景实现过载保护

一个GraphQL服务器可以实现过载保护以帮助其在高负载下保持可用。带有过载保护的服务器会监视其资源使用情况，并在资源使用接近性能降低的限制（如耗尽内存）时开始削减传入流量。

随着您向supergraph添加功能和用户，可能会引入新的使用模式，造成不预期的过高负载。过载保护有助于在优化supergraph以完全消除这些峰值的同时减少其影响。

示例场景

系统中常见的过载原因是雷暴雨问题，大量进程或客户端尝试访问有限的计算机资源。

Kubernetes中的Pod故障导致较少的Pod处理相同数量的流量。
营销活动或病毒式社交媒体帖文在短时间内使应用流量激增。
新部署的功能在图中引入了预期之外的更多负载。

更基于图的复杂问题是在模式中添加一种实体关系，这导致了流量的显著增加。例如在星球大战模式中，想象如果没有今天添加的从 Person 到 Film（尽管是 PersonFilmsConnection）的链接，并且今天第一次添加。直到模式中该新连接的使用量平缓下来，任何引起流量的部署或事件都可能直接导致 Film 实体的所有者(account holder)承担大量新的负载。

Express 实现方式

大多数流行的编程语言和服务器框架都提供了过载保护包。例如，我们将使用 overload-protection 包结合 @apollo/server 包。此即时(instant)包使您的服务器可以根据以下任何条件返回一个 503 状态码：

当前事件循环延迟
堆(heap)使用的字节数
常驻集大小(RSS)使用的字节数

要使用 overload-protection，将包包含在 Express 启动中，如下所示：

1
import express from 'express';
2
import protect from 'overload-protection';
3

4
const app = express();
5
protect('express');
6
app.use(protect);

ⓘ 注意

如果您当前正在使用 startStandaloneServer 函数，您需要在使用过载保护之前将其切换到 expressMiddleware。

如果您正在使用 @apollo/server 的 Express集成（即expressMiddleware），您可以通过将突出显示的行添加到服务器创建过程中来通过 Express中间件添加 overload-protection。

index.js

1
import {ApolloServer} from '@apollo/server';
2
import {expressMiddleware} from '@apollo/server/express4';
3
import {ApolloServerPluginDrainHttpServer} from '@apollo/server/plugin/drainHttpServer';
4
import express from 'express';
5
import http from 'http';
6
import cors from 'cors';
7
import {typeDefs, resolvers} from './schema';
8
import protect from 'overload-protection';
9
protect('express');
10

11
const app = express();
12
app.use(protect); 
13
const httpServer = http.createServer(app);
14
const server = new ApolloServer({
15
  typeDefs,
16
  resolvers,
17
  plugins: [ApolloServerPluginDrainHttpServer({httpServer})]
18
});
19

20
// Note the top-level `await` calls below!
21
await server.start();
22
app.use('/graphql', cors(), express.json(), expressMiddleware(server));
23
await new Promise(resolve => httpServer.listen({port: 4000}, resolve));
24
console.log(`🚀 Server ready at http://localhost:4000/graphql`);

这种方法也适用于您正在使用 @apollo/subgraph 库以类似的方式创建您的子图。

过载保护并非专用于 GraphQL，因此最好在 Apollo 软件之外处理它。

保护超级图

当添加超级图的过载保护时，一个合理的问题就是，"我是应该给我的网关/路由器还是给我的各个子图添加保护?" 简短的回答是 "两者都要":

保护路由器保护了整个超级图的可用性。
保护一个子图可以下降请求该子图的数据查询的错误率。

主页

过载保护

为高流量场景实现过载保护

Express 实现方式

保护超级图

网关/路由器

子图

额外保护