关于feign对x-www-form-urlencode类型的encode和decode问题

 更新时间:2022年03月07日 09:21:43   作者:灬CH灬  
这篇文章主要介绍了关于feign对x-www-form-urlencode类型的encode和decode问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

对x-www-form-urlencode类型的encode和decode问题

记录一下开发过程中遇到的一个问题。

问题场景

使用feign调用另一服务b时,在feign-client包里跑单测能调用成功,在另一项目a引入该feign-client时使用同样的参数调用失败。content-type为application/x-www-form-urlencode  POST请求

问题原因

入参中有一个String,数据是jsonArray,包含","和":",在打印请求的参数发现,feign-client包里对参数encode之后,“,” 和“:"不变,而项目a调用feign-client对参数encode会把“,” 和“:"encode成%2C和%3A,导致服务b decode失败。

后来debug对比两次的不同点,发现关键点在于feign中生成的RequestTemplate不同;一步一步调试发现,feign-client包中 feign-core版本是10.2.3,项目a的feign-core版本是9.5.1,两者在生成RequestTemplate中底层对参数encode的方法不同,低版本使用的JDK1.8的URLEncode,高版本使用的feign里的UriUtils.encodeReserved。

feign.template.UriUtils.encodeReserved对参数编码时,会将参数列表中key-value的value分割为byte数组,然后依次对每个byte进行encode,根据isAllowed方法判断是否需要encode,pctEncode(b, encoded)方法是真正去encode的地方。下面的代码可以看到UriUtils.encodeReserved保留了字母数字逗号冒号等字符。而java.net.URLEncode的encode方法不会保留逗号冒号等字符。

private static String encodeChunk(String value, FragmentType type, Charset charset) {
    byte[] data = value.getBytes(charset);
    ByteArrayOutputStream encoded = new ByteArrayOutputStream();
    // 依次对每个byte编码
    for (byte b : data) {
      // 对于一些字符不进行编码
      if (type.isAllowed(b)) {
        encoded.write(b);
      } else {
        /* percent encode the byte */
        pctEncode(b, encoded);
      }
    }
    return new String(encoded.toByteArray());
  }
 
boolean isAllowed(int c) {
        return this.isPchar(c) || (c == '/');
      }
 
protected boolean isPchar(int c) {
      return this.isUnreserved(c) || this.isSubDelimiter(c) || c == ':' || c == '@';
    }
 
protected boolean isUnreserved(int c) {
      return this.isAlpha(c) || this.isDigit(c) || c == '-' || c == '.' || c == '_' || c == '~';
    }
 
protected boolean isAlpha(int c) {
      return (c >= 'a' && c <= 'z' || c >= 'A' && c <= 'Z');
    }
 
protected boolean isDigit(int c) {
      return (c >= '0' && c <= '9');
    }
 
protected boolean isSubDelimiter(int c) {
      return (c == '!') || (c == '$') || (c == '&') || (c == '\'') || (c == '(') || (c == ')')
          || (c == '*') || (c == '+') || (c == ',') || (c == ';') || (c == '=');
    }

至于为什么服务b对URLEncode编码的参数解析不了,还待探索,因为我没看服务b的decode代码,不知道服务b是怎么解析的。

由于服务b已经对多方提供,不能让他们适应低版本去增加解决方案(事实上他们也不想动代码),所以只能从发起方来解决问题。

可能的解决办法(没来得及尝试)

1、版本升级,将项目a的feign-core版本升级到10.2.3,问题能解决(已尝试),但是项目a中已经使用低版本的feign与多个服务交互,虽然理论上feign会向下兼容,但是我不敢轻易升级版本,而且版本号跨度还挺大,风险太大 = =。

2、将高版本的encode方法提取出来,手动配置到feign.encode中  

3、加一个interceptor,将低版本encode的template再特殊decode一次,保持和高版本的一致 (失败,template属性是unModifiable)

4、看能否让项目a调用b服务时使用高版本feign-core ,其他feign仍然使用低版本

5、放弃feign 用 httpclient调用 。。。。

附:feign的调用栈

1、 ReflectiveFeign 被反射实例化

2、SynchronousMethodHandler.invoke 

      2-1、先实例化RequestTemplate 此处encode参数

      2-2、executeAndDecode方法,将RequestTemplate build为request,此处会先执行拦截器

      2-3、execute 执行 访问原程服务

      2-4、将response decode 

附上源码:

// 2、SynchronousMethodHandler.invoke 
public Object invoke(Object[] argv) throws Throwable {
    // 2-1、先实例化RequestTemplate 此处encode参数
    RequestTemplate template = buildTemplateFromArgs.create(argv);
    Retryer retryer = this.retryer.clone();
    while (true) {
      try {
        return executeAndDecode(template);
      } catch (RetryableException e) {
        try {
          retryer.continueOrPropagate(e);
        } catch (RetryableException th) {
          Throwable cause = th.getCause();
          if (propagationPolicy == UNWRAP && cause != null) {
            throw cause;
          } else {
            throw th;
          }
        }
        if (logLevel != Logger.Level.NONE) {
          logger.logRetry(metadata.configKey(), logLevel);
        }
        continue;
      }
    }
  }
 
  Object executeAndDecode(RequestTemplate template) throws Throwable {
    // 2-2、executeAndDecode方法,将RequestTemplate build为request
    Request request = targetRequest(template);
 
    if (logLevel != Logger.Level.NONE) {
      logger.logRequest(metadata.configKey(), logLevel, request);
    }
 
    Response response;
    long start = System.nanoTime();
    try {
      // 2-3、execute 执行 访问原程服务
      response = client.execute(request, options);
    } catch (IOException e) {
      if (logLevel != Logger.Level.NONE) {
        logger.logIOException(metadata.configKey(), logLevel, e, elapsedTime(start));
      }
      throw errorExecuting(request, e);
    }
    long elapsedTime = TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - start);
 
    boolean shouldClose = true;
    try {
      if (logLevel != Logger.Level.NONE) {
        response =
            logger.logAndRebufferResponse(metadata.configKey(), logLevel, response, elapsedTime);
      }
      if (Response.class == metadata.returnType()) {
        if (response.body() == null) {
          return response;
        }
        if (response.body().length() == null ||
            response.body().length() > MAX_RESPONSE_BUFFER_SIZE) {
          shouldClose = false;
          return response;
        }
        // Ensure the response body is disconnected
        byte[] bodyData = Util.toByteArray(response.body().asInputStream());
        return response.toBuilder().body(bodyData).build();
      }
      if (response.status() >= 200 && response.status() < 300) {
        if (void.class == metadata.returnType()) {
          return null;
        } else {
          Object result = decode(response);
          shouldClose = closeAfterDecode;
          return result;
        }
      } else if (decode404 && response.status() == 404 && void.class != metadata.returnType()) {
        Object result = decode(response);
        shouldClose = closeAfterDecode;
        return result;
      } else {
        throw errorDecoder.decode(metadata.configKey(), response);
      }
    } catch (IOException e) {
      if (logLevel != Logger.Level.NONE) {
        logger.logIOException(metadata.configKey(), logLevel, e, elapsedTime);
      }
      throw errorReading(request, response, e);
    } finally {
      if (shouldClose) {
        ensureClosed(response.body());
      }
    }
  }
 
  long elapsedTime(long start) {
    return TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - start);
  }
 
  Request targetRequest(RequestTemplate template) {
    // 此处会先执行拦截器
    for (RequestInterceptor interceptor : requestInterceptors) {
      interceptor.apply(template);
    }
    return target.apply(template);
  }
 
  Object decode(Response response) throws Throwable {
    try {
      // 2-4、将response decode 
      return decoder.decode(response, metadata.returnType());
    } catch (FeignException e) {
      throw e;
    } catch (RuntimeException e) {
      throw new DecodeException(response.status(), e.getMessage(), e);
    }
  }

feign x-www-form-urlencoded 类型请求

spring发送 content-type=application/x-www-form-urlencoded 和普通请求不太一样。

试了好多方式,最后用以下方式成功

@FeignClient(
    name = "ocr-api",
    url = "${orc.idcard-url}",
    fallbackFactory = OcrClientFallbackFactory.class
)
public interface OcrClient {
 
    @PostMapping(
        value = "/v1/demo/idcard",
        headers = {"content-type=application/x-www-form-urlencoded"}
    )
    OcrBaseResponse<IdCardResponse> getIdCarInfo(@RequestBody MultiValueMap<String, Object> request);
}

Post请求,参数使用@RequestBody 并且使用 MultiValueMap。

    // 测试代码
    @Resource
    private OcrClient ocrClient;
    @GetMapping("getIdCardInfo")
    public Message getIdCardInfo() {
        MultiValueMap<String, Object> req = new LinkedMultiValueMap<>();
        req.add("request_id", 12343531123L);
        req.add("img_url", "xxx.jpg");
        req.add("source", -1);
        req.add("out_business_id", 1321434234L);
        OcrBaseResponse<IdCardResponse> idCarInfo = ocrClient.getIdCarInfo(req);
        return Message.success(idCarInfo);
    }

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Java正则验证正整数的方法分析【测试可用】

    Java正则验证正整数的方法分析【测试可用】

    这篇文章主要介绍了Java正则验证正整数的方法,结合实例形式对比分析了java针对正整数的验证方法及相关注意事项,需要的朋友可以参考下
    2017-08-08
  • Eclipse IDE可支持Java 14編程

    Eclipse IDE可支持Java 14編程

    这篇文章主要介绍了Eclipse IDE可支持Java 14編程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • 图文详解Java的反射机制

    图文详解Java的反射机制

    反射就是Reflection,Java的反射是指程序在运行期可以拿到一个对象的所有信息。反射机制是框架的灵魂,一个java程序员不能不会使用反射,本文就来和大家一起详细聊聊Java的反射机制
    2022-08-08
  • Nacos客户端配置中心缓存动态更新实现源码

    Nacos客户端配置中心缓存动态更新实现源码

    这篇文章主要为大家介绍了Nacos客户端配置中心缓存动态更新实现源码,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2022-03-03
  • 基于Java实现五子棋小游戏(附源码)

    基于Java实现五子棋小游戏(附源码)

    这篇文章主要为大家介绍了如何通过Java实现简单的五子棋游戏,文中的示例代码讲解详细,对我们学习Java游戏开发有一定帮助,需要的可以参考一下
    2022-11-11
  • 全方位讲解Java的面向对象编程思想

    全方位讲解Java的面向对象编程思想

    这篇文章主要介绍了Java的面相对象编程思想,包括类对象方法和封装继承多态等各个方面的OOP基本要素,非常推荐,需要的朋友可以参考下
    2016-01-01
  • Maven中错误使用parent.relativePath导致构建失败问题

    Maven中错误使用parent.relativePath导致构建失败问题

    这篇文章主要介绍了Maven中错误使用parent.relativePath导致构建失败问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-08-08
  • Java中的Cglib动态代理详细解读

    Java中的Cglib动态代理详细解读

    这篇文章主要介绍了Java中的Cglib动态代理详细解读,CGLib是一个强大的、高性能、高质量的 Code 生成类库,它可以在运行期扩展 Java 类与实现 Java 接口,需要的朋友可以参考下
    2023-11-11
  • MyBatis中的关联关系配置与多表查询的操作代码

    MyBatis中的关联关系配置与多表查询的操作代码

    本文介绍了在MyBatis中配置和使用一对多和多对多关系的方法,通过合理的实体类设计、Mapper接口和XML文件的配置,我们可以方便地进行多表查询,并丰富了应用程序的功能和灵活性,需要的朋友可以参考下
    2023-09-09
  • java中如何调用js

    java中如何调用js

    Nashorn是Java8中引入的一个新的JavaScript引擎,它允许在JVM上运行JavaScript代码,并且可以与Java代码相互调用,Nashorn遵循JSR233规范,是一个纯Java实现的JavaScript引擎,可以与Java程序无缝集成,提供动态脚本执行和灵活性
    2025-01-01

最新评论