Published 2023. 8. 10. 21:53

Java에서 한글을 2바이트로 처리하기

카테고리 없음

🚀 Problem

php → java로 컨버팅을 하고 php 서버의 api와 java 서버의 api의 응답 데이터를 완전히 동일하게 맞추는 방식으로

테스트를 진행했다. 기능을 바꾸는 것이 아닌 코드 컨버팅만 했기 때문에 php서버의 응답과 100% 동일해야 했다.

발생 문제

문자열을 최대 150로 잘라야 했다.

php에서는 기본 api를 사용해서 문자열을 자르면 바이트 기준 150개로 자른다. 이때 한글은 2바이트로 인식한다.

하지만 java는 문자열 자체를 기준으로 두기 때문에 2배 적게 길이가 측정됐다.

예를 들면 아래와 같다.

언어	자를 길이	타겟 문자열	결과
php	4	안녕하세요	안녕
java	4	안녕하세요	안녕하세

java에서 StringUtils.left(string, limit)를 사용했다.

이는 단순이 문자열을 왼쪽부터 4자만큼 자르는 것이다.

🚀 Trial And Error

Charset별로 디코딩

먼저 한글을 몇 바이트로 JVM이 처리하는지 알아봤다.

아래 코드로 확인한 결과 3바이트라는 것을 확일할 수 있었다.

"안녕하세요".getBytes().length // 15

이제 3바이트라는 것을 알았기 때문에 이걸 2바이트로 바꾸면 되겠다고 생각했다.

그래서 2바이트로 처리하는 Charset을 찾기 위해 모든 Charset을 사용해서 String으로 디코딩 해봤다.

하지만 모두 문자는 깨졌다. 하지만 UTF-8로 하면 깨지지 않았다.

// org.apache.commons.lang3.StringUtils
StringUtils.left(new String("한글어쩌구".getByte(), UTF-8) ,150).trim()

Java는 OS의 시스템 Charset을 디폴트로 채택하고 있다.

JVM은 디폴트 Charset을 OS Charset으로 한다는 것을 알게 되었다.

아래 코드로 테스트 결과로 확인할 수 있었다.

내 컴퓨터의 Charset은 UTF-8이었고, 그래서 위에서 Charset별로 디코딩을 시도했을 때 UTF-8을 제외하고는 모두 깨졌던 것이다.

즉, 인코딩이 되면 Charset은 바꿀 수가 없다. 이미 약속된 프로토콜로 인코딩 됐기 때문에

디코딩을 다른 Charset으로 하면 안되는 것이다.

@Test
void 인코딩() {
  // given
  String twoByteStr = "안";
  String encode16 = UriUtils.encode(twoByteStr, StandardCharsets.UTF_16);
  String decode8 = UriUtils.encode(twoByteStr, StandardCharsets.UTF_8);

  System.out.println(Charset.defaultCharset()); // UTF-8
  System.out.println("decode8 = " + decode8);   // decode8 = %EC%95%88
  System.out.println("encode16 = " + encode16); // encode16 = ╆䔥䙆╃㕈
}

인코딩 문제가 맞았을까?

인코딩 이슈는 아니라고 볼 수 있을 것 같다.

php 서버에서는 utf-16인지는 모르겠지만 2바이트로 한글을 취급하는 Charset을 사용했던 것이다.

물론 그렇다고 한들 바이트 기준으로 자르는 것은 라이브러리를 못찾았기 때문에 결국 나는 직접 2바이트로 한글을 자르는 코드를

작성했다. 만약 라이브러리를 찾았는데, 거기서 defaultCharset()을 사용했다면 인코딩 문제가 됐을 수도 있다.

위에서 테스트한 결과를 보면 알 수 있듯이 defaultCharset() OS의 Charset을 읽어오기 때문이다.

그러니까 애초에 인코딩 문제였다기 보다는 php에서 문자열을 그대로 자르느냐 몇 바이트 기준으로 자르느냐의 문제였던 것 같다.

자바에서도 3바이트로 인식하는 것도 무관한 것 아닌가?

한글을 2바이트로 인식하는 Charset은 없을까?

UTF-8은 3바이트로 인식하고 UTF-16은 2 or 4바이트로 인식한다.

그렇기 때문에 defaultCharset()을 사용한다면 os의 Charset을 바꿔야 한다.

아니면 JVM 옵션을 바꾸는 방법도 있지 않을까?

⚠️ 왜 문자열 자체가 아닌 바이트 단위로 잘라서 사용해야 할까?

비지니스적 문제이다. 예를 들어 디비에 컬럼 사이즈 때문이라던지 아니면 통신하는데 있어서 규칙이 그렇다던지 등등..

🚀 Solution

바이트 기준으로 자르도록 변경

자바 or 스프링에서 제공하는 바이트 기준으로 자르는 것을 찾지 못해서 직접 구현하는 방식을 택했다.

결국 2바이트 기준으로 잘라야 하는 상황이었기 때문에 택하게 되었다.

code

  public class ByteString {

    /**
     * String에서 한글이 있을 경우 한글을 2byte or 3byte등으로 인식하게 하여
     * 바이트 기준으로 문자열을 잘라서 문자열을 반환한다.
     * @param target 자를 문자열
     * @param limit 바이트 기준으로 자를 limit
     * @param standardByteLength 한글을 몇 바이트로 취급할지 길이
     * @return 바이트 기준으로 잘린 문자열
     */
    public static String cutStringToByte(String target, int limit, int standardByteLength) {
      TargetString doggy = new TargetString(target);
      return doggy.leftStringToByteCuting(limit, standardByteLength);
    }

    private static class TargetString {

      private final String target;
      private int realLimit = 0;
      private int bufferSize = 0;

      public TargetString(String target) {
        this.target = target;
      }

      public String leftStringToByteCuting(int standardLimit, int standardByte) {
        for (int i = 0; i < target.length(); i++) {
          char ascii = target.charAt(i);
          boolean isFillBuffer = fillBuffer(ascii, standardLimit, standardByte);

          if (!isFillBuffer) {
            return target.substring(0, realLimit);
          }
        }

        return target.substring(0, realLimit);
      }

      private boolean fillBuffer(char c, int standardLimit, int standardByte) {
        if (isAsciiCode(c)) {
          return fillEnglishBuffer(standardLimit);
        }

        return fillKrBuffer(standardLimit, standardByte);
      }

      private static boolean isAsciiCode(int asciiCode) {
        return asciiCode <= 127;
      }

      private boolean fillEnglishBuffer(int standardLimit) {
        if (isFillEnglish(standardLimit)) {
          bufferSize++;
          realLimit++;

          return true;
        }
        return false;
      }

      private boolean fillKrBuffer(int standardLimit, int standardByte) {
        if (isFillKr(standardLimit, standardByte)) {
          bufferSize += standardByte;
          realLimit++;

          return true;
        }
        return false;
      }

      private boolean isFillEnglish(int standardLimit) {
        return standardLimit > bufferSize;
      }

      private boolean isFillKr(int standardLimit, int standardByte) {
        return standardLimit >= bufferSize + standardByte;
      }
    }
  }