컴공오지마라

개인 프로젝트를 개선하는 과정을 기록한 글입니다! 1. 서론Kori에는 주기적으로 새로운 축제 정보를 확인하여 데이터베이스에 저장하는 작업이 있다.그런데, MariaDB에 PK 생성을 위임하는 환경에서 JPA를 사용하다보니 삽입 쿼리가 아래와 같이 나타났다.INSERT INTO table (col1, col2) VALUES (val1, val1);INSERT INTO table (col1, col2) VALUES (val2, val2);INSERT INTO table (col1, col2) VALUES (val3, val3);... 이처럼 레코드 수만큼 데이터베이스에 INSERT 쿼리를 전송하면 비효율적인데, 대표적인 원인은 아래와 같다.네트워크 오버헤드 증가각 INSERT 문이 실행될 때마다 데이터베이..

서론자바에서 멀티 스레드 및 비동기 프로그래밍을 처리하기에 가장 현대적인 방식은 CompletableFuture이다.이번 포스트에서는 CompletableFuture 이 내부적으로 어떻게 동작하는지 정리해보자 한다.1. 비동기 방식으로 동작for (Job job : jobList)) //각 루프의 작업은 서로 기다리지 않고 독립적으로 실행 CompletableFuture.runAsync(() -> doJob(job));doOtherJob();CompletableFuture는 비동기 방식으로 작업을 실행한다.즉, 메인 스레드는 for-each 루프의 작업을 기다리지 않는다.그러므로 모든 작업이 마무리 되기전에 doOtherJob() 메소드를 호출할 수 있다.2. supplyAsync() 동작원리C..

개인 프로젝트를 개선하는 과정을 기록한 글입니다!1. 서론Kori 에 추가할 기능을 위해, 외부에서 제공하는 API를 바탕으로 데이터를 주기적으로 업데이트하는 기능을 개발하고 있다. 그런데, I/O가 많은 작업을 싱글스레드에서 동기방식으로 처리하는 것이 비효율적이라고 느꼈다. 이번 포스트에서는 스레드 풀을 활용한 멀티 스레드를 도입하여 작업 처리 속도를 개선한 과정을 정리하고자 한다. 1.1 Non-blocking I/O VS Multi-threading싱글스레드에서 동기방식으로 I/O 작업을 처리하면, 해당 작업이 완료될 때까지 실행중인 스레드는 대기 상태가 된다.즉, CPU는 아무런 연산을 하지 못한채 I/O가 마무리될때까지 기다리게 되므로 CPU를 낭비하는 문제가 발생한다.이를 개선하기 위해 대표적..

1. 문제상황공공데이터 포탈 API를 사용하는 과정에서 약간의 어려움을 겪었다. 포스트맨을 이용하여 호출시 정상 응답을 받았지만, 자바 애플리케이션에서 호출하니 'SERVICE_KEY_IS_NOT_REGISTERED_ERROR' 라는 응답을 받았다. 보통 API 키를 헤더에 넣어서 전송하지만 공공데이터 포탈 API를 사용할때는 쿼리 파라미터로 전송해야한다. 이 때문에 발생한 인코딩 문제의 원인을 파악하는 과정과 해결하는 방법을 이번 포스트에서 다뤄보고자 한다.2. 문제 원인 분석 내가 겪은 문제는 인코딩된 API 키로 요청했음에도 'SERVICE_KEY_IS_NOT_REGISTERED_ERROR' 응답을 받는 것이었다. 공공데이터 포탈에 올라와있는 Q&A에서도 API Key 값을 쿼리 파라미터로 전송시 ..