CompletableFuture를 활용한 성능 개선기

들어가기 앞서

저희 프로젝트에서는 매일 오전 4시에 베스트 셀러 도서 100권의 정보를 크롤링하여 서버에 저장하는 작업을 수행해야 했습니다. 처음에는 동기적인 방식으로 코드를 작성하여 이 작업을 테스트해 보았으나, 이 방법으로는 데이터 크롤링에 많은 시간이 소요되었고, 전체 프로세스 효율성에 문제가 있었습니다. 

 

이에 따라, 이 문제를 해결하기 위해 CompletableFuture를 이용한 비동기 처리와 병렬 프로그래밍을 활용한 방법으로 개선을 시도했습니다. 이 글에서는 기존 동기적인 접근 방식에서 겪었던 문제와 그로 인해 발생한 지연 문제를 어떻게 해결했는지, 그리고 새로운 방법으로 개선된 효율성에 대해 공유하려 합니다. 

 

문제 상황

@Component
@RequiredArgsConstructor
public class Yes24Crawler implements Crawler {

	private final Fetcher fetcher;
	private final Parser parser;
	
	@Override
	public Map<Long, CrawledBook> crawlBestSellers() {
		Map<Long, String> bestSellerIds = parser.
			parseBestSellerIds(fetcher.fetchBestSellerIds());
		
		return bestSellerIds.entrySet() 
			.stream()
			.collect(Collectors.toMap(
				Map.Entry::getKey,
				entry -> parser.parseBook(fetcher.fetchBook(entry.getValue()))
			));
	}
	
}

해당 코드는 parser.parseBestSellerIds(...) 메서드를 통해 크롤링 된 100권의 도서 아이디를 통해 상세 도서 정보를 크롤링 하여 순위 정보와 함께 Map으로 매핑하여 리턴해주는 코드입니다. 

 

아래 사진은 위 코드의 수행 시간입니다. 

38sec 828ms의 수행시간을 가진다.

 

왜 발생하나요?

현재 코드에서의 문제점은 모든 도서에 대한 HTTP 요청이 순차적으로 처리되기 때문에 크롤링 시간이 비효율적으로 소요된다는 것입니다. 

 

동기적인 수행방식

즉, 첫 번째 도서의 정보를 가져온 후에야 두 번째 도서의 정보를 가져오는 방식으로 처리되고 있어, 전체적인 처리 시간이 크게 증가합니다. 이러한 문제를 해결하기 위해, 병렬 처리를 도입하여 HTTP 요청을 동시에 수행하는 방법을 고려할 수 있습니다. 이를 통해 각 도서의 정보를 독립적으로 가져오면서 처리 시간을 줄일 수 있습니다. 

 

해결 방법

CompletableFuture

CompletableFuture는 기존의 Future 인터페이스가 제공하지 못했던 비동기 결과 값의 조합과 예외 처리를 훨씬 더 효과적으로 수행할 수 있는 기능을 갖춘 인터페이스입니다. 이 인터페이스를 활용하면 동기 코드를 비동기 코드로 변환하여 성능을 개선하고, 더 유연한 비동기 처리 로직을 구현할 수 있습니다. 

 

이제, CompletableFuture를 활용한 코드 수정을 통해 그 과정을 살펴보겠습니다. 

@Component
@RequiredArgsConstructor
public class Yes24Crawler implements Crawler {
	
	private final Fetcher fetcher;
	private final Parser parser;
	
	@Override
	public Map<Long, CrawledBook> crawlBestSellers() {
		Map<Long, String> bestSellerIds = parser.parseBestSellerIds(fetcher.fetchBestSellerIds());
		Map<Long, CrawledBook> crawledBookMap = new ConcurrentHashMap<>();
		
		List<CompletableFuture<Void>> futures = bestSellerIds.entrySet().stream()
			.map(entry -> CompletableFuture.supplyAsync(() -> parser.parseBook(fetcher.fetchBook(entry.getValue())))
					.thenAccept(crawledBook -> crawledBookMap.put(entry.getKey(), crawledBook))
			.toList();
		
		CompletableFuture.allOf(futures.toArray(CompletableFuture[]::new)).join();
		
		return crawledBookMap;
	}
	
}

베스트 셀러 ID 파싱

Map<Long, String> bestSellerIds = parser.parseBestSellerIds(fetcher.fetchBestSellerIds());

해당 메서드를 통해 베스트 셀러 ID를 파싱하여 Map<Long, String>에 할당합니다. 이는 동기적으로 수행합니다. 

 

비동기 데이터 처리

bestSellerIds.entrySet().stream()
	.map(entry -> CompletableFuture.supplyAsync(() -> parser.parseBook(fetcher.fetchBook(entry.getValue()))))
		.thenAccept(crawledBook -> crawledBookMap.put(entry.getKey(), crawledBook))
	.toList();

bestSellerIds의 각 항목에 대해 CompletableFuture.supplyAsync(...)를 사용하여 비동기 작업을 시작합니다. 이 작업은 fetcher.fetchBook(...)을 통해 크롤링한 상세 도서 정보를 가져오고, parser.parseBook(...)을 통해 책 정보를 파싱합니다. 

 

그 후 각 비동기 작업이 완료되면 thenAccept(...)를 통해 crawledBookMap에 결과를 저장합니다. 

 

비동기 작업 대기

CompletableFuture.allOf(futures.toArray(CompletableFuture[]::new)).join();

CompletableFuture.allOf(...)는 모든 비동기 작업이 완료될 때 까지 기다리는 새로운 CompletableFuture를 반환합니다. 해당 메서드를 통해 CompletableFuture가 블로킹 되는 것 같지만 그 CompletableFuture가 실제로 완료될 때까지 블로킹하지 않습니다. 

 

따라서 join()을 호출하여 CompletableFuture.allOf()가 반환한 CompletableFuture의 완료를 기다려야 모든 비동기 작업이 완료된 상태를 보장할 수 있습니다. 그렇지 않으면 비동기 작업이 완료되기 전에 메인 스레드가 종료되어 결과를 제대로 얻지 못할 수 있습니다. 

 

결과

비동기를 적용한 부분

위와 같이 개선된 상황에서 수행 시간은 얼마나 단축 되었는지 확인해보겠습니다.

 

@Component
@RequiredArgsConstructor
public class Yes24Crawler implements Crawler {

	private final Fetcher fetcher;
	private final Parser parser;
	
	@Override
	public Map<Long, CrawledBook> crawlBestSellers() {
		Map<Long, String> bestSellerIds = parser.
			parseBestSellerIds(fetcher.fetchBestSellerIds());
		
		return bestSellerIds.entrySet() 
			.stream()
			.collect(Collectors.toMap(
				Map.Entry::getKey,
				entry -> parser.parseBook(fetcher.fetchBook(entry.getValue()))
			));
	}
	
}

동기 방식으로 동작하는 기존 방식

 

@Component
@RequiredArgsConstructor
public class Yes24Crawler implements Crawler {
	
	private final Fetcher fetcher;
	private final Parser parser;
	
	@Override
	public Map<Long, CrawledBook> crawlBestSellers() {
		Map<Long, String> bestSellerIds = parser.parseBestSellerIds(fetcher.fetchBestSellerIds());
		Map<Long, CrawledBook> crawledBookMap = new ConcurrentHashMap<>();
		
		List<CompletableFuture<Void>> futures = bestSellerIds.entrySet().stream()
			.map(entry -> CompletableFuture.supplyAsync(() -> parser.parseBook(fetcher.fetchBook(entry.getValue())))
					.thenAccept(crawledBook -> crawledBookMap.put(entry.getKey(), crawledBook))
			.toList();
		
		CompletableFuture.allOf(futures.toArray(CompletableFuture[]::new)).join();
		
		return crawledBookMap;
	}
	
}

CompletableFuture를 활용한 비동기 방식

수행 결과를 통해서 비동기 프로그래밍에서 1166%의 성능 개선이 되었음을 볼 수 있습니다.