엘라스틱서치(Elasticsearch)가 첫 등장했을 때는 지금과 같은 형태의 빅데이터 파이프라인을 구성하는 플랫폼으로 성공하리라 예상하지 못했습니다. 엘라스틱서치가 탄생한 배경은 명확했는데 사이트 내에서 전문 검색(full text search) 기능을 제공하는 강력한 소프트웨어의 필요성입니다. 인터넷 검색 서비스는 계속 등장했지만 이 기능에 대한 구현체는 기업의 저작권이 있기에 공개하지 않았고, 일반적인 개발자가 검색에 대한 로직을 알기 쉽지 않았습니다. 따라서 검색 서비스를 구현해야하는 회사들은 벤더의 비싼 솔루션을 사용할 수 밖에 없었습니다. 루씬(Lucene)의 등장 루씬이라는 이름은 1999년 하둡(Hadoop)으로 유명해진 더그 커팅의 부인의 중간 이름에서 따왔습니다. 루씬은 더그 커팅의 다..