spark,kafka,hadoop ecosystems/apache.kafka

Kafka Connector , Simple Connector 구현

sangil55 2018. 7. 16. 11:33

파일전송을 KAFKA PRODUCER 쪽으로 보내기위한 AGENT 단의 구현이 필요 했다.


보통 JDBC 등의 소스에서는 kafkaconnector 가 지원하는데,


단순 경로에서 spool 하여 Producer 쪽에 쏴주는 kafkaconnector 는 존재 하지 않기 때문에 ,

직접구현하고 github 에 구현하였다.


https://github.com/Sangil55/SimpleFileConnetor