본문 바로가기
728x90
반응형

BIG DATA43

Apache NiFi 로 데이터 흐름 제어하기 출처 : https://syaku.tistory.com/378 글이 웬지 지워질지 모를것 같아서 복사해놓음 Apache NiFi 로 데이터 흐름 제어하기 2019. 8. 18. 01:08 DevOps /378 apache nifi, elasticsearch, kibana 모두 처음 다뤄보는 기술이라 잘 못된 설명이 있을 수 있습니다. Why 저희 팀은 모니터링 데이터를 수집하고 메신저로 전달하여 실시간으로 정보를 받을 수 있는 서비스를 운영 중입니다. 문제는 모든 데이터를 항상 메신저로 보내주고 있다는 점이며 만약 갑작스런 오류로 대량의 데이터가 수집되거나 중요한 데이터가 저장되지 않아 다시 찾아 볼 수 없는 상황입니다. 저희는 기민하게 움직여야 하는 조직이며 업무와 병행하며 다양한 이슈를 처리하고 있어.. 2023. 10. 27.
ConvertRecord (레코드 변환) ConvertRecord (레코드 변환) 설정된 Record Reader 및 Record Write 컨틀롤러 서비스를 사용하여 다른 데이터 형식으로 레코드를 변환한다. ConvertRecord ConvertRecord Description: Converts records from one data format to another using configured Record Reader and Record Write Controller Services. The Reader and Writer must be configured with "matching" schemas. By this, we mean the schemas must have the same field names. The types of the f.. 2023. 10. 27.
NiFi 활용방안 출처: 52:53 https://www.youtube.com/watch?v=mxnYWTabqqQ 2023. 10. 27.
ExecuteStreamCommand Processor 설정법 출처: 43:02 https://www.youtube.com/watch?v=mxnYWTabqqQ 2023. 10. 27.
728x90
반응형