Computer Science6 Flume Sink Types Apache Flume Sink - Types of Sink in Flume - DataFlair (data-flair.training) 해당 문서 참고하여 번역, 저에게 지금 필요한 부분만 남겼습니다. Flume sink는 중앙화 되어있는 방식으로 Data를 모은다. Sink에 HDFS, HBase 등등이 쓰이는 데 Flume channel로 쌓이 이벤트들을 소비한다. Flume agent로 부터 event를 소비해서 다른 fluem agent에게 넘기거나, other system으로 보내는 대상을 Flume sink라고한다. 가능한 Flume sink의 타입을 보자면 다음과 같다. HDFS file format supported : text, sequential file 두가지의 파일 포맷에 압축을 .. 2021. 12. 7. Jinja2 Template _ 공부(1) jinja.palletsprojects.com/en/2.10.x/templates/ Template Designer Documentation — Jinja Documentation (2.11.x) This document describes the syntax and semantics of the template engine and will be most useful as reference to those creating Jinja templates. As the template engine is very flexible, the configuration from the application can be slightly different from t jinja.palletsprojects.com JinJa.. 2021. 5. 11. Python _ 나의 단기기억 보관함 - Python 함수 - List, Array.... 등 인자로 받기 def my_dict(*arg): for val in arg: print(val) - Python 함수 - Dict 인자로 받기 def my_dict(**arg): for key in arg.keys(): print(key + ":" + arg[key]) - Dataframe Join result = pd.merge(df_1, df_2, left_on='key', right_on='key', how='inner') # inner could be left or right or outer - Datafame sort // order by personnel_df.sort_values(by=['index_column'], axis=0) # i.. 2021. 5. 10. 최단 경로 알고리즘 대상 : st -> ed (지정 시간 복잡도 비고 Unweighted BFS O( V+E) weighted (positive) Dijkstra (PQ) - O(ElogV) 아직 선택 되지 않은 vertex중 최단 거리에 도달 할 수 있는 노드 선택, 해당 노드에서 나가는 edge 중를 기반으로, 업데이트 할 노드가 있다면 업데이트 Edge relaxation dist(a)=min(dist(a)+dist(cur)+edge(cur,a)) weighted (negative) - negative cycle 탐지 Bellman-Ford Algorithm O(E*V) Edge Relaxation을 V-1회 적용 (도달 최소 거리) 만약 V번째 (한번더) 수행시 업데이트 되는 구간이 있다면, negative cycl.. 2021. 3. 16. 이전 1 2 다음
