분류 전체보기
-
Oracle cloud instance에 ssh로 접속하기, 공개키 추가하기cloud computing 2021. 10. 28. 12:37
oracle instance가 생성되어 있고 접근 가능한 상태여야 합니다. oracle instance를 생성할 때, 애초에 ssh 공개키값과 개인키를 설정하면 쉽지만, window의 경우 putty를 쓰면 접근이 번거로운 경우가 있습니다. 다른 사람의 instance 에 접근할 수 있도록 추가하는 방법, putty를 쓰지 않고 접근하는 방법입니다. WSL, linux, unix로 접근하기 ssh-keygen -t rsa 이 명령어의 결과로 id_rsa와 id_rsa.pub가 생깁니다. passphrase 입력하라는게 나오는데, ssh키의 비밀번호라고 생각하시면 됩니다. 이걸 설정하면 ssh키를 쓸때마다 설정한 비밀번호를 입력해야합니다. 설정하고 싶지 않으면 그냥 enter 누르시면 됩니다. cd ~/...
-
Kafka docker-compose로 구축Kafka 2021. 9. 17. 16:28
단일 kafka, docker-compose로 구축 Kafka를 로컬 환경에서 테스트하기 위해 docker-compose위에 올릴 수 있다. docker-compose: yaml파일을 통해 여러 container를 하나로 묶어서 한번에 docker환경에 올리는 방식이다. 서로 관련이 있는 service를 한번에 올릴때 편리하다. docker-compose를 위한 yml file을 작성해보자. version: '2.1' services: #생성할 서비스 목록 zookeeper: hostname: lonezk image: zookeeper:3.4.9 #image file, 없으면 hub에서 자동으로 가져옴. ports: - "2184:2184" environment: #환경 변수 설정 ZOO_MY_ID: 4..
-
-
Apache Kafka란 - 이론 공부 내용Kafka 2021. 9. 12. 00:02
카프카의 등장배경 아파치 카프카(Apache Kafka)는 미국의 대표적인 비즈니스 인맥 소셜네트워크 링크드인(LinkedIn)에서 처음 개발된 분산 메시징 시스템이다. 현재 데이터 파이프라인을 구축할 때 가장 많이 고려되는 시스템 중 하나이다. (Data Pipeline-데이터를 생성해서 무사히 저장하기까지 일련의 과정을 데이터 파이프라인이라고 한다) kafka는 비즈니스 특화 서비스인 링크드인에서 처음 출발했고, 링크드인 사이트가 급속도로 성장하면서 발생하는 내부 여러 이슈들을 해결하기 위해 탄생하였다. 위의 아키텍처처럼 링크드인의 엔드 투 엔드(End to End) 연결 방식의 아키텍처는 많은 문제점이 있었다. 첫 번째로는 실시간 트랜잭션(OLTP) 처리와 비동기 처리가 동시에 이뤄지지만 통합된 전..