본문 바로가기

전체 글

SW Architecture 2022. 11. 18. ETL Pipeline 개발에도 필요했던 MSA 올 해 초 소개했던 팀 내 MSA 개선하기의 결과로 올 해를 마무리하며 SSDC 2022에서 발표를 했다. https://esevan.tistory.com/18 팀 내 MSA 개선하기 팀에 처음 조인한 5년 전부터 우리 팀은 Kubernetes를 사용하고 있었다. 조인한 지 1년만에 Kubernetes는 업계 표준 오픈소스가 되었고, 우리 팀은 마이크로서비스가 서비스 개발하는데 필수라고 확신 esevan.tistory.com https://youtu.be/TT6T7-kxamI 이런 영광스러운 코멘트를 받아서 정말 신이 났다. 한 해 동안 새로운 시도를 하며 느꼈던 것은, 1. 하니까 되는구나. 2. 정말 파트장님과 파트원들을 잘 만났다. 무엇보다, 분명하지 않고 많은 사람들이 가지 않는 길을 헤쳐 나갈 ..
SW Architecture 2022. 6. 29. 확장성 있는 웹 서비스 시스템 설계 출처: 가상 면접 사례로 배우는 대규모 시스템 설계 기초 System Design Interview 1장 기록용으로 몇가지 키워드만 남긴다. 추후 하나씩 블로그를 통해 다뤄보면 유익할 것 같다. 일반적인 웹 서비스 구조를 가정하면 Client (Mobile or Web) -> LB -> Web Server -> Database로 큰 관점에서의 Layered Architecture가 되는데, 이를 확장성있게 설계하기 위한 체크리스트이자 요약이다. 핵심은 모든 계층을 다중화 하자. "모든 계층에 Scale Out 전략이 세워졌나?" Stateless 웹 계층. "Client Server간 REST API 설계가 제대로 됐나?" 가능한 한 많은 데이터를 캐시해야 한다. "캐시 전략은 세웠나?, 어떤 데이터를 ..
Big Data 2022. 4. 3. Apache Beam 시작하기 출처: https://colab.research.google.com/github/apache/beam/blob/master/examples/notebooks/tour-of-beam/getting-started.ipynb#scrollTo=PoRd7hlnoOu5 Apache Beam Apache Beam은 "병렬 처리"를 위한 라이브러리다. 아래와 같은 특성을 갖는다. 구글이 만들어 공개 Java와 Python 등 다양한 언어를 지원 Flink, Spark, GCP Dataflow 등 여러 병럴 처리 프레임워크 상에서 동작 API 추상화 수준이 올라갔으므로 성능 최적화는 Beam이 알아서 (반대로 말하면 그 이상 최적화는 힘듦) Streaming, Batch를 동일한 코드로 처리 Functional Prog..
주저리주저리 2022. 1. 22. 팀 내 MSA 개선하기 팀에 처음 조인한 5년 전부터 우리 팀은 Kubernetes를 사용하고 있었다. 조인한 지 1년만에 Kubernetes는 업계 표준 오픈소스가 되었고, 우리 팀은 마이크로서비스가 서비스 개발하는데 필수라고 확신했다. 개발 프로세스를 명시적으로 관리하는 사람이 없었기 때문인지 5년 동안 우리가 도입한 마이크로서비스 개발 방식에 다음 현상이 발생했다. 마이크로서비스 당 담당 개발자 1명이 배정되었다. 모든 마이크로서비스가 폴리글랏했다. 모든 개발자가 각자 선호하는 언어로 개발을 했다. 모든 개발자가 각자 선호하는 프레임워크로 개발을 했다. 개발 속도는 괜찮았다. 일단 R&R이 정해지면 담당 개발자가 마이크로 서비스에 기능 하나 추가하면 될 일이었다. 그러나, 이런 현상은 다음 문제의 원인이 되었다. 사내 G..
SW Architecture 2021. 3. 16. REST API 설계 REST API 설계 요약 (Takeaways) (Naming Rule 등에 대해서 일관성을 유지하기 위해 복수형 사용, PATCH 사용하지 않음, Field Naming Rule등을 주관적으로 정리하였다.) HTTP Method는POST(create), GET(read), PUT(update), DELETE(delete)만 사용한다. URL Format : /{API_VERSION}/{Resource(Collection)}/{Resource(Element)}:{Custom Method} POST /v1/movies : 신규 영화정보 생성 GET /v1/movies : 영화 목록 조회 GET /v1/movies/{movie id} - movie 단건상세조회 PUT /v1/movies/{movie id} ..
Coding 2021. 3. 13. Python으로 우리팀 MBTI 궁합 알아보기~ MBTI을 보고 서로의 성향을 파악해서 팀웍을 키우라는 건 이과 인 우리에게 너무 어려운 주문입니다. 그래서 구글링을 해보니 우리가 좋아하는 숫자로 딱 떨어지는 Reference를 찾을 수 있었습니다. 이거다. 각자 궁합도를 보고 해석하는 바가 다르겠지만 저는 이 소중한 Reference를 이렇게 사용하기로 결심합니다. 궁합이 좋다면 - 이 사람과는 격식보다는 효율을 중시하는 의사소통을 합니다. 상처 받지 않을 궁합이니까요. 궁합이 나쁘다면 - 우리가 소통과 관련한 책을 읽어온 이유입니다. 비언어적 소통을 가미하여 팀웍을 향상시키도록 사용합니다. 나 혼자만 보고 나만의 해석으로 대처하면 언어의 사회성을 무시하는 것입니다. 그래서 팀원들의 MBTI를 받아 내가 확인한 궁합을 분석해주고 이를 토대로 행동강령..
Big Data 2020. 12. 22. 현대적인 데이터 인프라를 위한 최신 아키텍처 (1/2) Emerging Architectures for Modern Data Infrastructure (1/2) Andressen Horowitz (a16z)는 공신력 있는 VC 회사입니다. 이 회사에서 최신 데이터 인프라 아키텍처에 대해 정리한 글이 있어 소개드립니다. 2020년 10월에 소개된 글로 본문은 여기를 참고해주세요~ Why Data? 왜 하필 데이터 중심의 Architecture가 나타났을까요? 간단합니다. 산업의 흐름입니다. 산업의 흐름이라는 것은 회사와 개인을 발전 시키는 기술 및 결정의 집합입니다. 이 흐름에 집중하지 않으면 아무리 큰 회사라도 경쟁에서 도태되기 마련입니다. 최근 네이버 스마트 스토어 광고는 비즈니스에서 데이터의 역할을 직접적으로 설명해주고 있습니다. a16z에 의하면 오늘..
Cloud 2020. 12. 19. CKA 후기 - 2020년 12월 CKA (Certified Kubernetes Administrator) CNCF에서 주최하고 Linux Foundation에서 발행하는 Kubernetes 관리자 자격증입니다. Kubernetes 클러스터에 대한 기본 구조 이해 및 Kubernetes 리소스들에 대한 CRUD 전반적인 스킬을 인증하는 자격입니다. Linux Foundation에서는 이 자격을 Intermidate 레벨이라고 규정하고 있습니다. Kubernetes에 관심이 있으신 분들은 도전해보시면 좋은 기회가 될 것 같습니다. 저 같은 경우에는 4년정도 Kubernetes 인프라 구축부터 서비스 개발까지 경험이 있어서 어느 정도 자신이 있는 상태였습니다. 그럼에도 불구하고, 현업에서는 다루지 않았던 부분까지 꼼꼼하게 공부하다보니 굉장히..

티스토리툴바