Hello Ocean!

[Go] 데이터 경합을 감지해보자, Data Race Detector

bba_dda — Fri, 23 Aug 2024 16:45:54 +0900

서론

동시 처리 시스템(Concurrent System)에서 데이터 경합은 매우 흔하고, 디버깅하기 힘든 문제이다.

Go에서는 이런 문제 해결을 돕기 위한 built-in Data Race Detector가 존재한다! (야호 )

어떻게 쓰나요?

사용방법은 매우 단순하다.

go command에 -race 플래그를 추가하면 된다!

$ go test -race mypkg    // to test the package
$ go run -race mysrc.go  // to run the source file
$ go build -race mycmd   // to build the command
$ go install -race mypkg // to install the package

race build tag로 효율적으로 사용하기

모든 코드와 모든 테스트에 대해 race detector를 사용하는 것이 비효율적일 수 있다.
그럴 때는, race build tag를 사용하면 좋다.

파일 맨 첫번째 라인에 아래와 같이 작성해 활용할 수 있다.

` // +build !race` : -race 플래그가 없을 때만 빌드에 포함됨
- race 검사가 불필요한 코드/테스트
` // +build race` : -race 플래그가 있을 때만 빌드에 포함됨
- race 검사만을 위한 코드/테스트

어떻게 알려주나요?

Race Decector가 race를 발견하면, report를 작성해준다.

report는 아래의 내용들을 포함한다.

경고 메시지:
읽기 작업을 수행한 goroutine의 스택 트레이스:
- 함수 호출과 파일/라인 정보 포함
- 예시:
```
net.(*pollServer).AddFD()
src/net/fd_unix.go:89 +0x398
```
이전 쓰기 작업을 수행한 goroutine의 스택 트레이스:
- 함수 호출과 파일/라인 정보 포함
- 예시:
```
net.setWriteDeadline()
src/net/sockopt_posix.go:135 +0xdf
```
읽기 작업을 수행한 goroutine의 생성 위치:
- 함수 호출과 파일/라인 정보 포함
- 예시:
```
net.func·061()
src/net/timeout_test.go:609 +0x288
```
쓰기를 수행한 goroutine의 생성 위치:
- 함수 호출과 파일/라인 정보 포함
- 예시:
```
net.TestProlongTimeout()
src/net/timeout_test.go:618 +0x298
```

report 예시

==================
WARNING: DATA RACE
Write at 0x00c000098180 by goroutine 6:
  runtime.mapaccess2_faststr()
      /opt/homebrew/Cellar/go/1.20.2/libexec/src/runtime/map_faststr.go:108 +0x42c
  main.main.func1()
      /Users/bada/Projects/Concurrency-in-Go/main.go:67 +0x48

Previous write at 0x00c000098180 by main goroutine:
  runtime.mapaccess2_faststr()
      /opt/homebrew/Cellar/go/1.20.2/libexec/src/runtime/map_faststr.go:108 +0x42c
  main.main()
      /Users/bada/Projects/Concurrency-in-Go/main.go:70 +0xf4

Goroutine 6 (running) created at:
  main.main()
      /Users/bada/Projects/Concurrency-in-Go/main.go:66 +0xd8
==================
Found 1 data race(s)

report를 통해 데이터 경합 문제가 어디에서 어떻게 발생하고 있는지 파악할 수 있다.

다양한 report관련 option들

GORACE 환경변수를 통해 race detector에 옵션들을 설정할 수 있다.

사용 가능한 옵션 목록은 아래와 같다.

log_path (default : stderr)
- report 작성 위치
- stderr, stdout로 설정하면 표준에러, 표준출력으로 작성됨
- 특정 파일 경로를 입력하면 file_name.pid 형식의 파일에 작성됨
exitcode (default : 66)
- 경합상태 감지 후 프로그램이 종료될 때 사용할 exit status를 설정
strip_path_prefix (default : "")
- report에 포함될 모든 파일 경로에서 생략할 prefix 지정
history_size (default : 1)
- 각 goroutine의 메모리 접근 히스토리는 32K * 2**history_size 로 구성됨
- 이 값을 증가시키면 스택을 복원하지 못함(failed to restore the stack)에러를 피할 수 있지만, 메모리 사용량이 증가함
halt_on_error (default : 0)
- 첫 번째 race를 탐지하고 바로 종료할것인지, 이어서 계속 탐지할 것인지 설정
- 0: 종료하지 않음 / 1: 종료함
atexit_sleep_ms (default : 1000)
- 프로그램이 종료되기 전에 main goroutine에서 대기할 시간(ms)을 설정

사용 예시

  GORACE="log_path=/tmp/race/report strip_path_prefix=/my/go/sources/" go test -race

Test를 통한 race탐지의 한계와 해결방법

go test -race를 사용하여 race detector를 실행할 경우, 실행중에 발생하는 race만 찾을 수 있다.

(== 실행되지 않는 코드에서 발생하는 레이스는 찾을 수 없음)

따라서, test coverage가 충분히 높지 않은 경우에는 ,
-race플래그로 build한 바이너리를 실제와 유사한 환경에서 실행하면 더 많은 race를 탐지할 수 있다.

Runtime Overhead

race detector를 사용하면 메모리 사용량과 실행 시간이 크게 증가할 수 있다.
그리고 race detector로 인한 메모리 증가는 runtime.ReadMemStats나 runtime/pprof와 같은 메모리 프로파일링 도구에서는 확인할 수 없기 때문에 주의해서 사용해야 한다.

일반적인 프로그램의 경우 메모리 사용량이 5배 ~ 10배 증가할 수 있고, 실행 시간은 2배 ~ 20배 증가할 수 있음
race dector는 defer 및 recover 문마다 추가로 8바이트를 할당
- defer 및 recover가 많이 사용되는 프로그램은 더 많은 메모리를 사용하게 됨
이러한 추가 메모리 할당은 고루틴이 종료되고 나서 회수됨
- 고루틴이 오랫동안 실행될 경우 메모리 사용량이 계속 증가할 수 있음
  ==> 장기간 실행되는 고루틴이 주기적으로 defer와 recover 호출을 하는 경우, 프로그램의 메모리 사용량이 무한히 증가할 수 있으므로 주의하자.

아래 문서를 참고한 포스팅입니다.

https://go.dev/doc/articles/race_detector

Data Race Detector - The Go Programming Language

Data Race Detector Introduction Data races are among the most common and hardest to debug types of bugs in concurrent systems. A data race occurs when two goroutines access the same variable concurrently and at least one of the accesses is a write. See the

go.dev

[CKA 취득 후기] 이제 나도 Kubernetes 전문가 ?!

bba_dda — Tue, 9 Jul 2024 17:03:43 +0900

꿀팁 요약

- 유명한 뭄샤드마남밷 씨의 강의는 꼭 듣자 (앗, 강의 치킨보다 싸다!)

- 강의에서 제공하는 lab에서 문제를 풀어볼 수 있는게 너무 좋음

- 강의 후반부의 Lightning Lab, Mock Exam은 여러번 풀어보자

- 시험 신청시 제공해주는 Killer.sh는 꼭 경험해보자

- 문제의 난이도가 높긴 해서, 모든 문제를 풀어야 한다는 강박을 가질 필요는 없음

- 실제 시험 환경과 가장 유사한 환경을 접할 수 있음

- 시험 볼 때는 문제를 끝까지 읽자.

- 문제를 풀어볼수록, 유형이 비슷해서 문제를 끝까지 안읽고 풀게되는 경우가 있는데 함정이 있을 수 있음

드디어! 6개월 동안 마음 한켠을 무겁게 했던 CKA 자격증을 취득했다 ~~~~

취득하게 된 계기

1. 현업에서 사용하기 위함

회사에서 운영중인 시스템이 쿠버네티스로 배포되어 있었기 때문에 직접 이슈 트래킹을 하기 위해 배우기 시작했다.

2. 재미(?)있어 보여서 ~~개발자라면 배포도 할 줄 알아야지~~

입사 초 백오피스 개발을 할 때, 쿠버네티스로 직접 배포해본 경험이 있었기 때문에 깊이 공부해보고 싶었다.

그리고 개발자라면 내가 개발한 서버를 띄울 수 있고, 배포관련 이슈 트래킹도 가능해야 한다는 생각이 있었기 때문이다.

3. 팀 내 스터디 목표

작년에 팀 내에서 쿠버네티스 스터디를 구성해 진행했는데,

공부에 대한 목표와 방향성이 필요하다고 생각되어 CKA 취득을 목표로 설정했다!

시험이 생각보다도 너무 비싸서 11월 블프 세일때 까지 기다려서 구매했다.

그치만 세일 해도 너무 비싼,,

와 세일해도 197.5$

준비 과정

작년 11월에 시험을 구매한 이후, 다양한 이유로 쿠버네티스 자격증에 대한 우선순위가 하락해서 CKA 준비가 흐지부지 되었다..

CKA 준비는 하지 않았지만, 현업에서 k8s 명령어는 꾸준히 사용해왔다.

그러다가, 6월에 퇴사를 하게 되면서 본격적으로 준비하게 되었다!!

1. 유명한 뭄샤드마남밷씨의 강의 수강

작년부터 틈틈히 수강해서, 6월에 본격적으로 준비를 시작할 때 50퍼센트 정도 수강한 상태였다.

- 영어 강의 이고, 한국어 자막이 제공되긴 하지만,, 자막 퀄리티가 좋진 않았다

- 수능 영어를 성실히 공부한 사람이라면 강의 수강에 큰 어려움이 있진 않을 것이다

- 해당 목차의 내용을 한국어로 된 자료로 예습/복습하면 더 빠르게 습득할 수 있다

- 강의에서 제공하는 lab에서 문제를 풀어볼 수 있는게 너무 좋음

- 강의 후반부의 Lightning Lab, Mock Exam은 여러번 풀어보자

2. killer.sh

강의를 어느정도 수강한 다음, 시험 날짜를 확정하게 되면 killer.sh 세션이 두개 제공된다.

이름부터 killerㅋㅋㅋ 인 것 처럼 난이도가 좀 높긴했다,,,

그렇지만 실제 시험환경과 가장 비슷한 경험을 해볼 수 있는 세션인 만큼 무조건 해보는 것을 추천한다!!

강의에서 풀었던 lab환경과 비슷할 것이라 예상했는데, 시험환경은 vm을 통째로 주는 환경이라서 생각보다 적응이 필요했다.

- 두 세션의 문제는 동일함

- 시험환경과 동일하게 120분 카운트 해주지만, 시간이 초과되어도 종료되지 않는다.

- 나의 경우는 25개의 문제가 제공되었고, 채점을 하고 나면 추가문제도 접근할 수 있는데 추가문제는 풀어보지 않았다

✅ 나의 killer.sh 활용 방법
- 전날 한 회차
- 2시간만 풀고 채점
- solution 정독
- 당일 오전에 한 회차 (오후 2시 시험이었다)
- 2시간만 풀고 채점
- 어제 안풀어본 문제 위주로 풀기 위해서

- 뒤에서부터 품
- 어제 맞았던 문제는 넘김

결과

절대평가로 66점만 넘으면 취득성공이다!

~~점수가 중요한건 아니지만~~ 생각보다 점수가 높게 나와서 너무 뿌듯했다ㅏㅏ는 후기

7월 최대 업적

[AWS EC2] key-pair를 이용한 ssh 연결

bba_dda — Mon, 24 Jun 2024 15:01:33 +0900

key-pair가 적용되어 있는 EC2 인스턴스에, ssh 연결하는 방법을 알아보자

1. EC2 인스턴스 생성

1-1. key-pair 설정

EC2를 생성할 때 key-pair를 적용할 수 있다.

key-pair를 적용하지 않는 옵션을 선택할 수도 있지만, 보안을 위해서 사용하는것이 좋다.

생성 화면에서도 키 페어 없이 계속 진행(권장되지 않음) 이라고 강조하고 있으니 사용해보자~

EC2 인스턴스 생성할 때, key-pair를 사용하려면 key-pair를 먼저 생성해야 한다. key-pair를 생성하면 아래와 같이 키파일을 다운로드 해준다. 후에 이 파일을 사용해야 하기 때문에 보관해두자.

1-2. SSH 접속을 위한 Inbound 설정 추가

로컬 터미널에서 EC2인스턴스에 SSH 접속을 하기 위해

외부에서 SSH접속을 위한 포트에 접근할 수 있도록 추가 설정이 필요하다

방법 1)

- 보안그룹 생성 옵션 선택

- 아래 사진과 같이 모든 ip (0.0.0.0/0)에 대해 SSH 접속을 허용하는 인바운드 설정

방법 2)

- 기존 보안그룹 선택한 경우

- 해당 보안그룹을 편집해, SSH에 대한 인바운드 설정을 추가하면 된다~

2. 터미널에서 SSH 접속

EC2가 정상적으로 생성된 후에, 터미널에서 ssh접속을 시도하면 된다.

AWS 공식 문서

ssh -i /path/key-pair-name.pem instance-user-name@instance-public-dns-name

이렇게 하면 될 줄 알았는데! 문제가 생겼다. (이 글을 작성하게 된 이유..)

내 key에 무슨 문제가 있단 말인가? ~~방금 다운받은건데..~~

찾아보니, aws-key.pem 개인 키 파일의 권한이 너무 넓게 설정되어 있어 나타나는 에러였다.

보안상의 이유로 SSH는 개인 키 파일이 다른 사용자에게 접근할 수 없도록 설정되어 있어야 했다.

chmod로 key file의 접근 권한을 변경해주면 해결된다.

chmod 400 /path/key-pair-name.pem

[gqlgen] gin.Context 이용하기

bba_dda — Wed, 9 Aug 2023 23:43:08 +0900

문제

gin을 graphql(gqlgen)의 router로 사용하려고 할 때
gin.Context에 담아놓은 값들이, graphql resolver에서 사용할 수 있는 ctx(context.Context)에 담겨있지 않았다.

gin.Context에 key-value로 저장한 값을

resolver의 ctx.Value("key")로 접근해서 사용하고 싶은 상황

gqlgen 공식 문서에서 제공하는 example에 gin.Context를 사용하는 방법이 안내되어 있다. 링크

하지만, 이 방법은 context.Context에 gin.Context를 그대로 담기 때문에 각각의 resolver에서 매번 아래의 작업을 해줘야 한다.

1. context.Context에서 gin.Context 꺼내기

2. gin.Context에서 원하는 값 꺼내기

func (r *resolver) Todo(ctx context.Context) (*Todo, error) {
	gc, err := GinContextFromContext(ctx) // 매번 gin.Context를 꺼내고
	if err != nil {
		return nil, err
	}

	// gc에서 필요한 값을 꺼내야 한다
	// ...
}

길지 않은 코드라고 생각할 수 있지만, 매 resolver에 불필요하게 중복된 코드가 들어가게 된다.

원인

그렇다면 왜, gqlgen resolver의 ctx에 gin.Context의 값이 들어있지 않은걸까?

gqlgen에서 제공하는 gin을 이용한 example을 보면, graphql handler에 gin.Context.Request를 넘기게 되고

...
// Defining the Graphql handler
func graphqlHandler() gin.HandlerFunc {
	// NewExecutableSchema and Config are in the generated.go file
	// Resolver is in the resolver.go file
	h := handler.NewDefaultServer(graph.NewExecutableSchema(graph.Config{Resolvers: &graph.Resolver{}}))

	return func(c *gin.Context) {
		h.ServeHTTP(c.Writer, c.Request) // 여기!
	}
}
...

h.ServeHTTP()에서는, 넘겨받은 Request.Context() (==Request.ctx) 를 사용하게 된다.

func (s *Server) ServeHTTP(w http.ResponseWriter, r *http.Request) {
	defer func() {
		if err := recover(); err != nil {
			err := s.exec.PresentRecoveredError(r.Context(), err)
			gqlErr, _ := err.(*gqlerror.Error)
			resp := &graphql.Response{Errors: []*gqlerror.Error{gqlErr}}
			b, _ := json.Marshal(resp)
			w.WriteHeader(http.StatusUnprocessableEntity)
			w.Write(b)
		}
	}()

	r = r.WithContext(graphql.StartOperationTrace(r.Context())) // 여기!

	transport := s.getTransport(r)
	if transport == nil {
		sendErrorf(w, http.StatusBadRequest, "transport not supported")
		return
	}

	transport.Do(w, r, s.exec)
}

결과적으로,

gin.Context 의 하위에는 아래와 같은 필드들이 존재하고

// gin.Context
type Context struct {
	...
	Request   *http.Request
	Keys      map[string]any
	...
}

gin.Context에 Set()을 통해 저장하는 값들은 gin.Context.Keys 에 저장되는데

gqlgen resolver에 넘어가는 context는 gin.Context.Request.ctx 라서 접근할 수 없는 것이다.

해결방안

그렇다면 어떻게 원하는대로 사용할 수 있을까?

gin.Context에 key-value로 저장한 값을

resolver의 ctx.Value("key")로 접근해서 사용하고 싶은 상황

1. 사용할 값들을 gin.Context.Keys가 아닌 gin.Context.Request.ctx에 저장하기

이렇게 되면, 원하는 상황은 얻어낼 수 있지만 두 가지 단점이 생긴다.

1) gin middleware에서 context에 값을 저장하는 로직이 복잡해지고

2) 여러 개발자가 함께 작업할 때 gin.Context.Keys가 아니라 Request내부 ctx에 값을 저장해야 한다는 사실이 충분히 공유가 되어야 한다.

-> gqlgen 공식문서에서 제공하는 방법과 비교해서 이점이 없음

func ginMiddleware(c *gin.Context) {
    ctx := c.Request.Context()
    ctx = context.WithValue(ctx, key, value)
    c.Request = c.Request.WithContext(ctx)
}

2. h.ServeHTTP() 이전에, gin.Context.Keys에 존재하는 값들을 한 번에 gin.Context.Request.ctx로 넣어주기

h.ServeHTTP()를 호출하기 직전에 gin.Context.Keys에 존재하는 값들을

한 번에 gin.Context.Request.ctx로 넣어주는 방법이다.

...
// Defining the Graphql handler
func graphqlHandler() gin.HandlerFunc {
	// NewExecutableSchema and Config are in the generated.go file
	// Resolver is in the resolver.go file
	h := handler.NewDefaultServer(graph.NewExecutableSchema(graph.Config{Resolvers: &graph.Resolver{}}))

	return func(c *gin.Context) {
		ctx := c.Request.Context()
		for k, v := range c.Keys {
			ctx = context.WithValue(ctx, k, v)
		}
		req := c.Request.WithContext(ctx)
		h.ServeHTTP(c.Writer, req)
	}
}
...

이전 방법들과 크게 다른점이 없다고 느껴질 수 있지만 유지보수 측면에서 가장 좋은 방법이라고 생각했다.

후에 다른 개발자 혹은 이전 히스토리를 잊어버린 당사자가 context에 값을 추가로 저장해야할 상황에서 신경쓸 포인트가 줄어들기 때문이다.

굉장히 사소한 문제 같지만,

- 중복 코드 줄이기

- 쉬운 유지보수

측면에서 고민해볼 수 있었던 문제였다.

[C++/프로그래머스] 야근 지수

bba_dda — Tue, 5 Apr 2022 21:55:07 +0900

문제

https://programmers.co.kr/learn/courses/30/lessons/12927#

코딩테스트 연습 - 야근 지수

회사원 Demi는 가끔은 야근을 하는데요, 야근을 하면 야근 피로도가 쌓입니다. 야근 피로도는 야근을 시작한 시점에서 남은 일의 작업량을 제곱하여 더한 값입니다. Demi는 N시간 동안 야근 피로도

programmers.co.kr

회사원 Demi는 가끔은 야근을 하는데요, 야근을 하면 야근 피로도가 쌓입니다.

야근 피로도는 야근을 시작한 시점에서 남은 일의 작업량을 제곱하여 더한 값입니다.

Demi는 N시간 동안 야근 피로도를 최소화하도록 일할 겁니다.

Demi가 1시간 동안 작업량 1만큼을 처리할 수 있다고 할 때,

퇴근까지 남은 N 시간과 각 일에 대한 작업량 works에 대해 야근 피로도를 최소화한 값을 리턴하는 함수 solution을 완성해주세요.

제한 사항

works는 길이 1 이상, 20,000 이하인 배열입니다.
works의 원소는 50000 이하인 자연수입니다.
n은 1,000,000 이하인 자연수입니다.

입출력 예

works	n	result
[4, 3, 3]	4	12
[2, 1, 2]	1	6

입출력 예 #1
n=4 일 때, 남은 일의 작업량이 [4, 3, 3] 이라면 야근 지수를 최소화하기 위해 4시간동안 일을 한 결과는 [2, 2, 2]입니다. 이 때 야근 지수는 22 + 22 + 22 = 12 입니다.

입출력 예 #2
n=1일 때, 남은 일의 작업량이 [2,1,2]라면 야근 지수를 최소화하기 위해 1시간동안 일을 한 결과는 [1,1,2]입니다.

야근지수는 12 + 12 + 22 = 6입니다.

풀이

야근지수를 남은 일들의 작업량의 제곱수를 더해서 구하기 때문에, 일들의 작업량을 최대한 고르게 만드는 것이 중요하다. (가장 작은 최댓값이 되도록 n시간 분배하기)

ex) works = [8,8,9] / n = 3일 때, [8,8,6]으로 만드는 것 보다 [8,7,7]로 만드는게 야근지수가 작다.

따라서, works를 내림차순으로 정렬하고 idx = 0부터 시작해서 깎아나간다는 느낌으로 접근했다.

각 단계에서 파란색 부분(깎아야 할 부분)이 남아있는 n보다 크면 깎고 max_idx++,

작으면 깎을 수 있을 만큼만 최대한 깎고 남은 works로 야근 지수를 구하는 방식으로 진행했다.

코드

#include <string>
#include <vector>
#include <algorithm>

using namespace std;

long long solution(int n, vector<int> works) {
    sort(works.begin(), works.end(), greater<int>());
    long long answer = 0;
    int max_idx = 0;
    int h;
    
    // 5 * 10^4
    while (max_idx < works.size() - 1) {
        while (max_idx < works.size() - 2 && works[max_idx] == works[max_idx+1]) {
            max_idx++;
        }
        h = works[max_idx] - works[max_idx+1];
        if ((max_idx+1)*h > n) break;
        n -= (max_idx+1)*h;
        max_idx++;
    }
    int val = works[max_idx];
    
    if ((max_idx+1)*val <= n) return 0;

    val -= n/(max_idx+1);
    n -= n/(max_idx+1) * (max_idx+1);
    
    answer += (long long)val*(long long)val*(long long)(max_idx+1-n);
    answer += (long long)(val-1)*(long long)(val-1)*(long long)n;
    
    // 5 * 10^4
    for (int i = max_idx+1;i<works.size();i++) {
        answer += (long long)(works[i]*works[i]);
    }
    return answer;
}

결과

정확성 테스트

테스트 1 〉	통과 (0.01ms, 3.48MB)
테스트 2 〉	통과 (0.01ms, 4.11MB)
테스트 3 〉	통과 (0.01ms, 4.09MB)
테스트 4 〉	통과 (0.01ms, 4.18MB)
테스트 5 〉	통과 (0.01ms, 4.17MB)
테스트 6 〉	통과 (0.01ms, 4.17MB)
테스트 7 〉	통과 (0.01ms, 4.16MB)
테스트 8 〉	통과 (0.02ms, 4.09MB)
테스트 9 〉	통과 (0.03ms, 4.09MB)
테스트 10 〉	통과 (0.01ms, 4.09MB)
테스트 11 〉	통과 (0.01ms, 3.58MB)
테스트 12 〉	통과 (0.01ms, 4.18MB)
테스트 13 〉	통과 (0.01ms, 3.64MB)

효율성 테스트

테스트 1 〉	통과 (0.10ms, 3.78MB)
테스트 2 〉	통과 (0.09ms, 3.85MB)

채점 결과

정확성: 86.7

효율성: 13.3

합계: 100.0 / 100.0

[C++/프로그래머스] 숫자 게임

bba_dda — Tue, 29 Mar 2022 21:29:09 +0900

문제

https://programmers.co.kr/learn/courses/30/lessons/12987

코딩테스트 연습 - 숫자 게임

xx 회사의 2xN명의 사원들은 N명씩 두 팀으로 나눠 숫자 게임을 하려고 합니다. 두 개의 팀을 각각 A팀과 B팀이라고 하겠습니다. 숫자 게임의 규칙은 다음과 같습니다. 먼저 모든 사원이 무작위로

programmers.co.kr

풀이

A와 B를 모두 내림차순으로 정렬한다.

a_idx, b_max_idx를 0부터 시작해서

A[a_idx] vs B[b_max_idx] 이렇게 순차적으로 대결을 해 나갈건데,

1. A가 이기는 경우라면, B의 가장 작은 원소를 낸다고 생각 (어차피 질 바에 제일 작은 걸로 지자!)

2. B가 이기는 경우라면, B[b_max_idx]를 낸다고 생각한다.

코드

#include <string>
#include <vector>
#include <algorithm>

using namespace std;

int solution(vector<int> A, vector<int> B) {
    int answer = 0;
    int a_idx = 0;
    int b_max_idx = 0;
    
    sort(A.begin(), A.end(), greater<int>());
    sort(B.begin(), B.end(), greater<int>());
    
    for (int i=0;i<A.size();i++) {
        if (A[a_idx++] < B[b_max_idx]) { 
            b_max_idx++;
            answer++;
        }
        // else // 제일 작은 패로 lose
    }
    return answer;
}

결과

정확성 테스트

테스트 1 〉	통과 (0.01ms, 4.16MB)
테스트 2 〉	통과 (0.01ms, 4.17MB)
테스트 3 〉	통과 (0.01ms, 4.18MB)
테스트 4 〉	통과 (0.01ms, 3.66MB)
테스트 5 〉	통과 (0.01ms, 4.09MB)
테스트 6 〉	통과 (0.01ms, 4.17MB)
테스트 7 〉	통과 (0.01ms, 4.17MB)
테스트 8 〉	통과 (0.01ms, 4.17MB)
테스트 9 〉	통과 (0.09ms, 4.09MB)
테스트 10 〉	통과 (0.04ms, 4.18MB)
테스트 11 〉	통과 (0.07ms, 3.7MB)
테스트 12 〉	통과 (0.04ms, 3.61MB)
테스트 13 〉	통과 (0.48ms, 4.11MB)
테스트 14 〉	통과 (0.94ms, 4.18MB)
테스트 15 〉	통과 (0.53ms, 4.17MB)
테스트 16 〉	통과 (0.90ms, 4.23MB)
테스트 17 〉	통과 (0.04ms, 3.71MB)
테스트 18 〉	통과 (0.08ms, 4.18MB)

효율성 테스트

테스트 1 〉	통과 (12.01ms, 10.4MB)
테스트 2 〉	통과 (11.48ms, 10.1MB)
테스트 3 〉	통과 (11.63ms, 10.1MB)

채점 결과

정확성: 85.7

효율성: 14.3

합계: 100.0 / 100.0

[Go] go-socket.io의 Redis Adapter

bba_dda — Thu, 3 Mar 2022 17:42:07 +0900

socket.io에서는 redis adapter를 사용할 수 있다.

Adapter가 무엇일까?

https://socket.io/docs/v4/adapter/

정의

Adapter는 client의 부분집합 혹은 전체 client에게 event를 broadcast하는 server-side component이다.

왜 필요할까?

기본적으로 socket.io에서 in-memory adapter가 broadcast를 수행하는데,

socket.io 서버가 여러대로 분산되어있을 때, in-memory adapter를 이용하면 문제가 생긴다.

아래 그림처럼 두 개의 socket.io 서버가 있을 때, in-memory adapter를 이용하면

server A에서 server B에 연결되어있는 client들에게 메세지를 보내줄 수 없기 때문이다.

그래서 기본 in-memory adapter를 다른 adapter로 교체할 필요가 있다.

지원하는 Adapter의 종류

기본 in-memory adapter를 제외하고

js의 socket.io에서는 공식적으로 4종류의 adapter가 존재한다.

go-socket.io는 따로 정리되어있는 문서는 없지만,

github 소스코드를 봤을 때, redis-adapter만 존재한다. (22년 3월 기준)

Redis Adapter

https://socket.io/docs/v4/redis-adapter/

Redis Adapter는 Redis의 Pub/Sub 매커니즘에 의존한다.

Redis Pub/Sub 매커니즘에 대해 잘 모른다면 먼저 공부하고 오는 것을 추천한다!

redis adapter에 연결된 여러 socket.io서버 중 한 서버에서 emit을 하면,

현재 서버에 연결된 클라이언트로 전송되는 것은 당연하고
추가적으로 Redis 채널에 메세지가 publish되고, 클러스터의 다른 socket.io 서버에서 이를 수신해 해당 서버에 연결된 클라이언트에게도 전송된다.

여기까지가 문서의 설명이다.

문서에서는 socket.io 서버가 여러 대로 분산되어 있을 때 사용한다는 내용만 적혀있다.

하지만 이것을 응용하면, socket.io서버가 아닌 일반적인 서버를 socket.io 서버에 대한 trigger처럼 사용할 수도 있다.

특정 서버에서 Redis에 특정 형식의 메세지를 publish했을 때,
동일한 Redis에 연결된 socket.io 서버의 Redis Adapter를 통해 emit하게 만들 수 있다는 것이다!

이 과정을 구현하기 위해서는,

Redis의 어떤 채널에 어떤 형식의 메세지를 publish 해야 socket.io의 redis adapter가 알아챌 수 있는지 알아야 한다.

js의 경우에는 가이드라인을 제공하는데, (js의 redis adapter github)

go-socket.io는 가이드라인을 제공하지 않아서 직접 찾아야 했다.

삽질 ️

postman으로 socket을 연결해 놓고,

redis-cli를 이용해, 터미널에서 psubscribe socket.io* 명령어를 이용해 구독하게 한 뒤

서버에서 broadcast와 emit을 하면서 터미널에 어떻게 로그가 찍히는지 확인해보았다.

socket.io*를 구독한 이유는, redis adapter 설정에 prefix의 기본값이 socket.io였기 때문이다. redis 채널 이름이 redis adapter의 prefix로 시작한다는 것을 여기에서 확인할 수 있었다.

go로 작성된 socket.io 서버에서

server.BroadcastToNamespace("/test", "hi", "hello")의 결과로 아래와 같은 로그가 찍혔다.

1) "pmessage"
2) "socket.io*"
3) "socket.io#/test#c3e57b2d-2400-45d9-9cda-6db7817929df"
4) "{\"args\":[\"hello\"],\"opts\":[\"\",\"hi\"]}"

채널 : socket.io#/test#${uid}

메세지: {\"args\":[\"hello\"],\"opts\":[\"\",\"hi\"]}

이렇게 몇 차례 로그를 찍어본 결과,

prefix#namespace# 채널에 아래와 같은 형식의 메세지를 publish해야 한다는 것을 알게되었다.

{
    args: [payload...],
    opts: ["roomId", "event name"],
}

args: 말 그대로 내용(payload)
opts는 2칸짜리 배열인데,
- opts[0] : roomId (roomId가 필요 없는 경우에는 “” 이렇게 빈 값으로 작성)
- opts[1] : event name 으로 작성하면 된다!

이렇게 publish하니 매우 잘 작동했다 :)

코드 분석

하지만.. 뭔가 주먹구구식으로 찾은 것 같은 느낌이 들어, go-socket.io코드를 분석해보았다.

그 전에도 코드 분석을 시도했으나 명확하게 보이지 않았는데, 답을 알고나서 코드를 보니까 더 잘 읽혔던 것 같다.

그리고 redis adapter관련 코드가 한 파일에 들어있어서 그리 복잡하지 않게 볼 수 있었다.

코드 링크

1. 채널 이름

아래 코드에서 key field를 보면

prefix#nsp(namespace)#uid 라고 되어있는데, 위에서 확인한 redis 로그의 형식과 일치한다.

socket.io#/test#c3e57b2d-2400-45d9-9cda-6db7817929df

func newRedisBroadcast(nsp string, opts *RedisAdapterOptions) (*redisBroadcast, error) {
    ...
    rbc := &redisBroadcast{
        rooms:      make(map[string]map[string]Conn),
        requests:   make(map[string]interface{}),
        sub:        subConn,
        pub:        pubConn,
        key:        fmt.Sprintf("%s#%s#%s", opts.Prefix, nsp, uid),
        reqChannel: fmt.Sprintf("%s-request#%s", opts.Prefix, nsp),
        resChannel: fmt.Sprintf("%s-response#%s", opts.Prefix, nsp),
        nsp:        nsp,
        uid:        uid,
    }

    ...
}

다만, 이건 socket.io 서버에서 broadcast했을 때 생기는 redis message이고,

그냥 redis에 바로 publish할 때는 uid 부분을 생략해도 되었다.

그리고 defalut namespace (/)는 namespace 자리에 /를 적는 것이 아니라 아예 생략해야 했다.

결론 ⭐️

따라서, 내가 만든 프로젝트에서는

prefix : socket.io
namespace : defalut (/)

였기 때문에 socket.io## 채널에 publish를 해야 했다.

js는 여기에 채널 네이밍 관련 내용이 나와있는데,

이에 따르면 socket.io#namespace#roomId 로 publish 해야하는데, go에서는 채널 이름에 roomId를 적는 방법이 먹히지 않았다. (설계가 다르게 되어있나보다..)

go-socket.io에서는 위에서 말한 것 처럼 opts[0]에 roomId를 적어줘야 한다.

2. 메세지 형식

아래 코드는 redis adapter가 redis에서 subscribe를 통해 받은 메세지를 처리하는 메소드이다.

func (bc *redisBroadcast) onMessage(channel string, msg []byte) error {
    channelParts := strings.Split(channel, "#")
    nsp := channelParts[len(channelParts)-2]
    if bc.nsp != nsp {
        return nil
    }

    uid := channelParts[len(channelParts)-1]
    if bc.uid == uid {
        return nil
    }

    var bcMessage map[string][]interface{}
    err := json.Unmarshal(msg, &bcMessage)
    if err != nil {
        return errors.New("invalid broadcast message")
    }

    args := bcMessage["args"]
    opts := bcMessage["opts"]

    room, ok := opts[0].(string)
    if !ok {
        return errors.New("invalid room")
    }

    event, ok := opts[1].(string)
    if !ok {
        return errors.New("invalid event")
    }

    if room != "" {
        bc.send(room, event, args...)
    } else {
        bc.sendAll(event, args...)
    }

    return nil
}

코드 link

onMessage()에서 msg를 처리할 때,

args, opts 필드를 사용하는 것을 확인할 수 있고, 위에서 redis 로그를 통해서 유추한 것과 정확히 일치했다.

opts[0]번 room에 opts[1] event로 args를 broadcast

room단위가 아니라 broadcast하고 싶을 때에도 opts 길이는 2여야함 (roomid를 빈 값(””)으로 넣어 보내기)
- opts: [””, “event name”]

socket.io 문서에 따르면,

adapter를 통해서 단순 메세지 emit 뿐 아니라

join room이나, leave room 등의 기능도 가능하다고 하는데 어떻게 하는지 아직 모른다!

다만 redis_broadcast.go의 dispatch() 에서 onMessage 말고도, onResponse, onRequest도 수행하고 있기 때문에 이쪽 코드를 더 자세하게 보면 알 수 있을 것 같다.

func (bc *redisBroadcast) dispatch() {
    for {
        switch m := bc.sub.Receive().(type) {
        case redis.Message:
            if m.Channel == bc.reqChannel {
                bc.onRequest(m.Data)
                break
            } else if m.Channel == bc.resChannel {
                bc.onResponse(m.Data)
                break
            }

            err := bc.onMessage(m.Channel, m.Data)
            if err != nil {
                return
            }

        case redis.Subscription:
            if m.Count == 0 {
                return
            }

        case error:
            return
        }
    }
}

추가

go-socket.io에서 쓰는 redis package : redigo

내가 개발한 socket server에서 쓰는 redis package : go-redis

redigo vs redis

https://go.libhunt.com/compare-redigo-vs-redis

[C++/프로그래머스] 파괴되지 않은 건물

bba_dda — Tue, 1 Mar 2022 21:20:28 +0900

문제

https://programmers.co.kr/learn/courses/30/lessons/92344

코딩테스트 연습 - 파괴되지 않은 건물

[[5,5,5,5,5],[5,5,5,5,5],[5,5,5,5,5],[5,5,5,5,5]] [[1,0,0,3,4,4],[1,2,0,2,3,2],[2,1,0,3,1,2],[1,0,1,3,3,1]] 10 [[1,2,3],[4,5,6],[7,8,9]] [[1,1,1,2,2,4],[1,0,0,1,1,2],[2,2,0,2,0,100]] 6

programmers.co.kr

문제가 길다..

요약하면,

NxM의 초기 borad에서 (r1, c1) ~(r2, c2)의 임의의 구간?부분을 공격(-)했다가 회복(+)했다가 하면서

최종적으로 값이 0보다 큰 칸의 갯수를 세면 되는 문제이다.

풀이

지난주 스터디시간에 들었던 IMOS법을 이용해보았다.

IMOS법이란? <- 이 블로그에 아주 설명이 잘 되어 있다.

N+1 x M+1 크기의 cache배열을 만들어서 imos법을 이용해 공격, 회복 로그?를 기록하고

맨 마지막에 가로로 한번, 세로로 한번 쭉 훑어 최종적인 cache배열 값을 구한다.

그리고, cache[r][c] + board[r][c] > 0 인 칸들의 갯수를 세어주면 된다.

이런 느낌의 (완전탐색으로하면 시간초과날거같은) 문제를 그동안 매우 어려워했는데, imos법을 알게되었으니 풀 수 있는 문제가 늘어날 것 같다.

* imos를 아이모스가 아니라, 이모스라고 읽는 것 같다 (일본어인듯?)

코드

#include <string>
#include <vector>

using namespace std;

vector<vector<int>> cache;
int solution(vector<vector<int>> board, vector<vector<int>> skill) {
    int answer = 0;
    int N = board.size();
    int M = board[0].size();
    cache = vector<vector<int>>(N+1, vector<int>(M+1, 0)); // imos위해 하나씩 크게 만들기
    for (auto s: skill) {
        int degree = s[5];
        int r1 = s[1]; int c1 = s[2];
        int r2 = s[3]; int c2 = s[4];
        if (s[0] == 2) { // 공격
            cache[r1][c1] += degree;
            cache[r1][c2+1] -= degree;
            cache[r2+1][c1] -= degree;
            cache[r2+1][c2+1] += degree;
        } else { // 회복
            cache[r1][c1] -= degree;
            cache[r1][c2+1] += degree;
            cache[r2+1][c1] += degree;
            cache[r2+1][c2+1] -= degree;
        }
    }
    // 가로로 휩쓸기
    for (int r=0;r<N;r++) {
        int sum = cache[r][0];
        for (int c=1;c<M;c++) {
            cache[r][c] += sum;
            sum = cache[r][c];
        }
    }
    // 세로로 휩쓸기
    for (int c=0;c<M;c++) {
        int sum = cache[0][c];
        for (int r=1;r<N;r++) {
            cache[r][c] += sum;
            sum = cache[r][c];
        }
    }
    
    for (int r=0;r<N;r++) {
        for (int c=0;c<M;c++) {
            if (cache[r][c] + board[r][c] > 0) answer++;
        }
    }
    return answer;
}

결과

[C++/프로그래머스] 이중우선순위큐

bba_dda — Tue, 1 Mar 2022 20:27:01 +0900

문제

https://programmers.co.kr/learn/courses/30/lessons/42628

코딩테스트 연습 - 이중우선순위큐

programmers.co.kr

이중 우선순위 큐는 다음 연산을 할 수 있는 자료구조를 말합니다.

명령어	설명
I 숫자	큐에 주어진 숫자를 삽입합니다.
D 1	큐에서 최댓값을 삭제합니다.
D -1	큐에서 최솟값을 삭제합니다.

이중 우선순위 큐가 할 연산 operations가 매개변수로 주어질 때,

모든 연산을 처리한 후 큐가 비어있으면 [0,0] 비어있지 않으면 [최댓값, 최솟값]을 return 하도록 solution 함수를 구현해주세요.

제한사항

operations는 길이가 1 이상 1,000,000 이하인 문자열 배열입니다.
operations의 원소는 큐가 수행할 연산을 나타냅니다.
- 원소는 “명령어 데이터” 형식으로 주어집니다.- 최댓값/최솟값을 삭제하는 연산에서 최댓값/최솟값이 둘 이상인 경우, 하나만 삭제합니다.
빈 큐에 데이터를 삭제하라는 연산이 주어질 경우, 해당 연산은 무시합니다.

풀이

C++ STL의 Priority Queue를 이용하였다.

다만, 내림차순의 큐(minQ)와 오름차순의 큐(maxQ) 두개를 이용하는 과정에서 minQ에서 pop한 원소를 maxQ에서도 지울 수 없기 때문에, count변수를 따로 이용하였다.

큐에 insert할 때 count++

maxQ or minQ에서 pop할 때 count--

count == 0 이 되면, minQ, maxQ를 모두 초기화해주었다.

코드

#include <string>
#include <vector>
#include <queue>
#include <iostream>

using namespace std;

int count = 0;
priority_queue<int, vector<int>, greater<int>> minQ;
priority_queue<int, vector<int>, less<int>> maxQ;

void operation(string op) {
    if (op[0] == 'I') {
        string num = op.substr(2);
        int n = stoi(num);
        maxQ.push(n);
        minQ.push(n);
        count++;
    }
    if (op[0] == 'D') {
        if (count <= 0) {
            return;
        }
        if (op[2] == '1') { // 최댓값 삭제
            maxQ.pop();
            count--;
        }
        else { // 최솟값 삭제
            minQ.pop();
            count--;
        }
        if (count == 0) {
            minQ= priority_queue<int, vector<int>, greater<int>>();
            maxQ = priority_queue<int, vector<int>, less<int>>();
        }
    }
}
vector<int> solution(vector<string> operations) {
    vector<int> answer;
    for (string op: operations) {
        operation(op);
    }
    if (count == 0) {
        return {0,0};
    }
    else {
        return {maxQ.top(), minQ.top()};
    }
}

결과

[go/프로그래머스] 섬 연결하기

bba_dda — Tue, 8 Feb 2022 20:41:52 +0900

문제

https://programmers.co.kr/learn/courses/30/lessons/42861?language=go

코딩테스트 연습 - 섬 연결하기

4 [[0,1,1],[0,2,2],[1,2,5],[1,3,1],[2,3,8]] 4

programmers.co.kr

n개의 섬 사이에 다리를 건설하는 비용(costs)이 주어질 때, 최소의 비용으로 모든 섬이 서로 통행 가능하도록 만들 때 필요한 최소 비용을 return 하도록 solution을 완성하세요.

다리를 여러 번 건너더라도, 도달할 수만 있으면 통행 가능하다고 봅니다. 예를 들어 A 섬과 B 섬 사이에 다리가 있고, B 섬과 C 섬 사이에 다리가 있으면 A 섬과 C 섬은 서로 통행 가능합니다.

제한사항

섬의 개수 n은 1 이상 100 이하입니다.
costs의 길이는 ((n-1) * n) / 2이하입니다.
임의의 i에 대해, costs[i][0] 와 costs[i] [1]에는 다리가 연결되는 두 섬의 번호가 들어있고, costs[i] [2]에는 이 두 섬을 연결하는 다리를 건설할 때 드는 비용입니다.
같은 연결은 두 번 주어지지 않습니다. 또한 순서가 바뀌더라도 같은 연결로 봅니다. 즉 0과 1 사이를 연결하는 비용이 주어졌을 때, 1과 0의 비용이 주어지지 않습니다.
모든 섬 사이의 다리 건설 비용이 주어지지 않습니다. 이 경우, 두 섬 사이의 건설이 불가능한 것으로 봅니다.
연결할 수 없는 섬은 주어지지 않습니다.

입출력 예

n	costs	return
4	[[0,1,1],[0,2,2],[1,2,5],[1,3,1],[2,3,8]]	4

입출력 예 설명

costs를 그림으로 표현하면 다음과 같으며,

초록색 경로로 연결하는 것이 가장 적은 비용으로 모두를 통행할 수 있는 경우의 수 이다.

풀이

costs를 건설비용(costs[2])를 기준으로 오름차순 정렬한 후,

loop를 돌면서 다리를 하나씩 선택해 나가는데,

사이클이 생기는 경우를 제외하고 선택하면 된다.

사이클이 생기는 경우를 판단하기 위해, Union-Find 알고리즘을 이용하였다.

매 경우에, find를 이용해 두 노드의 부모가 같은지 확인해주었다.

부모가 같으면 사이클이 생기는 것이기 때문에 패스,

같지 않으면 해당 다리를 건설하고, 두 노드를 연결해주었다.

코드

import "sort"
var parents []int
func solution(n int, costs [][]int) int {
    answer := 0
    parents = make([]int, n+1) 
    for i:=0;i<n;i++ {
        parents[i] = i;
    }
    // costs 오름차순 정렬
    sort.Slice(costs, func (i, j int) bool {
            return costs[i][2] < costs[j][2]
    })
    
    for _, route:= range(costs) {
        if union(route[0], route[1]) {
            answer += route[2]
        }
    }
    return answer
}

// 최상위 부모 찾기
func find(a int) int {
    if a == parents[a] {
        return a
    }
    parents[a] = find(parents[a])
    return parents[a]
}

func union(a, b int) bool {
    a = find(a)
    b = find(b)
    
    // 사이클이 생기는 경우 패스
    if (a == b) {
        return false
    }
    // 두 노드를 연결해주기
    if (a > b) {
        parents[a] = b // 작은애를 큰 애한테 달기
    } else {
        parents[b] = a
    }
    return true
}

Hello Ocean!

[Go] 데이터 경합을 감지해보자, Data Race Detector

서론

어떻게 쓰나요?

race build tag로 효율적으로 사용하기

어떻게 알려주나요?

다양한 report관련 option들

Test를 통한 race탐지의 한계와 해결방법

Runtime Overhead

[CKA 취득 후기] 이제 나도 Kubernetes 전문가 ?!

꿀팁 요약

취득하게 된 계기

준비 과정

1. 유명한 뭄샤드마남밷씨의 강의 수강

2. killer.sh

결과

추천 여부?!

[AWS EC2] key-pair를 이용한 ssh 연결

1. EC2 인스턴스 생성

1-1. key-pair 설정

1-2. SSH 접속을 위한 Inbound 설정 추가

2. 터미널에서 SSH 접속

[gqlgen] gin.Context 이용하기

문제

원인

해결방안

[C++/프로그래머스] 야근 지수

문제

풀이

코드

결과

[C++/프로그래머스] 숫자 게임

문제

풀이

코드

결과

[Go] go-socket.io의 Redis Adapter

Adapter가 무엇일까?

정의

왜 필요할까?

지원하는 Adapter의 종류

Redis Adapter

삽질 ️

코드 분석

1. 채널 이름

2. 메세지 형식

추가

[C++/프로그래머스] 파괴되지 않은 건물

문제

풀이

코드

결과

[C++/프로그래머스] 이중우선순위큐

문제

풀이

코드

결과

[go/프로그래머스] 섬 연결하기

문제

풀이

코드

결과