꾸준히 써보는 공부 기록

Pytorch Tensor 자료형을 .npy로 저장하고, 불러오고, Tensor로 다시 변형!! 그냥 자주 써서 정리해보았다 !! Tensor를 numpy로 변경 a_np = a.numpy( ) 이 때, tensor의 device type이 'cuda'이면 'cpu'로 바꿔줘야 한다. b_np = b.cpu( ).numpy( ) npy파일로 local에 저장 numpy 배열 'b'를 경로에 저장 np.save('/data/npy_file', b) npy파일 불러오기 np_load = np.load('/data/npy_file.npy') numpy Array⇒Tensor #device type이 'cuda'인 tensor 완성 result = torch.from_numpy(np_load).to('cuda'..

temp = np.load(PATH) print(tmp.files) for i in temp.files: print(temp[i]) object arrays cannot be loaded when allow_pickle=False 에러가 뜰 수 있다. numpy 1.16.3 버전에서는 np.load() parameter에 allow_pickle이 추가되어서 데이터를 불러오는데 오류가 생긴다. 해결 방법은 첫번째, 해당 allow_pickle을 True로 바꿔주어 사용하면 오류를 해결할 수 있었다고 한다. import numpy as np ## 먼저 기존의 np.load를 np_load_old에 저장해둠. np_load_old = np.load ## 기존의 parameter을 바꿔줌 np.load = la..

연구 진행 중에서 특정 dataset에 대해서만 Nan 값이 계속 발생하는 문제가 있었다. 이유를 찾기 위해서 디버깅을 하던 중 feature matrix의 1118번 element에서 문제가 있음을 발견했다. 0으로만 구성되어서 zero divide 문제가 발생한 것이었다. 기존 코드만 믿고 실행한 결과였다...예외처리의 중요함을 뼈저리게 느꼈다... 만약 이유 없이 Nan값이 뜬다면 input값이 layer를 통과하면서 값이 어떻게 바뀌는지 유심히 볼 것을 추천합니다... + 또는 learning rate를 조절해봅시다... zmax = z.max(dim=1, keepdim=True)[0] zmin = z.min(dim=1, keepdim=True)[0] z_std = (z - zmin) / (zma..

정말 사소하지만,,, 궁금해서 찾아봤던 내용이다. 연구를 하던 중에 Element-wise sum과 Concatenate가 어떤 차이가 있는지, 사용해야되는 상황이 어떻게 다른지에 대해 찾아보았다. 예를 들면, A,B,C가 각각 3000원, 2000원, 5000원을 가지고 있다. Add는 단순하게 총합이 10000원인 것을 의미한다. 위치에 대한 정보를 고려하지 않는다. Concat은 각각 A,B,C가 가진 돈의 위치가 그대로 보존한다. 즉, Concat은 추출된 feature의 본래 위치를 보존한다. 즉, Add는 A+B 일 때 더해지는 값 한 가지를 residual로 인식하고, Concat은 두 입력이 밀접하게 관련되어 있지 않을 때 사용하는 것이 자연스럽다.

구현이란, 머릿속에 있는 알고리즘을 소스코드로 바꾸는 과정이다. 흔히 알고리즘 대회에서 구현 유형의 문제란? ⇒ 풀이를 떠올리는 것은 쉽지만 소스코드로 옮기기 어려운 문제를 지칭 완전 탐색 : 모든 경우의 수를 다 계산하는 해결 방법 시뮬레이션 : 문제에서 제시한 알고리즘을 한 단계씩 차례대로 수행해야 하는 문제 유형 파이썬에서 리스트 크기 리스트를 이용할 때에 고려해야 할 사항 -> 코딩 테스트의 메모리 제한 대체로 코딩 테스트에서는 128~512MB로 메모리를 제한한다. 메모리 제한을 염두로 두고 코딩!! 데이터 개수(리스트 길이) 메모리 사용량 1,000 약 4KB 1,000,000 약 4MB 10,000,000 약 40MB

간단한 질문들 !! Q) 컨텐츠 필터링을 이렇게 이용하는 경우가 가능할까요? 예를 들자면, A형 혈액형을 가진 유저에 대한 문서 doc와 남산타워 데이트에 대한 문서 doc가 다른 문서들보다 유사성이 높게 나왔다고 할 때, A형 혈액형 유저에게 남산 타워 데이트를 추천하는 것이 적절한가요? (이것은 아까 설 명하셨듯이 상관관계가 인과관계를 함축하지 않는다에 위배되는 것 같기는 합니다만, -- 만약 이것이 좋지 않은 접근이라면 -- 위 예 같은 A) 이건 상관관계 인과관계 예시가 아닌거 같다. 그래서 추천 시스템 알고리즘은 여러개 사용한다. 하나만 사용하면 놓칠 수 있기 때문이다. 그래서 후보군을 여러개 사용하고 그 중에서 골라서 사용하게 되다. 결과적으로 더 좋은거 쓴다는 의미이다. 예를 들면, 추천 시..

정보 필터링 정보의 양이 폭증함에 따라 정보 소비자가 "원하는" 정보를 얻는데 시간과 노력이 많이 필요하다. 추천시스템은 정보 소비자에게 원하는 정보를 쉽게 얻도록 도와주는 분야이다. 정보 필터링의 대표적인 분야 !! 검색 추천 시스템 추천 시스템 정보 소비자가 "원하는" 정보를 찾아 소비자에게 추천하는 시스템이다. 추천은 특별한 행위 없이도 정보 전달이 가능하다.(passive) 추천 시스템 분류 시나리오에 따른 분류 연관된 아이템 추천 (연관되어 있는건 structure적 특징이고) - 마켓컬리 개인화 아이템 추천 (개인화는 feature적 특징이지 않을까..) - 유튜브 피드백 종류에 따른 분류 명시적 피드백을 사용하는 추천시스템 평점/좋아요,싫어요와 같이 소비자가 "명시적으로" 자신의 선호를 표현..