꾸준히 써보는 공부 기록

2023년의 시작 2023이라는 숫자를 쓰면서도 굉장히 어색하게 느껴지네요! 2021년과 2022년은 대학원과 동시에 코로나를 겪으면서 외부 사람들도 거의 만나지 않고 대학원 생활만 했었고, 2년을 아쉽게 흘려보냈다는 생각이 들었습니다. 공부나 했던 생각들을 기록으로 남기지 않아서 두리뭉실하게 2년이 기억에 남았고, 이를 계기로 기록의 중요성을 느끼게 되었습니다. 우리는 보통 어딘가로 여행을 가거나 추억을 남길 때, 사진을 찍어서 기록을 남깁니다. 그런데 공부를 하거나 생각을 할 때 왜 그걸 기록으로 남기지 않았을까 아쉬움이 들었고, 이를 계기로 글또를 시작하게 되었습니다. 아직은 글을 쓰는게 어색하고 글의 구성에 대한 고민도 많지만, 이번 기회에 글로 기록을 남기는 습관을 기르는 것이 2023년의 목표..

MF은 linearity만 반영하는데, NCF는 non-linearity도 반영하는 것이다. User-Item interaction function을 학습하기 위해서 Multi-Layer Perceptron(MLP)을 사용한다. 경험적으로 깊게 쌓을 수록 더 좋은 Recommendation performance를 보인다. 1. Introduction Information overload ?? Personalized Recommender System의 핵심은 과거 Interaction 정보를 기반으로 User의 Item에 대한 Preference를 모델링하는 것이다. 이는 Collaborative Filtering이라고 알려져 있다. 다양한 Collaborative Filtering 방법들 중에서, Mat..

https://colab.research.google.com/drive/1YoQFuBKcQCB0nyr2NlETepF-T3_cQPnK#scrollTo=mxfNwds1MtMM Google Colaboratory Notebook Run, share, and edit Python notebooks colab.research.google.com https://colab.research.google.com/drive/1pgLPgR-il97WCQ3K3AAXzyXS9xhZ5wy0#scrollTo=dM_3IKb9HBtm&uniqifier=2

3월 16일, 회사로 첫 출근을 했다. 평소에도 관심이 있던 스타트업이었고, 사업 아이템도 굉장히 재밌다고 생각이 들었던 곳이다. 출근길은 두근거리면서도 너무 떨리고 무서웠다. 첫 직장이었고, 대학원 말고는 사회 생활을 해본 적이 없었기 때문에... 친구가 보내준 저 짤을 마음에 되새기면서 갔다. 나는 말하는 감자다... 적응하면 별일 아니다... 교수님보다는 덜 무섭다... 입사하고 2주 동안은 온보딩 과정을 거치게 된다. 같은 팀분들과 친해지기와 회사 생활에 있어서 필요한 내용들에 대한 교육들이 굉.장..히... 많았다. 출근 첫날은 6개월 동안 함께 일하게 될(정확하게는 날 업어가실...) 팀분들과 인사를 했는데, 지금 생각해도 이 때가 제일 떨렸던 것 같다. 다행히도!!! 나를 따뜻하게 맞아주셨고..

이 논문은 추천시스템에 MF 방식을 적용시킨 방법에 대한 논문이고, 간략하게 추천시스템에 대해 설명해주고 있다. 추천 시스템이란 추천시스템이 상업적인 용도로 쓰이기 시작한 이유는 user의 취향에 맞는 personalized recommendation을 제공해 줄 경우 서비스에 대한 user의 만족도를 높일 수 있고, 결과적으로 그에 따른 매출 상승 효과가 있다. 이 논문에서 쓰인 Matrix Factorization 방법은 Netflix Prize Competition에서 우승한 방식으로, 2009년 논문이라 나온지 오래된 방식이지만 심플하고 성능 또한 좋은 방식이다. Hard Negative Sampler 연구를 진행하면서 GCN layer로 구성된 Encoder로 MF를 대체해보려고 했지만, Rec..

탐색 (Search) 많은 양의 데이터 중에서 원하는 데이터를 찾는 과정을 의미. 대표적인 탐색 알고리즘으로 DFS, BFS. 자료 구조 ‘데이터를 표현하고 관리하고 처리하기 위한 구조’를 의미. 그 중 스택과 큐는 자료구조의 기초 개념으로 pop과 push로 이루어져 있다. 스택 (Stack) 박스 쌓기 !! FILO 구조이다 (First In Last Out) !! 삽입 순서 : a - b - c 삭제 순서 : c - b - a stack = [] stack.append(a) stack.pop() 파이썬의 경우, 기본 리스트에서 append( )와 pop( ) 메서드를 이용. 큐 (Queue) 대기줄 !! FIFO 구조이다 (First In First Out) !! 삽입 순서 : a - b - c 삭..

참고자료 : Graph Representation Learning, William L. Hamilton (McGill University) (2020) Graph는 복잡한 시스템을 나타내는 Data structure이다. 가장 일반적으로 생각하면, graph는 node들의 집합이고, 이 node들의 pair 사이 interaction들의 집합으로 이루어져 있다. 예를 들면, graph로 social network를 encoding한다면, 각각 node는 개인을 나타내고 개인 사이의 관계를 edge로 나타낼 수 있다. Graph의 장점은 각각 node들의 특성보다는 node들 사이의 관계에 좀 더 초점을 맞췄다는 것이다. Graph의 Definition graph의 formal description은 다음..

Pytorch Tensor 자료형을 .npy로 저장하고, 불러오고, Tensor로 다시 변형!! 그냥 자주 써서 정리해보았다 !! Tensor를 numpy로 변경 a_np = a.numpy( ) 이 때, tensor의 device type이 'cuda'이면 'cpu'로 바꿔줘야 한다. b_np = b.cpu( ).numpy( ) npy파일로 local에 저장 numpy 배열 'b'를 경로에 저장 np.save('/data/npy_file', b) npy파일 불러오기 np_load = np.load('/data/npy_file.npy') numpy Array⇒Tensor #device type이 'cuda'인 tensor 완성 result = torch.from_numpy(np_load).to('cuda'..

temp = np.load(PATH) print(tmp.files) for i in temp.files: print(temp[i]) object arrays cannot be loaded when allow_pickle=False 에러가 뜰 수 있다. numpy 1.16.3 버전에서는 np.load() parameter에 allow_pickle이 추가되어서 데이터를 불러오는데 오류가 생긴다. 해결 방법은 첫번째, 해당 allow_pickle을 True로 바꿔주어 사용하면 오류를 해결할 수 있었다고 한다. import numpy as np ## 먼저 기존의 np.load를 np_load_old에 저장해둠. np_load_old = np.load ## 기존의 parameter을 바꿔줌 np.load = la..

연구 진행 중에서 특정 dataset에 대해서만 Nan 값이 계속 발생하는 문제가 있었다. 이유를 찾기 위해서 디버깅을 하던 중 feature matrix의 1118번 element에서 문제가 있음을 발견했다. 0으로만 구성되어서 zero divide 문제가 발생한 것이었다. 기존 코드만 믿고 실행한 결과였다...예외처리의 중요함을 뼈저리게 느꼈다... 만약 이유 없이 Nan값이 뜬다면 input값이 layer를 통과하면서 값이 어떻게 바뀌는지 유심히 볼 것을 추천합니다... + 또는 learning rate를 조절해봅시다... zmax = z.max(dim=1, keepdim=True)[0] zmin = z.min(dim=1, keepdim=True)[0] z_std = (z - zmin) / (zma..