DINHO's Blog

논문 리뷰입니다. 저는 계속해서 MusicGen 관련 공부를 해오고 있는데요! 지난 번에 이야기했던 Transformer 에 이어서 MusicGen에서 중요한 개념인 Encodec에 대해 이야기해보겠습니다. Encodec은 메타에서 진행한 연구로, 2022년 “High Fidelity Neural Audio Compression(Alexandre Défossez, et al.)” 논문에서 처음 소개되었습니다. Indroduction 논문에서는 스트리밍 오디오 및 비디오가 트래픽의 대부분을 차지하는 최근 경향에 따라 오디오...

오랜만에 논문 리뷰입니다. 지난 번 논문 리뷰 때 MusicGen 이야기를 했었는데요! MusicGen Decoder의 기반이 되기도 하고, 인공지능을 공부하는 사람이라면 절대로 몰라선 안 되는!!! Transformer, Attention Is All You Need(2017) 논문 리뷰를 해보겠습니다. 연구 배경 기존 RNN(Recurrent Neural Network)과 CNN(Convolutional neural network) 기반 모델은 긴 문맥을 학습하기 어렵고, 병렬처리가 어렵다는 단점이...

오랜만에 포스팅입니다!! 개학하고 아주 정신이 없네요😅 오늘은 Pytorch를 이용하여 간단한 행렬 방정식푸는 python 코드를 간단하게 소개해볼까 합니다. 이 내용은 광운대학교 전기공학과 인공지능응용 수업 과제입니다. 혹시라도 후배님들이 이 글을 보게 된다면 비밀로 하고 과제를 진행해주세요 ㅎㅎ 행렬 방정식 풀기 (단, Pytorch만을 사용한다) 다음 행렬 방정식을 ‘Pseudo inverse matrix’를 이용해 풀어보자 $A^{T}A$의...

오늘은 YUV 파일에 대해 이야기 해보고, RAW TO YUV, YUV TO RAW 코드를 살펴보겠습니다. YUV 컬러 공간은 인간의 눈의 특성을 고려하여 설계되었습니다. 인간의 눈은 밝기(Y)에는 민감하지만, 색차 신호(Cb, Cr)에는 상대적으로 둔감합니다. 이러한 특성을 활용하여 RGB 모델을 선형 변환하여 YUV 모델로 표현할 수 있습니다. 이번 글에서는 YUV 컬러 공간의 변환 공식과...

오늘은 bmp 파일에 대해서 설명해드리고, raw 파일을 bmp 파일로, bmp 파일을 raw 파일로 바꾸는 과정을 c로 구현해보겠습니다. RAW 파일이란? 먼저 그동안 Raw 파일에 대해 계속 다뤄왔었습니다!! Raw는 영어로 “날것의”라는 뜻이 있죠? 말 그대로 어떠한 압축이나 처리 과정이 없는 파일을 raw파일이라고 합니다. 이미지에서 raw 파일은 원본 그대로의 이미지이기 때문에 화질 저하의...