Ttoro_Tech

4. BGD(Batch gradient descent)와 SGD(Stochastic gradient descent)의 장단점을 말해주세요- 사전 지식배치 : Batch한번에 여러개의 데이터를 묶어서 입력하는 것, 이는 GPU의 병렬 연산 기능을 최대한 효율적으로 사용하기 위해 쓰는 방법Iteration 1회당 사용되는 training data set의 묶음(Iteration은 정해진 batch size를 사용해서 학습(forward-backward)를 반복하는 횟수) 경사하강법 : Gradient descent손실 함수 F를 최적화하는 방법 중 하나머신러닝 모델을 평가하는 방법 : 손실함수(loss function)를 통해 평가머신러닝 모델의 목표 : MSE(mean squared error)가 최소가 ..

기술 면접 취업 준비를 하면서 다양한 기술 면접을 보았고, 답변을 하면서도 내가 정말 그 기술에 대해 잘 알고 있는가, 내가 쓴 기술을 실무에 쓸 수 있을 만큼 잘 이해하고 있는가 에 대해 자기 반성을 하게 되었다. 해당 게시글은 면접을 볼 때마다 업데이트 될 예정이며, 게시글이 길어지면 1탄, 2탄 등 나뉘게 될 것 같다. 자기 반성의 공간 같은 곳으로, 회사는 비공개로 작성될 것 같다. 1. Git을 통한 협업을 하셨다고 하셨는데, pull request는 사용하지 않으셨나요? - 사전 지식 Fork와 Pull request Fork 배경) 다른 사람의 프로젝트가 마음에 들어, 같이 프로젝트에 참가해, 기여자 역할을 하고 싶다. 하지만 기여를 하기 위해서는 프로젝트의 관리자가 나를 기여자로 등록해야한..

https://campaign.naver.com/dan23_ko/ 팀네이버 컨퍼런스 단 23 모두를 위한 기술 플랫폼 네이버가 사용자, 파트너와 함께 나아가야 할 방향을 제시합니다. campaign.naver.com DAN 23 Naver에서 2023년 8월 24일 DAN23 컨퍼런스를 진행하였고, HyperCLOVA X 및 CUE: 등 다양한 Naver LLM 모델 사용 사례 및 기술들을 공개하였다. 해당 포스트는 컨퍼런스를 들으면서 정리한 내용으로 Naver가 LLM을 만들기 위해 어떤 고민을 하였으며, 어떻게 LLM의 문제점을 해결했고, 네이버가 가진 서비스에 어떻게 적용했는지 간단하게 적어보자 한다. Session 1. Naver 최수연 CEO Generative AI 생성형 AI 시대에 네이버는..

https://www.youtube.com/watch?v=rOmrWC_K6M4 ('23.05.25. 기준 한 달뒤 공개될 예정) LLM? ChatGPT GPT-4 Bard 왜 LLM이 이렇게 인기가 많지? 다양한 Text 학습 다양한 지식을 알고 있음 언어 이해 능력 각 맥락의 문맥을 이해함 ICL : 학습없는 학습 예제 몇 개만으로도 높은 Few-shot 성능 쉬운 API 서비스들 OpenAI의 API 현실적 이슈 인력 LLM을 학습하거나 응용할 AI 개발자 예산 CPU 컴퓨팅은 비싸다 데이터 우리는 충분한 데이터를 가지고 있나? 그외 Privacy, Legal Issue LLM을 이용하는 다양한 방법 1. API 서비스를 활용하기 ChatGPT, GPT-4, HyperClova, ... 같은 서비스를..

https://blog.goorm.io/commit_8th/ [LIVE] 명령어를 이해하는 오픈소스 언어 모델 ‘KoAlpaca’ 개발기 - 신청 : ~ 2023. 5. 22(월) 17:00 - 일시 : 2023. 5. 24(수) 19:00 ~ 20:30 - 장소 : 온라인(유튜브)/오프라인(판교디지털센터) - 연사 : KcBERT, KcELECTRA, KoAlpaca 크리에이터 이준범 blog.goorm.io 스탠퍼드 대학이 공개한 오픈소스 LLM 'Alpaca' https://ttoro.tistory.com/85 [AIVLE_3기]_16주차_Alpaca(LLM) https://crfm.stanford.edu/2023/03/13/alpaca.html Stanford CRFM We introduce Al..

https://aifactory.space/learning/2419/discussion/339 [챗GPT 러닝데이 | 챗GPT말고 LLM] LLM 기반 챗봇 만들기 - 박찬성 ChatGPT 이후 Large Language Model(LLM)과 챗봇 서비스에 대한 관심이 급증하는 가운데, Meta AI에서 LLaMA라는 LLM을 공개했습니다. 이후 다양한 aifactory.space '23.05.09 세미나 내용을 정리한 글입니다. LLM의 역사 다양한 LLM 모델이 등장함 ChatGPT의 등장, LLaMA 등 다양한 크기의 모델들이 등장하기 시작함 하지만 LLM 모델은 검증이 어려워 다양한 논문은 등장하고 있지만, 검증에 시간이 오래걸림 LLM 모델은 큰 모델 Docker 등을 통해 모델을 배포할 경우 ..

정리 엔비디아 그래픽 드라이버 업데이트 VisualStudio 2022 설치 아래 링크에서 GPU가 지원하는 CUDA 버전 확인하기(여기선 RTX-3060 Laptop) https://en.wikipedia.org/wiki/CUDA#Version_features_and_specifications 아래 링크에서 cuDNN 설치 https://developer.nvidia.com/rdp/cudnn-archive 가상환경으로 테스트 Jupyter Notebook에 conda 연결 Introduce 먼저 학부 연구생을 하면서 컴퓨터 비전 연구를 위해 Tensorflow를 사용할 때 GPU가 필요했는데, 설정을 하지 않으면 Tensorflow에서는 CPU로만 연산된다는 것을 알게 되었다. 처음 CUDA를 설치할 ..