Ttoro_Tech

https://www.aitimes.com/news/articleView.html?idxno=150804 AI 스타트업의 콜라보...'아숙업'에 '푸드렌즈' 적용 - AI타임스 잘 나가는 인공지능(AI) 스타트업 두 곳이 힘을 모았다. 국내 대표적인 AI 챗봇 \'아숙업(AskUp)\'에 음식 인식 AI 솔루션 \'푸드렌즈\'가 결합했다.업스테이지(대표 김성훈)는 헬스케어 스타트업 두잉 www.aitimes.com 스타트업 2곳의 기술 결합 업스테이지 두잉랩 아숙업 Chat Bot에 음식 분석 기능을 추가할 예정 ex) 사용자가 음식 사진을 찍고 아숙업에게 전송하면 영양 정보를 분석하고 기록해 주는 기능을 제공 업스테이지 - AskUp OpenAI의 ChatGPT를 기반으로 광학문자인식(OCR) 기술과 ..

https://ttoro.tistory.com/70 [AIVLE_3기]_11주차_GPT GPT(Generative Pre-Training) 최근 ChatGPT(GPT-3.5)와 GPT-4까지 나오면서 화제가 되고 있는 NLP 모델이다. 11주차 미니 프로젝트에서는 자연어 분류 모델로 BERT를 사용하였지만, 다른 계열의 NLP 모델인 GPT에 ttoro.tistory.com GPT-2 (Generative Pre-Training) [paper] 이전 GPT 와 모델 구조는 비슷하나 더 크고 많은 학습 데이터와 파라미터로 성능을 올린 모델 GPT-2에 대한 자세한 모델은 공개하지 않음 (LLM의 위험성을 알림) 추후 작은 GPT-2 모델에 대해서 공개함 기존 문제점 많은 데이터 셋과 큰 사이즈의 모델을 지..

GPT(Generative Pre-Training) 최근 ChatGPT(GPT-3.5)와 GPT-4까지 나오면서 화제가 되고 있는 NLP 모델이다. 11주차 미니 프로젝트에서는 자연어 분류 모델로 BERT를 사용하였지만, 다른 계열의 NLP 모델인 GPT에 대해서도 정리하고자 한다. GPT 기존 방식 다양한 딥러닝 모델들은 레이블링된 데이터를 이용해서 학습을 진행 (Supervised Learning) 하지만 레이블된 데이터를 구하기는 쉽지 않음 GPT에서 제안된 방식 준지도 학습 방식을 제안(Semi-Supervised) 비지도 사전 학습(Unsupervised pre-training) + Supervised fine-tuning 최종적인 목표는 다양한 task에 대해 작은 변화만으로 적용시킬 수 있는..

https://ttoro.tistory.com/63 [AIVLE_3기]_10주차_Mini_Project(NLP) 4차 미니프로젝트 주제 다양한 1:1 문의글이 존재할 때, 문의글의 단어와 문맥 등을 파악하여 각 문의별 담당자에게 빠르게 피드백을 받을 수 있도록 문의글을 분류해보자 sub : Bareun, N-gram, Sequence ttoro.tistory.com NLP Model Bert 이전 미니 프로젝트를 진행하면서 KoBert 사용하였고 Base Model인 BERT 모델에 자세하게 정리하고자 한다. BERT(Bidirectional Encoder Representation from Transformer) [papar] BERT가 나오게 된 배경 자연어 문제를 풀기 위한 모델 전이 학습을 사용 ..

4차 미니프로젝트 주제 다양한 1:1 문의글이 존재할 때, 문의글의 단어와 문맥 등을 파악하여 각 문의별 담당자에게 빠르게 피드백을 받을 수 있도록 문의글을 분류해보자 sub : Bareun, N-gram, Sequence, KoBert, Text Classification 1. Dataset 다양한 문의 Label이 존재 코드에 관련된 문의가 가장 많은 것을 확인 할 수 있음 원격에 대한 문의가 가장 적은 것을 확인 할 수 있음 2. Data Processing NLP에서 자연어를 어떻게 전처리하는가는 매우 다양한 방법이 있으며, 방법에 따라 성능이 바뀜 이번 프로젝트에서는 다양한 처리 방법 중 데이터 증강 수집 Oversampling 형태소 분석기 영어 한국어 분리 한국어 띄어쓰기 검사 및 특수문자 ..

https://wikidocs.net/22893 15-01 어텐션 메커니즘 (Attention Mechanism) 앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 출력 … wikidocs.net Seq2Seq의 문제점 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니 정보 손실이 발생 RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 발생 이러한 문제점을 해결하기 위해 등장한 Attention 개념 Attention Decoder에서 출력된 단어를 예측하는 매 시점(Time step)마다, Encoder의 전체 입력 문장을 다시 한번 참고 전체 ..

https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, Vietnames jalammar.github.io Attention을 활용한 모델 Transformer Attention을 학..