랭체인(LangChain)은 대규모 언어 모델과 앱의 통합을 간소화하는 SDK*다. 최근 LLM 모델의 부상과 함께 그 활용성의 측면에서 랭체인의 범용성 또한 퍼지고 있다. 새로운 오픈소스 모델의 출시나 상용 모델 제공업체의 기능이 바뀔 때마다 이 랭체인의 장점은 더욱 강력하게 작용한다.SDK 소프트웨어 개발 키트(SDK)는 개발자를 위한 플랫폼별 구축 도구 세트입니다. 특정 플랫폼, 운영 체제 또는 프로그래밍 언어에서 실행되는 코드를 만들려면 디버거, 컴파일러 및 라이브러리와 같은 구성 요소가 필요합니다. SDK는 소프트웨어를 개발하고 실행하는 데 필요한 모든 것을 한 곳에서 제공합니다. 또한 SDK에는 문서, 튜토리얼 및 가이드와 같은 리소스와 더 빠른 애플리케이션 개발을 위한 API 및 프레임워크가..
이번 글은 최근 공부 중인 자연어처리의 핵심 기술이라고 할 수 있는 Transformer에 대해 알아본다. 쉽게 불러올 수 있고, 누구나 사용할 수 있지만, 그 내부 실행 과정이 궁금해져 개인적으로 정리해보았다!! 자연어 처리 모델의 Architecturehttps://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder a..
이번 글은 '자연어 처리'를 공부하면서 접하게 된 ELECTRA 와 pre-training 효율성 향상을 위한 ELECTRA small 모델에 대해 정리한 글입니다. 현재 교내 동아리 프로젝트로 진행 중인 '연애 솔루션 챗봇'에 탑재될 자연어 처리 모델을 알아보던 중 가장 눈에 띄는 모델이기도 했고 개인 회고 및 논문 정리 & 학습 목적으로 정리해보았습니다. 재밌게 읽어주세용 ELECTRA: Pre-training Text Encoders as Discriminators Rather Than...A text encoder trained to distinguish real input tokens from plausible fakes efficiently learns effective language rep..
해당 글은 교재 'Do it! BERT와 GPT로 배우는 자연어 처리'를 공부하면서 제 입맛대로 정리한 글입니다! 자세한 내용이 궁금하다면 교재를 참고해주세요~!! Do it! BERT와 GPT로 배우는 자연어 처리 - 예스24 ‘사람 말을 알아듣는 AI’를 만들어 보자!트랜스포머 핵심 원리부터 문서 분류, 기계 독해, 문장 생성 실습까지!사람 말을 알아듣고 처리하는 인공지능은 어떻게 만들까? 이 책은 딥러닝 기반 www.yes24.com 💡 트랜스포머 : 2017년 구글이 제안한 ‘sequence-to-sequence’ 모델. 1️⃣ 시퀀스 투 시퀀스는 무엇인가?? Ex) 기계번역 : 어떤 언어의 토큰 시퀀스를 다른 언어의 토큰 시스로 변환하는 과제. 한국어 토큰 시퀀스 : 길이 6개. 영어 토큰 시퀀..
토큰화란 문장을 토큰 시퀀스로 나누는 과정. 대상에 따라 문자, 단어, 서브워드 등 세 가지 방법이 있다. 그렇다면, 각 토큰화마다 장단점이 있을까?? 토큰화란 무엇일까?? 자연어 처리 데이터의 기본 단위는 텍스트 형태의 문장. 트랜스포머 모델은 토큰 시퀀스를 입력받으므로, 문장마다 토큰화를 수행한다! ‘토크나이저’ 토큰화를 수행하는 프로그램. '은전한닢(mecab)', '꼬꼬마(kkma)' (대표적인 한국어 토크나이저.) 1️⃣ ‘단어 단위의 토큰화’ : 단어(어절) 단위로 토큰화를 수행하는 방법. (’공백으로 분리하기’) 별도로 토크나이저를 사용하지 않아도 됨. → 하지만 ‘어휘 집합의 크기가 매우 커질 수 있다.’ Ex) ‘갔었어’, ‘갔었는데요’ → 표현 상의 차이가 모든 경우의 수로 어휘 집합에..
해당 본문은 전 글과 이어집니다! 해당 내용이 궁금하다면 전 본문을 참고해주세요!! 그러면 본격적으로 인공 신경망(ANN)의 개념과 그 종류에 대해 알아보도록 하겠습니다. 인공 신경망 (FFNN & RNN) 앞서 퍼셉트론을 배우면서 'MLP(다층 퍼셉트론) 구조'를 언급했다. 퍼셉트론의 관점에서 층을, 그 중에서도 '은닉층'이라고 하는 입력층과 출력층 사이의 layer를 겹겹이 쌓는다고 했을 때, 이를 다층 퍼셉트론(multi - layer perceptron)이라고 부른다. 이 MLP 중에서도 연산이 전개되는 방향에 따라 두 가지로 구분이 가능하다. 입력층에서 출력층으로 연산이 흐르는 통상적인 형태면, 이를 '순방향 신경망(FFNN)' 이라고 부르며, 입력층과 출력층 사이 은닉층 사이에서 또다시 연산값..
