의식이 흐르는대로 해보는 프로그래밍

usage: conda-script.py [-h] [-v] [--no-plugins] [-V] COMMAND ...conda-script.py: error: argument COMMAND: invalid choice: '' (choose from 'activate', 'clean', 'commands', 'compare', 'config', 'create', 'deactivate', 'env', 'export', 'info', 'init', 'install', 'list', 'notices', 'package', 'content-trust', 'doctor', 'repoquery', 'pack', 'tree', 'remove', 'uninstall', 'rename', 'run', 'search', 'u..

목차1. 개요* 이 글은 HuggingFace의 연구결과를 적용한 방법입니다. 최근 몇 년간 대규모 언어 모델(LLM)의 성능은 모델 크기와 데이터셋 크기를 늘리는 Train-Time Compute Scaling 방식에 의존해 발전해왔습니다. 하지만 이 접근법은 비용이 크고, 자원이 제한된 환경에서 실행하기 어렵습니다. 이를 해결하기 위해 등장한 개념이 Test-Time Compute Scaling입니다. Test-Time Compute Scaling은 모델이 추론 단계에서 더 "오래 생각(think longer)"하도록 설계된 방법론입니다. 대표적인 예로 OpenAI의 o1 모델이 있지만, closed-source 특성상 구체적인 구현 방법은 공개되지 않았습니다. 이 글에서는 Test-Time Comp..

목차개요저번에 작성했듯이, 원래 LB 최상위권은 7~10점을 유지하고 있었다. 그 축에는 당연히 `Qwen-72B-Math` 모델이 있었고, 다양한 생성전략으로 LB 상위권을 유지했을 것이라 예측한다.그러던 중 갑자기 QwQ-32B-Preview 라는 모델이 등장했고, 대회에서도 원래 규칙이었던 2024년10월 이전 모델만 사용가능한 내용을 화이트리스트를 통해 허가를 받으면 허용해준다고 변경했다.그리고, 화이트리스트에 올라가자마자 QwQ를 이용한 결과가 나오기 시작했고, Early Sharing Prize도 일부 생성에 필요한 파라미터를 최적화함으로 받을 수 있었다.별개로, 저때 QwQ를 이용한 결과들이 리더보드에 채점됐는데, 당시 한 사람만 20점이 넘는 결과가 나와서 그 사람이 상을 받을 수 있었다...

목차처음으로 받은 Notebook MedalKaggle에서 1월1일 새해부터 축하한다고 메일을 보내줬다. 참여하고 있는 대회인 AIMO2에 여러 방법을 시도해보고 있으면서, 블로그에 글을 남기고 있다.아직 작성하지는 못한(아마 두번째 뒤에 포스트가 될 것 같은데), HF에서 연구한 [Scailing Test Time Compute] 방법론을 대회에 적용한 노트북이었다. 아티클을 읽고, 결과가 좋게 나왔길래 한번 해봤는데 음... LB 4라 생각보다는 잘 나오진 않았더라.(자세한 분석은 이후에 작성할 예정)처음으로 올린 노트북이긴한데, 추천수가 5를 넘다니!  또한, 아직 이전 방식의 결과로 LB 등수를 유지하고 있긴하다. 하지만, 이제 좀 새로운 방법에 대해서 고민을 해볼 필요가 있다. 이 방식의 Ran..

목차개요이전 Qwen2.5에 적용된 TIR(Tool-Integrated Reasoning)에 대한 내용을 설명하다보니, 내용이 너무 길어졌다. 정작, Qwen2.5 모델에 대한 내용은 설명도 못하고 글을 마무리 지어서, 이번 글에는 문제를 해결할 때 Qwen2.5-Math Instruction 모델에 대한 소개와, 모델을 사용한 방법에 대해서 적어보려고 한다. Qwen2.5-Math본 내용은 [Qwen2.5-Math 아티클, Qwen Blog] 글의 내용을 기반으로 설명한다. 이전 글에, Qwen2.5-Math 모델의 핵심은 TIR 방법론을 적용하여, 학습을 진행하여 성능을 크게 끌어올렸다고 설명했다.따라서, 이전 세대의 모델인 Qwen2-Math 모델은 CoT(Chain-of-Thought)만 사용 가..

목차개요갑자기 HF에 등장한, ModerBERT에 대해서 짧게 정리해보도록 한다.다프트펑크가 생각나는 논문 제목Encoder Model은 정보 탐색에서 특히 인기있다. 최근 몇년동안 LLM이 주목받으면서, Encoder Model을 이용한 RAG, NER같은 Task에 대한 새로운 관심도 불러일으켰다.하지만, 이러한 파이프라인에 아직도 백본으로 기존의 BERT모델(마지막 경험으론, DeBERTa를 아주 많이 사용하는 것 같았다.)을 사용하는 오래된 모델에 의존하고 있다. 이건 몇가지 문제가 있는데,시퀀스 길이가 512토큰으로 제한된 것Vocab 크기하위 작업 성능, 계산 효율적 측면에서 비효율적인 모델 설계Suboptimal한 모델 디자인훈련 데이터가 제한적이고, 특정 도메인에 한정(특히, 코드 데이터의..

목차Qwen2.5-Math-72B-Instruction이번 대세는 Qwen의 Math 모델들이다. 아니 대세 정도가 아니고, 지배하고 있다.가장 처음부터, ~10점 정도의 좋은 성적을 이끌어 나간건 바로 [Qwen2.5-Math-72B-Instruction] 모델을 활용한 방법론이었다. Qwen2.5-Math 모델들에 대한 자세한 내용은 [Qwen 블로그 글]을 확인하자.블로그 글을 가볍게 정리하자면, 다음과 같다.위는 Open-Weight 모델들 중 MATH 데이터셋 벤치마크에 대한 성능이다. 이전에도 Qwen2-Math 모델들이 좋은 성능을 내고 있었지만, 한단계 더 개선되었다. 모델의 개선을 가져온 차이점은 무엇일까? 바로 TIR(Tool-Integrated Reasoning)방법을 적용했기때문이다..

목차시작2017년 구글에서 발표한 "Attention Is All You Need"라는 공격적인 이름의 논문이다. 현재는 시기도 오래 지난 논문이지만, 아직까지 Attention이 전부인가?라고 묻는다면, 단연 아직도 "Yes."로 대답할 것이다. 논문을 읽어보고, 한 번도 글로 정리했던 적은 없었던 것 같아, 한참 늦었지만 시간이 비었을 때 내 생각을 정리하려고 한다. 자, 시작해 보자. 2024년에 읽는 Transformer 논문. 여담으로, 아직도 Attention이 전부인가를 표시해주는 사이트가 있다..  개요와 배경회귀 모델의 문제점순차적 모델링과 기계 독해, 언어 모델링과 같은 Transduction 문제(한국어로 해석하기가 힘들다)에서 RNN, LSTM, GRU, Encoder-Decoder..

목차서론... 8월말에 인턴이 끝나고, 바로 공채 공고들이 올라와서 지원했다.일단은 지금까지 지원했던 모든 기업들의 결과가 나왔고, 결론적으로는 모두 떨어졌다.나의 일대기일단 나의 ML 개발자로서의 발전과정? 연관된 내용은 다음과 같다.컴퓨터공학과 학사 졸업 - 3.71/4.5ML Bootcamp - Google Developers 수료부스트캠프 AI Tech(NLP) - 네이버 커넥트재단 수료미술작품 추천 시스템 졸업프로젝트 수행음성인식 기업(STT) ML Research 인턴 수행(24.03~24.08, 6개월)나는 ML 기술을 활용해서, 문제를 해결하는 것에 매력을 느꼈었고, 그 중 특히 자연어처리 분야에 관심이 있어 부스트캠프도 NLP로 수료했다. 해당 과정에선 최종적으로 AI기술(NLP분야)을 ..

목차개요AI를 활용하여 국제 수학 올림피아드 수준의 문제를 해결하는 대회이다. 이전에 진행된 AIMO보다 문제가 어려워졌고, 상금의 규모도 커졌다고 한다. 모든 수학문제는 LaTex 형식으로 작성되어 있다. 후원사의 후원으로 이 대회에서 생성된 노트북은 무려 L4 * 4를 가속기로 선택할 수 있다...물론 시간은 두배로 더 빨리 소모된다. 평가평가 지표는 '정확도'로 평가한다. 모든 정답은 modulo 1000 을 수행한 0 ~ 999의 정수이다. -900 이라면, 100이 나와야한다.이미 끝났지만, Early Sharing Prize 가 있었다. Test Set 50문제에 대해서, 20문제 이상을 맞춘 노트북을 처음 공개하면, $20,000을 줬다. 규칙오픈 웨이트 모델만 사용할 수 있다.2024년 1..