의식이 흐르는대로 해보는 프로그래밍

AWS를 처음 접했을 때를 떠올려보면, 아주 당황스러웠던 기억이 난다. EC2, S3, VPC, IAM, CloudFront, RDS 등 약어와 AWS만의 고유 서비스명이 난무하는 문서들 속에서 '도대체 뭐가 무슨 기능이지?'라는 막막함이 앞섰다. 서버, 네트워크, 스토리지에 대한 기본 지식이 있어도 AWS 고유성 앞에서는 다시 초보자가 되는 기분이었다. 이 책은 그 막막함을 해결하고, 처음 사용하는 사용자들에게 가이드북처럼 사용되도록 하는 입문서라고 생각한다.AWS는 왜 마음대로 이름을 선정하지AWS가 진입 장벽이 높게 느껴지는 이유는 단순히 서비스 수가 많아서가 아니다. 문제는 구조다. 비슷한 역할을 하는 서비스가 여럿 존재하고, 각 서비스는 AWS만의 언어로 이름 붙여져 있어 맥락 없이는 무슨 용도..

노트북 환경과 데스크탑 환경을 동일하게 C++ 개발환경을 VS Code + mingw으로 구축했다. 하지만 왜인지 노트북에서는 Code Runner를 활용해서, C++ exe를 실행할 때 출력, 에러 아무것도 일어나지 않는 문제가 발생했다. 오류코드라도 나면 모르겠는데, 해결하기가 너무 어려웠다. 맘먹고 오류를 해결해보고자, Stack Overflow에서 동일한 증상을 찾기 시작했다. 오류 파악 원인1: CMD 환경에서의 테스트Code Runner Extension은 C++ 프로그램을 실행할 때, `g++ example.cpp -o example && .\example` 명령어로 g++로 컴파일을 진행한 뒤, 해당 파일을 실행한다. 나는 VS Code 내부 터미널에서 실행하고자, 'Run In Termi..

목차 개요 AIMO2(AI Mathematical Olympiad 2) Kaggle 대회가 종료했다. 이번 대회는 LLM(대규모 언어 모델)을 활용한 수학 문제 해결 능력을 겨루는 장으로, 많은 참가자들이 L4 GPU 지원 하에 다양한 규모의 모델과 프롬프트 엔지니어링, 샘플링 파라미터 최적화 등을 시도했다.이 글에서는 저의 대회 참가 경험과 함께, 압도적인 성능으로 1위를 차지한 NVIDIA NemoSkills 팀의 솔루션을 TIR(Tool-Integrated Reasoning), GenSelect(Generative Solution Selection), OpenMathReasoning 데이터셋 구축 중심으로 심층 분석하고자 한다. 대회 종료 후기이전의 대회와 다르게 L4*4의 하드웨어를 지원하며, 더..

목차서류 합격저번 하반기 제출했던 서류가 사실 그렇게 마음이 들지 않았어서 불합격을 어느 정도 예상하고 있었다.이번에 제출할 때는 기존 이력서의 내용을 다 갈아엎고, 사회적 분위기, 삼성SDS의 비즈니스 + 내 주관적인 사업방향성에 대한 의견을 많이 녹이도록 노력했다. 내 기준에서는 정말 마음에 들었고, 주변 사람들한테 보여줄 때도 자부심 넘치게 보여줬던 것 같다. 그래도 대기업 서류 합격을 경험했던 적이 없던지라, 기대하지 않고 다른 공채 이력서 작성과 개인적인 공부를 이어나갔다.그러던 중, 갑자기 폭발하는 삼성 취업 오픈 카톡방. 아 나왔구나. 싶었다.떨리는 마음으로 삼성커리어스 홈페이지에 들어가서, 결과를 확인했다. 처음으로 합격했다. 기분이 좋으면서도, 한편으로는 걱정되는 부분들이 꽤 있었다.기..

usage: conda-script.py [-h] [-v] [--no-plugins] [-V] COMMAND ...conda-script.py: error: argument COMMAND: invalid choice: '' (choose from 'activate', 'clean', 'commands', 'compare', 'config', 'create', 'deactivate', 'env', 'export', 'info', 'init', 'install', 'list', 'notices', 'package', 'content-trust', 'doctor', 'repoquery', 'pack', 'tree', 'remove', 'uninstall', 'rename', 'run', 'search', 'u..

목차1. 개요* 이 글은 HuggingFace의 연구결과를 적용한 방법입니다. 최근 몇 년간 대규모 언어 모델(LLM)의 성능은 모델 크기와 데이터셋 크기를 늘리는 Train-Time Compute Scaling 방식에 의존해 발전해왔습니다. 하지만 이 접근법은 비용이 크고, 자원이 제한된 환경에서 실행하기 어렵습니다. 이를 해결하기 위해 등장한 개념이 Test-Time Compute Scaling입니다. Test-Time Compute Scaling은 모델이 추론 단계에서 더 "오래 생각(think longer)"하도록 설계된 방법론입니다. 대표적인 예로 OpenAI의 o1 모델이 있지만, closed-source 특성상 구체적인 구현 방법은 공개되지 않았습니다. 이 글에서는 Test-Time Comp..

목차개요저번에 작성했듯이, 원래 LB 최상위권은 7~10점을 유지하고 있었다. 그 축에는 당연히 `Qwen-72B-Math` 모델이 있었고, 다양한 생성전략으로 LB 상위권을 유지했을 것이라 예측한다.그러던 중 갑자기 QwQ-32B-Preview 라는 모델이 등장했고, 대회에서도 원래 규칙이었던 2024년10월 이전 모델만 사용가능한 내용을 화이트리스트를 통해 허가를 받으면 허용해준다고 변경했다.그리고, 화이트리스트에 올라가자마자 QwQ를 이용한 결과가 나오기 시작했고, Early Sharing Prize도 일부 생성에 필요한 파라미터를 최적화함으로 받을 수 있었다.별개로, 저때 QwQ를 이용한 결과들이 리더보드에 채점됐는데, 당시 한 사람만 20점이 넘는 결과가 나와서 그 사람이 상을 받을 수 있었다...

목차처음으로 받은 Notebook MedalKaggle에서 1월1일 새해부터 축하한다고 메일을 보내줬다. 참여하고 있는 대회인 AIMO2에 여러 방법을 시도해보고 있으면서, 블로그에 글을 남기고 있다.아직 작성하지는 못한(아마 두번째 뒤에 포스트가 될 것 같은데), HF에서 연구한 [Scailing Test Time Compute] 방법론을 대회에 적용한 노트북이었다. 아티클을 읽고, 결과가 좋게 나왔길래 한번 해봤는데 음... LB 4라 생각보다는 잘 나오진 않았더라.(자세한 분석은 이후에 작성할 예정)처음으로 올린 노트북이긴한데, 추천수가 5를 넘다니!  또한, 아직 이전 방식의 결과로 LB 등수를 유지하고 있긴하다. 하지만, 이제 좀 새로운 방법에 대해서 고민을 해볼 필요가 있다. 이 방식의 Ran..

목차개요이전 Qwen2.5에 적용된 TIR(Tool-Integrated Reasoning)에 대한 내용을 설명하다보니, 내용이 너무 길어졌다. 정작, Qwen2.5 모델에 대한 내용은 설명도 못하고 글을 마무리 지어서, 이번 글에는 문제를 해결할 때 Qwen2.5-Math Instruction 모델에 대한 소개와, 모델을 사용한 방법에 대해서 적어보려고 한다. Qwen2.5-Math본 내용은 [Qwen2.5-Math 아티클, Qwen Blog] 글의 내용을 기반으로 설명한다. 이전 글에, Qwen2.5-Math 모델의 핵심은 TIR 방법론을 적용하여, 학습을 진행하여 성능을 크게 끌어올렸다고 설명했다.따라서, 이전 세대의 모델인 Qwen2-Math 모델은 CoT(Chain-of-Thought)만 사용 가..

목차개요갑자기 HF에 등장한, ModerBERT에 대해서 짧게 정리해보도록 한다.다프트펑크가 생각나는 논문 제목Encoder Model은 정보 탐색에서 특히 인기있다. 최근 몇년동안 LLM이 주목받으면서, Encoder Model을 이용한 RAG, NER같은 Task에 대한 새로운 관심도 불러일으켰다.하지만, 이러한 파이프라인에 아직도 백본으로 기존의 BERT모델(마지막 경험으론, DeBERTa를 아주 많이 사용하는 것 같았다.)을 사용하는 오래된 모델에 의존하고 있다. 이건 몇가지 문제가 있는데,시퀀스 길이가 512토큰으로 제한된 것Vocab 크기하위 작업 성능, 계산 효율적 측면에서 비효율적인 모델 설계Suboptimal한 모델 디자인훈련 데이터가 제한적이고, 특정 도메인에 한정(특히, 코드 데이터의..