AI 절약 연구소

Grok Bot은 대화로 답을 주는 채팅 서비스가 아니라, 맡긴 일을 직접 처리하는 에이전트형 봇입니다. ChatGPT 같은 채팅 서비스는 질문에 답하고 초안을 만들어 주는 데 중심이 있고, 그 결과를 실제 도구에 옮기는 일은 사용자가 합니다. Cursor 공식 문서에 따르면 Grok Bot은 브라우저, 파일 시스템, 터미널을 갖춘 클라우드 컴퓨터에서 일하며, 작업을 채팅 초안이 아니라 실제 도구 안에서 끝내도록 설계되어 있다고 안내하고 있습니다. 연결한 앱을 사용하고, 선호와 작업 내용을 기억하며, 정해진 일정에 맞춰 루틴을 실행할 수도 있습니다. 최근 Meta가 내놓은 Muse도 질문에 답하는 데서 그치지 않고 직접 일을 처리하는 에이전트 앱으로 소개되고 있어, AI 서비스가 대화형에서 실행형으로 옮..

API 비용을 줄이는 방법을 찾다 보면 프롬프트 최적화, 저렴한 모델로의 전환, 캐싱 적용 등을 먼저 고려하게 됩니다. 그런데 애플리케이션 코드를 수정하지 않고도 API 호출 단가 자체를 절반으로 낮출 수 있는 방법이 있습니다. 바로 Batch API입니다.Batch API의 핵심 조건은 하나입니다. 응답을 즉시 반환받을 필요가 없는 작업이어야 한다는 점입니다.이번 글에서는 OpenAI, Anthropic(Claude), Google(Gemini) 세 회사의 공식 문서를 기준으로 Batch API의 동작 방식과 주요 차이점, 활용 사례 및 도입 시 주의할 점을 정리했습니다.Batch API란?일반적인 API 호출은 요청을 보내고 응답을 반환받는 동기 방식으로 동작합니다. Batch API는 여러 요청을 ..

한 줄 요약: Hook을 등록하면 턴마다 토큰 사용량을 기록할 수 있습니다. 다만 확인할 수 있는 범위는 생각보다 좁습니다. 토큰 사용량을 측정하려고 한 이유처음에는 시스템 프롬프트에 제 메시지를 더해도 많아야 수천 토큰 정도일 것이라고 생각했습니다.그런데 제 경우에는 Cursor에서 실행한 작업의 input을 확인해 보니 매번 10만 단위, 많게는 수백만 단위로 기록되어 있었습니다. 제가 입력한 내용은 몇 줄에 불과했습니다. 따라서 우선 요청마다 숫자를 직접 남겨 보기로 했습니다.내 대시보드에서 확인한 에이전트 토큰 비용 Hook의 개념과 동작 방식Cursor 공식 Hooks 문서를 기준으로 보면, Hook은 Cursor가 실행하는 별도 프로세스이며 stdio로 JSON을 주고받는다고 안내하고 있습니다..

이번 글에서는 Cursor에서 MCP를 활성화해 두었을 때 매 턴 input에 얼마나 많은 토큰이 포함되는지 Hook으로 측정했습니다.먼저 핵심부터 말씀드리면, MCP는 도구를 호출하지 않더라도 활성화되어 있다는 이유만으로 도구 정의가 매 요청의 input에 포함됩니다.따라서 평소 사용하지 않는 MCP가 여러 개 등록되어 있다면, 실제 작업과 무관하게 고정적인 토큰 비용이 발생할 수 있습니다.MCP 하나가 매 턴 얼마나 많은 토큰을 차지할까?새 채팅에서 첫 메시지를 보내면 모델에 전달되는 input에는 사용자가 입력한 문장만 들어가지 않습니다. Cursor의 시스템 지시문, User Rules와 Always-apply 규칙, 스킬 목록, 환경 정보, 그리고 내장 도구와 MCP 도구의 정의가 함께 포함됩니..

LLM(거대언어모델) 서빙 최적화를 공부하다 보면 KV Cache(Key-Value Cache)라는 용어를 마주하게 됩니다.저는 캐시(Cache)라는 단어를 보고 자연스럽게 제가 알고 있는 캐싱 개념이랑 매핑하여 아, Redis나 HTTP Cache 같은 거구나! 한 번 연산한 결과를 저장해두고, 나중에 똑같은 요청이 오면 꺼내 쓰는 거네.라고 가볍게 이해하고 넘어갔었습니다. 얕게 이해하고 넘어갔다보니, 서비스를 개발하거나, 개인적으로 공부를 할수록 이상한 의문들이 꼬리를 물기 시작했습니다."KV캐시가 캐싱된 데이터를 저장한다면, 사용자 요청이 계속 들어오면 KV 캐시가 무한정 쌓여서 VRAM이 터지지 않나?""그럼 주기적으로 배치를 돌려서 캐시를 비워줘야(Flush) 하나?" (그동안은 내가 모르게 라..

안녕하세요! 오늘은 최근 진행했던 텍스트 기반 행운 부적 생성 서비스에서 APO를 적용했던 경험담을 적어볼까 합니다.NFC 굿즈를 구매하여 사이트에 접근하면 귀여운 뽀송즈 캐릭터들이 말아주는(?) 오늘의 운세와 소원을 이뤄주는 행운카드를 확인할수 있는 소소한 심심풀이 서비스입니다. 핵심 목표: 텍스트와 가장 '어울리는' 카드 찾기 이 서비스의 개발 과제중 하나는 사용자가 입력한 텍스트(소원)의 성격을 분석하여 가장 적합한 이미지를 표출하는 것이었습니다. 하지만 개발 과정에서 마주한 가장 큰 난관은 바로 맥락의 모호함이었습니다. 예를 들어, "돈 많이 벌게 해주세요"나 "로또 당첨되게 해주세요." 같은 문장은 '금전' 카테고리로 분류하기 쉽습니다. 하지만 "올해는 따뜻하게 보내고 싶어요"라는 문장은 어떨..

안녕하세요. 무려 3달만에 논문리뷰를 하게 되었습니다...... (정말 게을러졌네요...)회사에서 프로젝트 문제 해결 과정에서 우연히 읽게된 눈문인데 사실 논문 리뷰까지 할 생각은 없었지만, 프로젝트에 이 과정을 녹여내어 유의미한 결과를 얻기도 하였고, 나름의 인사이트도 얻어서 정말 간만에 시간을 내어 리뷰를 해봅니다. 참고 문헌: Automatic Prompt Optimization with Gradient Descent and Beam Searchhttps://arxiv.org/pdf/2305.03495 서론: 왜 프롬프트 최적화가 필요한가? 거대 언어 모델(LLM)은 강력한 Zero-shot 성능을 보여주지만, 실무에서 최상의 결과를 얻기 위해서는 정교한 프롬프트 엔지니어링이 필수적입니다. 하지..

안녕하세요. 오랜만에 논문 한편 리뷰를 해보려고 합니다.오늘 리뷰할 논문은 "WaDiff: Watermark-Conditioned Diffusion for AI Content Protection" 입니다. 생성형 AI 모델을 통한 콘텐츠들이 무분별하게 확산되면서 각 콘텐츠의 출처를 알 수 없는 문제가 있었고, 이를 해결하고자 latent space에 특정 값을 삽입하여 사람의 눈에는 보이지 않는 워터마크를 심는 방식이 제안되고, 관련 연구가 이뤄지고 있습니다.이번 논문은 특히 사용자별로 서로 다른 비트열을 조건으로 적용하여, 생성된 결과물에 고유한 워터마크를 삽입하고 이를 통해 사후에 특정 사용자로부터 생성된 콘텐츠임을 검증할 수 있는 방법론을 제안합니다. https://arxiv.org/abs/240..

안녕하세요. 오랜만에 논문 한편 리뷰를 해보려고 합니다.오늘 리뷰할 논문은 "s3: Simple, Scalable, and Streamlined Search-only Agent for Retrieval Augmented Generation"입니다. 최근 RAG의 발전 속도가 정말 빠른데, 요즘 트렌드는 강화학습을 RAG에 적용하는 연구들이 점점 늘어나고 있는것 같습니다.https://arxiv.org/abs/2505.14146 s3: You Don't Need That Much Data to Train a Search Agent via RLRetrieval-augmented generation (RAG) systems empower large language models (LLMs) to access e..

FLUX - kontext란?FLUX - kontext는 Black Forest Labs에서 개발한 이미지 생성 및 편집 AI 모델 입니다텍스트와 이미지를 함께 프롬프트로 활용할 수 있는 in-context 이미지 생성 기술을 적용하여, 기존 텍스트-투-이미지 모델보다 더욱 정교하고 유연한 이미지 편집을 가능하게 합니다.https://flux-ai.io/flux-kontext/1930061283246641154/ Flux AI - Free Online Advanced Flux.1 AI Image GeneratorFree online advanced Flux AI image generator for various styles of image creation, powered by Flux 1.1 AI mod..