키보드 대신 ‘입(음성)’으로만 코딩하는 천하제일 입코딩 대회 출품작입니다. 1인 창업가가 자연어로 명령하면 할 일·일정·이메일부터 투자자 IR 리포트, 정부 지원사업 브리핑까지 대신 처리하는 AI 비서를 혼자 만들었습니다.
혼자 창업에 도전하는 지인들을 보며 ‘1인 창업가를 위한 AI 비서가 있으면 좋겠다’는 생각에서 출발했습니다. 음성으로만 개발해야 하는 대회 제약 아래, 처음 다뤄보는 GitHub Copilot SDK 에이전트 런타임과 Azure OpenAI로 하나의 동작하는 제품까지 완성했습니다.
키보드 없이 음성으로만 코딩해야 하는 대회 제약이 있었고, 한글·영어를 섞어 말하면 음성 인식이 급격히 떨어졌습니다.
AI가 알아듣기 좋은 CLI 중심 워크플로우(Azure CLI·azd)로 구성하고, 철자·띄어쓰기가 어긋나도 의도를 파악하는 LLM 특성에 기댔습니다.
사람이 크게 손대지 않아도 셋업부터 배포까지 음성으로 굴러가는 흐름을 만들었습니다.
Mac 음성인식 + Azure CLI / azd
1인 창업가는 할 일 관리·일정·이메일·IR·지원사업 탐색까지 모든 잡무를 혼자 떠안습니다.
자연어 명령을 구조화된 액션 플랜으로 바꾸는 에이전트를 만들고, 승인 게이트웨이로 사람이 최종 확인하도록 설계했습니다.
음성 한 마디로 할 일·일정·이메일 초안·IR 리포트·공고 브리핑을 생성하는 비서를 완성했습니다.
매번 같은 배경을 다시 설명해야 하면 비서로서 쓸모가 떨어집니다.
승인된 항목을 text-embedding-3-small로 임베딩해 저장하고, 이후 명령에 관련 맥락을 자동으로 주입했습니다.
사용할수록 사용자의 상황을 기억해 더 정확한 결과를 내도록 했습니다.
막상 ‘입’으로 코딩해 보니 모델 성능보다 음성 인식이 한계였습니다. 편하게 대화하듯 말하는 속도를 못 따라오고, 한글·영어를 섞어 말하면 인식률이 급격히 떨어졌습니다. ‘GitHub’, ‘깃’ 같은 단어는 거의 못 알아듣더군요. 다만 철자·띄어쓰기가 엉켜 들어가도 AI가 매번 의도를 알아채고 제대로 작업해 주는 건 인상적이었습니다.
마감 2분 전까지 3위였지만, Opus를 높은 추론 강도로 계속 돌리다 토큰을 다 써버려 시간이 남았는데도 2차 시도를 못 했습니다. 결국 1점 차 4위. 이제 AI를 잘 쓰는 건 기본이고, ‘토큰을 얼마나 효율적으로 쓰느냐’가 점점 중요한 실력이자 평가 기준이 되어간다는 걸 체감했습니다.
Azure CLI·Azure Developer CLI(azd)처럼 AI가 알아먹기 좋은 CLI 형태로 도구가 제공되니, 사람이 크게 손대지 않아도 셋업부터 배포까지 술술 굴러갔습니다. 웹 콘솔이 아니라 ‘에이전트 친화적 CLI’가 바이브 코딩의 핵심 인프라가 될 수 있겠다고 느꼈습니다.