AI 기능의 latency는 모델 응답 시간으로만 끝나지 않습니다. 요청이 LLM이나 embedding API를 기다리는 동안 데이터베이스 session까지 긴 범위로 유지하면, 느린 외부 호출이 DB connection pool의 압력으로 전파될 수 있습니다.
느린 LLM 호출 중 DB connection을 잡지 않는 이유
AI 기능의 latency는 모델 응답 시간으로만 끝나지 않습니다. 요청이 LLM이나 embedding API를
기다리는 동안 데이터베이스 session까지 긴 범위로 유지하면, 느린 외부 호출이 DB connection
pool의 압력으로 전파될 수 있습니다.
이 글은 AI memory OSS인 Honcho의 변경 이력과 pinned source를 읽으면서, 외부 호출과 DB
AI memory 시스템은 대화에서 기억을 만들고, 그 기억을 다시 요약해 더 높은 수준의 결론을 만들 수 있습니다. 여기서 원본에 가까운 입력과 시스템이 만든 파생 결과를 구분하지 않으면, 파생 결과가 다음 작업의 trigger를…
AI memory를 처음 보면 prompt, embedding, vector search부터 눈에 들어온다. 하지만 기능을 운영 가능한 서비스로 만들려면 그 앞뒤의 상태와 실패를 함께 봐야 한다. 원문은 언제 저장되는지, 느린…
LLMs are stateless. Every API call to a raw model is a blank slate. The model has no idea what was...
When building an AI agent, you need LLM calls. It can be done via a remote API or a local API, but...
MIT's MeMo keeps AI memory separate from reasoning, so teams can upgrade their LLM without retraining and see a 26% performance…
The Problem with Forgetting Every time you start a new conversation with an LLM, it...
