국내는 아직 모르는 Groq 로 LLM api 무료로 사용하기(광고 X)

1.Groq 들어는 봣나?

그록크 라고 한다는데 그량 그록이 더 편하다

gpu 를 많이 들어 봤을 텐데 gpu 보다 AI LLM 에 특화되어 만들어진 하드웨어 중 NPU 라는 것이 존재한다

이 NPU 의 성능이 어마무시하다.......이러한 npu 를 기반으로 서비스를 제공하는데

더 자세한걸 알고 싶다면, 아래 링크 참고

https://www.techtube.co.kr/news/articleView.html?idxno=3644

CPU•GPU•NPU•TPU의 차이 - 테크튜브

 

여기는 자신이 넘치는지 무료/엔터프라이즈 플랜만 있고

개발자 플랜은 coming soon 인데 무료 플랜이지만 뽕뽑고 있다

그래서 무료 오픈소스 LLM 기준으로 충분한 무료 플랜으로도 api 형태로 개발이 가능하다

2. 그렇다면 지원하는 모델은?

얼마전에 공개된 405B 라마 모델도 지원한다는 것이다

무료중에 제일 좋은 서비스인거 같다

모델명	개발사	모델 ID	컨텍스트	목적
Llama 3.1 405B (프리뷰)	Meta	llama-3.1-405b-reasoning	131,072 토큰	일반 용도
Llama 3.1 70B (프리뷰)	Meta	llama-3.1-70b-versatile	131,072 토큰	일반 용도
Llama 3.1 8B (프리뷰)	Meta	llama-3.1-8b-instant	131,072 토큰	일반 용도
Llama 3 Groq 70B Tool Use	Groq	llama3-groq-70b-8192-tool-use	8,192 토큰	도구 사용
Llama 3 Groq 8B Tool Use	Groq	llama3-groq-8b-8192-tool-use	8,192 토큰	도구 사용
Meta Llama 3 70B	Meta	llama3-70b-8192	8,192 토큰	일반 용도
Meta Llama 3 8B	Meta	llama3-8b-8192	8,192 토큰	일반 용도
Mixtral 8x7B	Mistral	mixtral-8x7b-32768	32,768 토큰	다중 작업
Gemma 7B	Google	gemma-7b-it	8,192 토큰	일반 용도
Gemma 2 9B	Google	gemma2-9b-it	8,192 토큰	일반 용도
Whisper	OpenAI	whisper-large-v3	-	음성 인식

그리고 더 충격적인 것은

 

일일 토큰 제한이 없다는 것이 소오오오름 이다

 

https://www.youtube.com/@user-ns2ct5vr6o/videos

무료 플랜도 실제 어느정도 과금이 나올지 예상 금액도 계산해준다

와우~~

 

3. API 발급하기

글의 내용이 길어져서 다음 게시글로 작성해두었다

https://coffee926.tistory.com/86

Groq api key 발급하기

 

---

 

4. 실제 사용 사례 - 블로그 요약 글 게시

 

실제 무료로 api 를 활용해서 블로그를 개설하면서

언급했었던 블로그 자동화 프로젝트를 이어 가고 있다

https://coffee926.tistory.com/48

[블로그 자동화 #1] - 플래닝 시작