Fastcampus에서 진행한 2024 AI Conference for Dev Gencon에 다녀온 후기 [Part 2]

2024 AI Conference for Dev Gencon

Gencon AI Conference for DEV | 패스트캠퍼스

Part 1에서 이어집니다.

Fastcampus에서 진행한 2024 AI Conference for Dev Gencon에 다녀온 후기 [Part 1]

 

Session 5. ETRI 박찬성님의 연사 - LLM 파인튜닝, 이제 선택이 아닌 필수

Fine Tuning의 필요성과 방법
다섯번째 연사에서는 Service LLM의 문제점과 Fine Tuned Open Source LLM/sLM Model을 선택했을 경우의 이점을 굉장히 명료하게 설명해주셔서 너무 유익한 연사였습니다. Service LLM을 포기하고 Fine Tuning을 해야하는 이유는 크게 Service LLM의 Black Box로 이루어지는 Inference 과정, 너무 많은 추측으로 이루어진 성능이라는 점, 엔지니어 관점에서 모델이 너무 Reliable하지 못하다는 점, Service LLM이 발전함에 따라 서비스에 치명적인 문제를 일으킬 수 있고, Rollback Strategy를 적용하기 어렵다는 점을 꼽았습니다. 제가 최근에 너무 공감한 내용이었고, '역시 모델을 Fine Tuning 해봐야 하나'라는 고민이 있었던 시점에 현직자도 비슷한 고민을 하고 있구나하고 굉장히 명쾌한 해답을 주는 것 같은 연사였습니다. 물론 금액과 시간이라는 다양한 비용을 생각해서 시도해야 하겠지만, 꼭 필요한 일이겠다는 생각이 들었습니다. 그리고 Fine Tuning Example을 통해 coverage라는 개념에 대해서 말씀해주셨는데, Fine Tuning시에 평가지표를 어떻게 가져가야하는가에 대한 고민에 대한 해답이 어느정도 된것 같았습니다. coverage는 설정한 Prompt 중 몇개의 Prompt에 적절한 대답을 하는가에 대한 점수인데, 굉장히 간단한 평가 방법이라 LLM 평가지표가 너무 추상적이라 생각했던 저에게는 굉장히 좋은 아이디어라고 생각했습니다.

그리고 찬성님에겐 추가로 제가 Fine Tuning 프로젝트를 하기 전에 데이터 수집에 대한 리소스 걱정을 굉장히 많이 하고 있었어서 링크드인 메세지로 질문을 드렸는데, 너무 정성 가득한 답변을 주셔서 너무 감사합니다!

Session 6. SNOW 정태민 - GEN AI 서비스, SNOW 적응기

GEN AI 분야에서 협업 방법
여섯번째 연사는 전부 LLM 뿐이었던 컨퍼런스에서 단비같은 이미지 분야 연사였습니다. 최근에 서비스 개발을 하면서 프롬프트 엔지니어링을 굉장히 많이 했는데, '프롬프트 기법 및 기본적인 방법론만 알고 있다면, 기획의 의도를 알고있는 기획자나 목적이 분명한 디자이너가 프롬프트 엔지니어링을 더 잘하지 않을까?' 라는 생각을 혼자 하면서 생성 AI 분야에서 계속 살아가려면 기획적 역량을 갖추어야 하나라는 고민을 하고 있었는데, SNOW의 해결 방법에서 많은 가능성을 느꼈습니다. 개발자는 기획자와 디자이너가 일하기 쉽도록 '프롬프트 기법 및 기본적인 방법론'을 적용한 테스트 인프라를 구축하고, 실험 방법 및 테스트 환경을 기획자와 디자이너에게 제공하는 것으로 협업을 하는 방법에 대해 설명해주었는데, 굉장히 좋은 방법이라고 생각했습니다. SNOW의 사내 문화가 굉장히 건강하기 때문에 이루어질 수 있었던 방법이라고도 생각이 드는데, 그것 또한 굉장히 부러운 점이었습니다. 연사님의 굉장한 입담으로 굉장히 집중하게 되는 연사였습니다.

Session 7. 태디노트 이경록 - 효과적인 흐름 제어를 위한 고도의 Modular RAG 기법

RAG의 모든것 & 모듈화의 끝판왕
일곱번째 연사는 AI 분야의 몇 안되는 인플루언서 태디 노트님의 RAG에 대한 연사였습니다. 연사의 개인적인 감상부터 하자면 RAG의 모든것, 모듈화의 끝판왕이라는 한줄로 정리되는 것 같습니다. 저도 나름 프로그래밍을 할때 모듈화를 하면서 프로그래밍을 하는 것을 굉장히 선호하는데, 굉장히 작은 단위로 모듈화를 효율적으로 해서 사용하시는 방법에서 코드에 대한 애정과 열정이 너무 잘 느껴졌습니다. 사실 태디 노트님은 제 기억이 제가 이어드림이라는 부트캠프를 할때 오셔서 강의를 한번 해주셔서 GitHub 팔로우도 하고, 링크드인도 팔로우를 하고 있어서 굉장히 대단하다고 이미 생각하고 있었는데, 연사를 듣고 한번 더 대단하다고 느꼈습니다. RAG에 대한 설명도 굉장히 핵심만을 딱 설명을 잘 해주셔서 처음 RAG를 접하는 분들에게 진짜 최고의 연사이지 않았을까 생각했습니다.

Session 8. Databricks 김형진 - 오픈소스 LLM의 실전 활용: 데이터, 파인튜닝, 제품, 그리고 반복

Fine Tuning
여덟번째 연사는 Fine Tuning의 감이 부족했던 저에게 너무 좋은 연사였습니다. 우선 Fine Tuning을 기업에서 진행하는 On-Boarding 과정에 비유하고, Pre Train을 좋은 대학을 나온 엘리트라는 단어로 표현했는데, General하게 일을 잘하는 Pre trained 모델, 그리고 Specific한 일을 잘하는 Fine Tuning 모델이라는 것을 정말 잘 표현한 기가 막힌 비유라고 생각했습니다. AI 지식이 없는 동료에게 이런 단어 하나하나 설명하는게 굉장히 어려운 일인데, 누구라도 바로 이해할 수 있을 것 같았습니다. 그리고 최근에 제일 큰 고민이었던 Fine Tuning Evaluation Dataset에 대한 해결책으로 오늘 찬성님의 coverage 방법론, 그리고 이번 연사의 Blind Test, Domain Specific Benchmark가 굉장히 도움이 될 것 같습니다. Blind Test로 두 모델을 사람이 평가하던 LLM이 평가하던 의미있는 결과가 나올 것 같다는 생각을 했고, 도메인에 특화된 벤치마크를 한번 만들어 놓으면 새로운 모델에 바로바로 테스트를 해볼 수 있을 것 같아 좋겠다는 생각을 했습니다.

Session 9. Coxwave 이엽 - 생성형 AI 시대에서의 기회와 적응 전략

좋은 AI 프로덕트 개발
마지막 연사는 좋은 AI 프로덕트를 개발하기 위한 조건과 방법론에 대한 연사였습니다. 요즘 회사에서 기획적인 부분도 고민을 해야할 일이 많은데, 프로덕트의 고도화와 기획적인 센스를 키우는 방법 등을 말씀해주셔서 유익했습니다. 우선 AI 서비스가 기획자의 의도대로 행동하지 않는 경우가 많음을 인지하고, User Response를 통해 기획자의 의도대로 서비스가 개발될 수 있도록 꾸준히 고도화 하는 것이 중요하다는 것, 사용자에게 어떤 가치를 주어야되는지를 끊임없이 고민해야 한다는 점 모두 공감이 되는 이야기였고, AI-Naitive Product Sense라고 표현하신 AI 프로덕트 기획자로써의 감을 키우기위해 생성형 AI가 필요한 지점을 지속적으로 파악하는 것, 그리고 사람들이 실제로 호평하는 제품의 새로운 인터렉션과 인터페이스를 경험하고, 분석해보는 것에 대해 강조했습니다.

너무 긴 글이었는데, 읽어주셔서 감사합니다.

 

만약 틀린 내용이 있거나 수정이 필요한 부분이 있다면 댓글 남겨주시면 꼭 참고하도록 할게요 😉