Fastcampus에서 진행한 2024 AI Conference for Dev Gencon에 다녀온 후기 [Part 1]

2024 AI Conference for Dev Gencon 무료 추첨 이벤트에 당첨이 되어서 다녀왔던 내용을 한번 작성해볼게요!

Gencon AI Conference for DEV | 패스트캠퍼스

 

Session 1. NVIDA 김찬란님의 연사 - Gen AI 서비스를 위한 최적화된 AI 추론 마이크로 서비스

 

기술적 레버리지를 통해 기업의 기술적 부채를 잘 해결해나가는 것이 중요한 시대
첫번째 연사에서 제가 제일 중요한 키워드라고 생각한 것은 이번 연사에서 처음으로 사용하신 기술적 레버리지라는 단어입니다. 기술적 레버리지란 무엇인지 간단하게 설명해보자면, 우선 레버리지는 다들 주식시장에서 많이 접했을 것입니다. 레버리지는 한국어로 "지렛대"라는 뜻으로 경제적 용어로는 자본금 지렛대처럼 활용해 외부의 자금을 차입하는 것을 의미합니다. 이런 개념을 기술 시장으로 접근해서 사용하셨더라고요. 여기서의 의미는 기업의 기술적 부채를 다른 빅테크 기업의 기술로 극복해서 빠른 성장을 도모한다 입니다. 이 개념을 통해 설명했던 NVIDA 기술이 NIM, NeMo라는 기술입니다. NIM은 AWS Bedrock, Azure AI Service처럼 AI 인스턴스를 제공해주는 기능으로 이해를 했습니다. 근데 Bedrock과 Azure AI Service과 가장 크게 다른 점은 NVIDA의 기술력을 바탕으로 GPU 리소스 별로 인스턴스 최적화가 굉장히 잘 된다는 점인 것 같습니다. 다들 GPU 인스턴스 사용시에 CUDA 설정 때문에 힘들었던 경험이 있을것 같은데, NIM은 CUDA 기술을 그 어떤 기업보다 잘 알고 있는 자사가 최적화를 해준다는 점이 굉장히 매력적인 점 같습니다.

 

찬란님은 가짜 연구소에서 성장 수집가라는 써클에서 같이 활동하는데 연사로 만나게 되니 굉장히 신선했습니다. 개인적인 성장도 굉장히 중요시하시고, 가짜연구소라는 거대한 커뮤니티도 운영하시는 것을 보면서 항상 대단하다고 생각했는데, 연사 역시 잘하시더라고요 ㅎㅎ

Session 2. Microsoft 김대근님의 연사 - AI 클라우드 기반의 데이터셋과 sLM 모델 구축

Fine Tuning의 필요성이 커지고 있다
두번째 연사에서 제가 생각한 가장 중요한 키워드는 구조화된 데이터 구축이 굉장히 중요하다 였던것 같습니다. 최근에 Fine Tuning의 방법이 굉장히 쉬워졌고, 앞으로 더 쉬워짐에 따라 Fine Tuning의 필요성이 더 높아질 것입니다. 그래서 Fine Tuning에 필요한 데이터를 잘 구축하는 것이 굉장히 중요한 과제입니다. 제 생각에 Row Data를 가지고 데이터를 많이 가지고 있다고 생각하는 회사들이 많은 것 같은데, 사실 Row Data로는 할 수 있는 것이 없는게 사실이라고 생각합니다. Row Data를 Train에 필요한 데이터로 정제하는 능력이 AI 모델링에 가장 중요한 능력이라고 생각하는 입장에서 굉장히 공감이 가는 연사였습니다.
그리고 확실히 LLM 모델에 대해서 다양한 접근을 많이 하시는 만큼 제가 몰랐던 지식이 연사 중간중간에 많이 나와서 컨퍼런스가 끝나고, 꼭 검색해서 뭔지 찾아봐야지 하고 생각했던 키워드가 많았던 것 같습니다. 아직 모르는 것이 너무 많다고 생각하게 되었습니다....😭

 

대근님은 항상 링크드인에서 LLM 모델 Evaluation한 실험을 많이 공유해주셔서 감사하게 생각하고 있었던 연사를 듣게 되어서 너무 좋았습니다!

Session 3. GitHub KlairBaek - AI 도입 트렌드와 전략 및 모델 모니터링의 핵심은?

GitHub Action & GiHub Copilot
세번째 연사에서는 GitHub의 기술 중 두 CI/CD 자동화 기술인 GitHub Action, AI Assistant GitHub Copilot 두가지를 설명했습니다. GitHub Action은 회사에서 서비스하는 과정에서 사용하는 것을 보고 굉장히 편리하다 생각하고 있었습니다. 그리고 개인적으로 프로그래밍할때 ChatGPT를 통한 코딩도 지양하는 입장에서 Copilot은 아직은 거부감이 있는것 같습니다. (다들 뭔가 그냥 제 손으로 프로그래밍을 해야 마음이 놓이고, 그런 감정 뭔지 아실거라고 생각합니다!) 아직까지는 ChatGPT가 주는 코드는 두 번은 더 검토하게 되는 것 같습니다. 괜히 그대로 썼다가 에러가 나면 어느 부분에서 수정해야 하는지도 모르겠고, 제가 쓴 코드가 맞는지도 모르겠고 그런 것 같아요... 그래도 처음 접하는 언어나 모르는 방법론에 대한 인사이트를 얻는데는 굉장히 좋다고 생각하고, 잘 사용하고 있습니다. 연사님이 마지막에 말씀하신 내용도 비슷한 맥락이었는데, 저는 아직 시니어 개발자는 아니지만, 시니어 개발자들은 사용을 잘 안하게 되는 것 같고, 주니어들은 많이 사용하는 것 같다는 이야기와 함께 Copilot이나 ChatGPT의 결과를 그대로 복사 붙여넣기한 코드는 확실히 티가 난다고, 결과를 한번 검토하고, 이해하고 사용하는 것이 중요하다는 말씀을 하시더라고요. 내가 이상한게 아니구나 위안을 받았습니다...😅

 

추가로 GitHub의 Rollback Strategy와 배포 일정을 잡을때 Traffic이 집중되는 시간을 피하는 배포 일정을 잡는 것이 중요하다는 것을 말씀해주셨는데, Rollback Strategy 부분의 설명은 제가 부족해서 잘 이해를 못했습니다 ㅎㅎ 그리고 GitHub의 문화 중 본인의 실수나 잘못을 Orientation(?)하는 시간을 갖는 문화에 대해서 말씀해주셨는데, 이런 문화는 너무 부러운 문화였습니다.

Session 4. 투자 대담 - AI 과잉 투자 or 과소 투자 무엇이 더 위험한가?

서비스관점의 접근이 중요하다
이 부분은 저의 관심 분야는 아니었어서 넘어가도록 하겠습니다!

 

 

글이 너무 길어져서 오후 세션은 다음 게시글로 작성할게요.....

 

만약 틀린 내용이 있거나 수정이 필요한 부분이 있다면 댓글 남겨주시면 꼭 참고하도록 할게요 😉