AI EXPO KOREA SUMMIT 참석 후 기억에 남는 이야기 정리

1. 기업에서의 LLM 활용과 평가 , 펜타시스템테크놀러지(주)
2. AICC(인공지능 컨택센터)의 미래, 페르소나에이아이
3. End to End AI 개발 환경 구축, 휴렛팩커드 엔터프라이즈-엠키스코어
4. AI/ML 비지니스를 위한 데이터플랫폼 기술의 중요성 및 이를 이용한 생성형 AI, 디지털 트윈의 활용방안, 아이크래프트
5. AI Operating System - LLM 파인튜닝, 배포부터 지속해서 확습하는 멀티 에이전트 시스템까지, 베슬에이아이

AI 개발환경 구축시 중요한 점

• 데이터 분석과 예측을 합쳐서 생각할 것
• 국내 환경의 경우 데이터 규제로 인하여 퍼블릭 100%는 어려움
• 하이브리드 온프레미스 환경을 가정하고 진행

데이터 플랫폼

• 자유로운 데이터 활용이 가능하고 데이터 주체성이 있는 상태가 중요
• 기술은 그 이후의 문제
• 해외의 성공적인 AI 적용 서비스 (넷플릭스, 메타 등)은 수많은 모델과 뎁스를 적용해보고 효과있는 모델만 공개함 → 데이터가 중요하고 모델은 계속 교체
• 프로덕션 환경에서는 파일럿 환경에서 등장하지 않는 케이스 발생 → 소수의 케이스가 소송건으로 발전한다면 투입될 비용 예측 불가
• 획일적인 파이프라인이 아닌 파이프라인 가지가 필요 (데이터 수집)
• AI 프로젝트는 성공 실패가 아닌 세모가 존재
• AI 적용전 AS-IS 분석이 필수, 기존 데이터 플랫폼이 어떻게 구축되어 있는지
• 안정화 되어도 품질유지를 위한 비용은 계속 발생 → 역수익화 발생
• 역수익화 상황을 막기 위해서는 데이터와 플랫폼이 잘 구축되는 것이 우선
• 데이터 마켓 및 테이터의 버전 관리

LLM 도입 전 고려사항

• 비지니스 목표 설정
• LLM 모델의 현지화
• 적정한 모델 평가로 기업에 맞는 LLM 선정
• 다양한 LLM 모델을 평가하고 비교하여 요구사항에 적합한 모델을 선택해야함
  • Horangi 한국어 LLM 리더보드 등 다양한 언어 모델 평가 툴 존재
• Hallucination 방지

Open Source VS Private Models

• 오픈 소스 모델들의 성능이 나날이 발전하여 유료 모델과 큰 차이가 나지 않음
  

AI 기술의 발전 및 경쟁 과열로 인한 기업의 고민

• AI/ML 기술이 발전할수록 기업의 단위 서비스 개발 및 출시는 용이해지고 있음
• AI의 지속적인 서비스 품질 유지를 위한 시스템 유지관리 비용
• 하루하루 갑자기 등장하는 AI 신기술과 경쟁사의 새로운 비지니스 상품
• 시장의 법/제도 및 조직 내부 정책 변화에 따른 시스템 변경 필요성 식별 및 시스템 구조 변화 문제
• 특정 솔루션, 플랫폼, 기술 종속 상황에 따른 역 수익구조 발생 및 종속 탈출 불가 현상
• 기업이 구축에 돈만 지출하고 막상 자신들의 빅데이터와 머신러닝 시스템을 통제하지 못하는 경우 발생

새롭게 시도하는 ML/AI 서비스가 제대로 성공하지 못하는 이유?

• ML, AI 프로젝트의 특징 : 100% 성공 보장을 할 수 없음. 그리고 이를 인정하지 쉽지 않음
• ML, AI로만 할 수 있는 분야인지, 아니면 대체 기술로 가능한 영역인지 구분 필요.
• 기술적으로 구현해 내는 결과를 내부적으로 만족하는 것과 막상 실제 사용자가 만족하는 것은 다름
• 서비스 출시 후 보정/보완 단계에서 더 많은 노력(비용, 인력, 시스템)이 필요함을 미리 인지해야함

데이터 플랫폼 관리 체계는 항시 고려하자

• Data Governance를 단순히 특정 솔루션 도입만으로 해결될 것이라고 생각하면 큰 오산
• 그렇다고 Data Governance를 정리하지 않고 시작하여 프로젝트 및 시스템 실패를 걱정하면 안됨
• 상황에 맞는 주요 요소들을 정립하여 파이프라인 설계 및 표준화에 반영하고 점진적으로 시스템화 가능한 것들은 시스템화, 정책으로 처리 가능한 것들은 정책으로 발전시켜야함
• 진정으로 중요한 것들은 제품만으로 해결 불가능
• 무종속을 우선하되 활용가능한 서비스는 최대한 적용해 본다