홈페이지 제작 문의- 크롤링 + 가공된 데이터 출력

홈페이지 데이터 크롤링

 

 

 

[질문]

hitoto.co.kr 같은 사이트를 만들고 싶은데

공식 홈페이지에서 배당률 정보를 가져와서

원하는 경기들을 선택한 후

결과물을 바로 인쇄 하고싶습니다..

 

보유하고 있는 프린터로요

용지는 토토 용지를 사용하구요..

 

데이터를 가져오는건 크롤링하면 되는거 같은데

그 가져온 값을 원하는 형태로 가공하여

 

토토용지에 맞게끔 출력할 수 있는 기술은 

어떤 기술이 필요하며..

 

제작비용은 어느정도 발생하나요??

견적을 받아보고 싶은데..

연락 주세요..

[답변]

 

안녕하세요. IT전문 컨설턴트 입니다.

 

크롤링과 프린트기 운영은 큰문제는 아니라 생각이됩니다. 

프린트의 경우 제조사의 규격에 맞는 구축이 가능한 상황이거나 제조사에서 프린트에 대한 제어를 허용하는 경우에 연동 구축이 가능합니다. 요청하신 웹사이트는 일반적인 홈페이지와 비교해 보았을때, 아래와 같은 요인에 대한 점검이 우선되어야 할것으로 생각됩니다.

​

1. 동시접속자수

: 리그를 운영하는 MBA, MLB KBO, k리그 등의 사이트에 1일 방문하는 방문객을 기준으로 구축을 준비하시라면, 서버 및 네트워크 비용만 하더라도 만만치 않은 비용이 소요됩니다. 초기단계의 리그라면 그들 만큼의 동시접속자 및 트레픽은 발생하지 않지만, 어느정도의 여유없이 운영하는것은 문제가 있습니다. 특히 스포츠와 관련된 사이트는 동시접속자가 특정시간대에 몰리며, 이를 대응하기 위한 구성 또한 만만치 않습니다. 

​

2. 기록데이터 관리방법

이 부분이 가장 난이도가 높으며, 전문적인 DB설계가 필요한 부분입니다. 경기가 지속적으로 진행되면서, 구단/선수별 다양한 수치들이 분석되어야 하며, 실제로 활용할수 있도록 산출되거나, 특정 컨텐츠별로 조회 및 정렬이 필요한 부분입니다. 초기에는 데이터가 많지 않기때문에 비교적 난이도를 낮게 잡을수는 있지만, 지속적으로 누적되는 데이터이며, 추후 변경하기가 어려운 점을 고려해 보았을때, 제대로 구축하지 않으면 않됩니다. 

특히 이렇게 산출된 데이터가 팬들과 중개자의 입장에서 중요한 요소로 활용될수 있기때문에 더욱더 점검이 필요합니다. 

​

3. 경기데이터 기록관리방법

선수별 데이터기록만큼이나 경기데이터 또한 중요한 데이터 항목입니다. 추후 구단이 늘어나거나 경기규칙이 바뀌더라도 경기데이터를 효율적으로 관리할수 있도록 설계되어야 합니다. 각 구단별로 별도의 데이터를 추출할수 있도록 지원하는 전략 또한 필요합니다. 

​

4. 스트리밍 서비스 구성

영상서비스를 추가 하게 된다면 이 부분 또한 중요한 요인이 됩니다. 왠만큼의 스트리밍 기반의 영상제공사이트의 경우 제작비용이 만만치 않게 소요되며, 서버 및 트레픽에 대한 부담이 큰편입니다. 해외의 리그사이트에서도 직접 스트리밍 서비스를 구현하기 보다는 외부엔진 및 사이트를 통해서 구현하는것을 참조한다면 전략수립에 도움이 될듯합니다. 

​

5. 관리용 시스템의 구성

리그가 시작된다면 그만큼 정신없이 하루하루가 진행되게 될것입니다. 이때, 빠르게 경기에 대한 데이터가 입력될수 있도록 관리용 시스템이 필요하며, 사이트 운영에서도 도움이 될수 있는 시스템이 필요합니다. 그때마다 개발업체에 연락해서 데이터를 변경할수가 없으며, 빠른 대응을 위해서도 거의 대부분의 기능을 관리자 모드를 통해서 제어할수 있는것이 좋습니다.크롤링의 경우에는 원 사이트의 소스변경 발생시 크롤링이 불가능해지는 경우가 많기때문에 지속적인 관리가 필요하며,  시스템 요인을 녹여내서 적은 인원이로도 관리가 될수 있도록 만드는것 또한 중요합니다. 

​

6. 외부 데이터 공개 및 연동

많은 리그 운영사가 외부에 데이터를 공급하고 있습니다. 또한, 외부 데이터와 연동해서 구현되는 비중이 높은편입니다. 이때, 효율적으로 데이터를 공급하거나 연동될수 있도록 만들지 않는다면, 그 연동문제는 성장의 발목을 잡을수도 있습니다. 

​

[IT전문 컨설턴트의 생각]

처음 비즈니스모델이 시작되면, 대부분 작은 규모에서 시작을 합니다. 반복적으로 사용하면서, 시장에서의 요구사항과 사용자들의 요구사항이 모이면서 조금씩 조금씩 기능적인 개선을 하게 됩니다. 이렇게 몇년을 운영하다 보면 자연스럽게 해당 분야에 최적화된 웹사이트가 구현되게 됩니다. 지금 참고사이트를 기준으로 견적을 낸다면 의미가 없지 않을까 합니다. 100% 동일한 기능으로 동일하게 구현하지 않은한 참고사이트를 기준으로 한 견적은 무의미 합니다. 작게 생각한 요인이 견적금액의 몇배를 좌우할수도 있으며, 엄청복잡한 기능이라 생각된 기능이 손쉽게 구현될수도 있습니다. 전문 IT컨설턴트를 통해서 전략수립에서 구축대행에 이르기까지 다양한 도움이 필요합니다. IT비즈니스는 정답이 없습니다. 하지만, 중요한것은 남들처럼 만드는것이 아니라 나만의 것을 만드는것입니다.