[대용량 데이터처리] 어떤문제인지 봐주세요

Question

회사에서 대용량 데이터를 api 로 받아오는 걸 개발중입니다1초에 만개의 데이터를 10번 api 를 호출한다했을때 누락된콤마 , 누락된 괄호 , 심볼 &#34;end-of-file&#34; 등등 오류가 뜹니다 쿼리문을 stringbuilder로 만들어 oracleconnection 을 연결해서 insert 하고있는데 어떤쪽을 봐야할까요 오라클 connection pool 설정을 해야하는지 아니면 백엔드 쪽을 봐야할지 감이 안옵니다

캐티 · Answer

백엔드에 문제가 있을 것으로 전망해요.

charlatan · Answer

인서트할 때 맞지 않는 데이터들이 있나보네요. 예외처리로 따로 모아두든지 아니면 api로 받은 데이터 유효성을 검증하든지...

HJOW · Answer

글쎄요...오류메시지가누락된콤마 , 누락된 괄호 , 심볼 &#34;end-of-file&#34; 등등 오류가 뜹니다이런 오류가 뜨면, 일단 그 INSERT 하는 원본 파일을 먼저 점검하고캐릭터셋 등을 확인해야 할 것 같네요.근데 이것도 그 동작이 수행되는 구조를 몰라서 이렇게 답변드리는거고API라고 쓰셨는데 이거 혹시, 파일 읽는 프로그램은 클라이언트에 따로있고, 중간에 서버 거쳐서 INSERT 해요?그러면 서버쪽 캐릭터셋도 보셔야 해요.

나의라임오지는나무 · Answer

쿼리문 자체의 문법 오류 문제인거 같습니다..만들어진 쿼리문 문자열이 비버나 sql디벨 같은곳에서 제대로 동작하는지요?

초무쿤 · Answer

PreparedStatement 로 하시는게 아니라query를 string 으로 직접 만드시는거 같으신데..그렇게 하시면 데이터에 ' 나 특수문자들이 있으면 오류가 날수 있습니다.그리고 sql injection등 보안상 문제도 생깁니다.설마 아니겠지요...

아기늑대 · Answer

api 가 뭘 말하는지 모르겠네요.rest인지 oledb인건지..c# 이면 ef 로 긁어 오면 될듯 하네요.

ansdbduf · Answer

addBatch, excuteBatch

[대용량 데이터처리] 어떤문제인지 봐주세요

7개의 답변

Q&A 목록