encoding 관련은 서버에서 로그를 찍기보다 응용 프로그램 쪽에서 

어떻게 DB를 쿼리를 했는지 로그를 남겨야 제대로 문제를 찾을 수 있습니다. 

응용 프로그램쪽 로그를 보여주셔야 실마리를 찾을 수 있을 것 같네요. 

PQescapeLiteral 함수 문제는 응용 프로그램 개발 DB 인터페이스 라이브러리 쪽 문제로 보여집니다. 

libpq 든, jdbc든, odbc든 ... 이쪽을 살펴보셔야 할 것 같네요. C 프로그램이라면, 해더 파일과 사용하는 라이브러리 파일의 버전이 다르거나, 라이브러리 링크가 잘못된 경우가 일반적인 오류입니다. 

참 간략하게 질문해서, 더 이상 답변 드릴게 없네요.