Tex弱者なので、世の中にはもっと良い情報があるかもしれないが一応....
overleafはデフォルトのプロジェクトだと日本語を上手くコンパイルできない。で、ググると最初の方にコンパイラをpdflatexからlatexにし、latexmkrcを作成して云々....という様な記事が出てくる。
これとか。
Overleafを使った日本語論文の作成 #TeX - Qiita
しかしながら、 この記事にもある通り、overleafの無印latexコンパイラは画像貼り付けるとバグる事が多い気がする。
コンパイラをLuaTeXにして、documentclass(最初の一行目とかに書く奴）を
\documentclass{ltjsarticle}
とすると、日本語をサポートしてくれるし、LuaTeXが使える。latexmkrcはいらない。自分はまずこれから試すべきだと思っている。
