セフレなのか区別がつかない

私には彼氏なんだかセフレなのか区別がつかない男性がいます。性格的には割と真面目でどちらかというと草食系の部類に入ると思います。
彼とは彼氏彼女の関係になる前に、なんともなしに肉体関係を結んでしまい、そのままずるずると関係を引きずってしまっています。
正直セフレという関係は、私にとって世間の聞こえもよくないし喜んで受け入れているというわけではありません。
ただ私としては彼と一緒にいられるのであれば肩書きはそんなに必要ではないと思っています。
彼は私のことを彼女と言ってくれていますが、いまいちしっくりとしないのも事実です。
そもそもセフレと彼氏彼女の関係との境界線が曖昧で、私たち自身そのへんをよく理解していないんだと思います。
肉体関係を結んだら彼氏になる、というきまりでもあったら、関係がはっきりしますがもちろんそのような決まりごとはありません。
彼が私のことを彼女であるとはっきり断言し、私がそれを受け入れ彼氏彼女の関係になったとしてもそれが本当に二人にとっていいものであるかはわかりません。
ひょっとしたら今のままセックスフレンドとして関係を継続したほうがいいのかもしれません。
なんでも白黒はっきりさせないほうがいいともいいますし、しばらく今のままの関係を保っていこうと思います。
世間ではセフレと彼氏彼女の関係の、この2つの間の差異はどのあたりのあるのでしょうか？