中国先民自新石器时代开始就已经开始了水上活动和舟船的制造。在全国范围内都可以找到一些新石器时代的舟船图像和木制实物。特别值得一提的是，1977年在浙江余姚的河姆渡新石器时代遗址中发现了一件距今约7000年的木桨。根据文献和民族志资料，新石器时代的水上工具主要是桴筏和独木舟。在南方和东部海岸沿线这些水系发达、河湖密布的地区，可能早已发生了水上战斗。
在夏、商、西周时期，中国的军事活动主要集中在黄河中下游平原，文献中只有一些关于利用舟船渡运军马的例子，如商末周军于盟津渡黄河，周昭王南征楚国时济渡汉水，都是依靠舟楫来运输军队和车马。目前还没有发现这个时期曾进行水战的记载。
水战成为中国历史上重要的战争方式以及作为军队兵种之一的水军的出现，是在春秋时期开始的，首先发生在长江中下游的荆楚吴越地区。这一带的江河纵横交错，湖泊密布，居民善于“以船为车，以楫为马”。春秋中晚期，位于长江中游的楚国日益强盛，而长江下游的吴国和越国也先后崛起，为了拓展疆域、争夺霸权，三国之间爆发了激烈的战争。他们都组建了专门从事水战的部队，并在战争中发挥了重要作用。
从公元前549年开始，舟师水军第一次见于文献记载，几十年间，在长江中下游发生了多次水战。由于水军成为专门的兵种，楚、吴、越之用兵往往水陆并举，因此在这个时期出现了与“舟师”相对的“陵师”一词，用来指称传统的陆军。
在战国时期，水战仍然局限于南方，中原列国基本上只是利用水道、依靠舟船运送军队和粮草，不过后来也慢慢发展开来。
