Olszewka to miejscowość należąca dawniej do Rzeszy Niemieckiej. W Rzeszy Niemieckiej miejscowość nazywała się Olszewka.
. Dziś miejscowość nazywa się Olszewka i należy do Polska.
| Historyczna nazwa miejscowości | Państwo | Administracja | Czas |
|---|---|---|---|
| Olszewka | Imperium Rosyjskie | Prasnyš | 1914 |
| Olszewka | Polska | Przasnysz | 1919 |
| Olszewka | Rzesza Niemiecka | Praschnitz | 1939 |
| Olszewka | Polska | Przasnysz | 1945 |
| Olszewka | Polska | Ostrołęka | 1992 |