Olschewka to miejscowość należąca dawniej do Rzeszy Niemieckiej. W Rzeszy Niemieckiej miejscowość nazywała się Olschewka.
. Dziś miejscowość nazywa się Olszewka i należy do Polska.
| Historyczna nazwa miejscowości | Państwo | Administracja | Czas |
|---|---|---|---|
| Olszewka | Imperium Rosyjskie | Ostrolenka | 1914 |
| Olszewka | Polska | Ostrołęka | 1919 |
| Olschewka | Rzesza Niemiecka | Scharfenwiese | 1939 |
| Olszewka | Polska | Ostrołęka | 1945 |
| Olszewka | Polska | Ostrołęka | 1992 |